Mac私塾

一个专注于大数据技术架构与应用分享的技术博客

最新文章

几种常见的 Kafka 集群监控工具-Mac私塾
置顶

几种常见的 Kafka 集群监控工具

Apache Kafka 是目前比较流行的分布式消息系统之一,其设计理念就是要保持高可用性和可扩展性。为了保证 Kafka 集群的稳定性和性能,需要监控各个组件的运行状态、异常情况和负载状况。下面介绍几种常见的 Kafka 集群监控工具。 ...

Kafka 阅读(318)

在Hadoop分布式文件系统(HDFS)中,NameNode负责管理文件系统的元数据,这些元数据包括文件和目录的名称、位置、权限等信息。对于大规模的分布式文件系统,NameNode的元数据管理是至关重要的。元数据的持久化存储是通过一组文件来...

Hadoop 阅读(34)

Spark Idea Maven 开发环境搭建

Spark Idea Maven 开发环境搭建 Apache Spark是一个快速而通用的大规模数据处理引擎,它提供了基于内存的分布式编程模型,可用于大规模数据处理,包括机器学习。与此同时,Idea作为一个强大的Java IDE,集成了大量...

Spark 阅读(30)

如何将MapReduce程序转换为Spark程序

MapReduce和Spark是两种被广泛用于大数据处理的框架,它们各有优缺点和适用场景。一些企业会在将MapReduce程序转换为Spark程序时,以便利用Spark的更高性能和更好的可扩展性等优势。下面将介绍如何将MapReduce程序...

Kafka 阅读(30)

HDFS Federation在美团点评的应用与改进

HDFS(Hadoop Distributed File System)是一个分布式文件系统,最初由Apache Hadoop实现。对于大规模数据处理场景,HDFS是一个非常强大的工具。然而,当处理的数据量变得更加庞大时,原始的HDFS可能...

Hadoop 阅读(28)

使用Spark Structured Streaming写入Hudi

深度剖析Spark分布式执行原理 Apache Spark 是一个快速通用的大数据处理框架。它支持多种数据源,包括 Hadoop Distributed File System (HDFS)、Cassandra、HBase等。Spark 的...

Spark 阅读(31)

雅虎开源的Kafka集群管理器(Kafka Manager)

Kafka Manager是一个用Scala编写的开源工具,旨在简化和管理Apache Kafka集群的操作。它通过提供用户友好的Web界面和各种实用工具来帮助管理和监视Kafka集群。 Kafka Manager具有以下显著的特点: 集...

Kafka 阅读(28)

Apache Hadoop是一款开源的分布式系统软件,其应用广泛,特别是在大规模数据处理领域(如互联网数据分析)中得到了广泛的应用。最近Apache Hadoop 3.0.0-alpha1版本发布了,该版本带来了许多重要的更新和改进,本文将...

Hadoop 阅读(36)

spark与flink的区别

Spark与Flink的区别 在大数据处理领域,Spark和Flink被广泛认可为两种最受欢迎的框架。这两个框架的设计都基于分布式数据集。它们之间有很多共同之处,但也有很多不同之处。在这篇文章中,我们将讨论Spark和Flink的区别以及它...

Spark 阅读(35)