Mac私塾

一个专注于大数据技术架构与应用分享的技术博客

最新文章

几种常见的 Kafka 集群监控工具-Mac私塾
置顶

几种常见的 Kafka 集群监控工具

Apache Kafka 是目前比较流行的分布式消息系统之一,其设计理念就是要保持高可用性和可扩展性。为了保证 Kafka 集群的稳定性和性能,需要监控各个组件的运行状态、异常情况和负载状况。下面介绍几种常见的 Kafka 集群监控工具。 ...

Kafka 阅读(1442)

Hadoop是一个开源的分布式计算平台,用于处理海量数据。Hadoop支持各种数据存储和处理技术,其中包括LZO压缩技术。LZO是一种高速压缩算法,在大数据分析和处理中使用广泛。本文将介绍如何在Hadoop 2.2.0中安装和配置LZO。 ...

Hadoop 阅读(3)

Kafka设计解析:Kafka Consumer解析

Kafka是一个高性能的分布式消息队列系统,它的消费者模型具有强大的灵活性和可扩展性,并且支持多种数据流处理模式。本文将对Kafka Consumer进行解析,探讨其设计原理、消费模式和实现方式等方面的内容。 设计原理 Kafka Cons...

Kafka 阅读(4)

大规模 Hadoop 升级在 Pinterest 的实践

Pinterest是一个社交媒体网站,用户可以通过网站或移动应用程序收集,保存和分享各种主题的图像和其他媒体。由于网站的增长,Pinterest需要一个可扩展的数据平台来满足日益增长的数据存储和处理需求。Hadoop是一个流行的开源平台,它...

Hadoop 阅读(6)

Spark SQL利器:cacheTable/uncacheTable

Spark SQL利器:cacheTable/uncacheTable 在大数据处理中,SparkSQL 是一个非常强大的工具。当处理数据时,我们需要尽可能地减少读取磁盘数据的时间,因为磁盘通常是一个系统中最慢的组件之一。 这就是为什么在S...

Spark 阅读(8)

通过编程方式获取Kafka中Topic的Metadata信息

在使用 Kafka 进行消息传递时,经常需要获取队列Topic中的元数据信息。通过编程方式获取Kafka中Topic的Metadata信息是非常重要的,这样可以帮助您更好地理解和处理消息。本文介绍了如何通过编程方式获取 Kafka 中 To...

Kafka 阅读(7)

在Shell中,我们可以使用hadoop fs命令来访问Hadoop分布式文件系统(HDFS)。要测试文件或目录是否存在,我们可以使用hadoop fs -test命令。 hadoop fs -test -d $file_path:测试目录...

Hadoop 阅读(11)