Mac私塾

Spark的误解-不仅Spark是内存计算，Hadoop也是内存计算 最近，关于Spark是一种内存计算（in-memory computing）框架的观点被广泛传播，这个观点实在是过于武断和错误。虽然Spark比Hadoop有更好的内存管...

Kafka是一个高性能的分布式消息队列系统，它的消费者模型具有强大的灵活性和可扩展性，并且支持多种数据流处理模式。本文将对Kafka Consumer进行解析，探讨其设计原理、消费模式和实现方式等方面的内容。 设计原理 Kafka Cons...

Pinterest是一个社交媒体网站，用户可以通过网站或移动应用程序收集，保存和分享各种主题的图像和其他媒体。由于网站的增长，Pinterest需要一个可扩展的数据平台来满足日益增长的数据存储和处理需求。Hadoop是一个流行的开源平台，它...

Spark SQL利器：cacheTable/uncacheTable 在大数据处理中，SparkSQL 是一个非常强大的工具。当处理数据时，我们需要尽可能地减少读取磁盘数据的时间，因为磁盘通常是一个系统中最慢的组件之一。 这就是为什么在S...

在使用 Kafka 进行消息传递时，经常需要获取队列Topic中的元数据信息。通过编程方式获取Kafka中Topic的Metadata信息是非常重要的，这样可以帮助您更好地理解和处理消息。本文介绍了如何通过编程方式获取 Kafka 中 To...

在Shell中，我们可以使用hadoop fs命令来访问Hadoop分布式文件系统（HDFS）。要测试文件或目录是否存在，我们可以使用hadoop fs -test命令。 hadoop fs -test -d $file_path：测试目录...

Spark Streaming updateStateByKey案例实战和内幕源码解密 前言 Spark 是当下最受欢迎的分布式计算框架之一。Spark Streaming 是 Spark 中的一个核心模块，在数据处理领域中具有非常广泛的用...

在现代的应用程序架构中，分布式技术已经变得非常重要。随着数据量和复杂性的不断增加，分布式系统可以帮助我们分担负载，提高性能和可靠性。Kafka是一种分布式消息传递系统，它可以协助我们处理高吞吐量的消息，使得我们能够轻松地在多个应用程序之间传...

Hive是基于Hadoop生态系统的数据仓库系统，是一个分布式的数据仓库解决方案，可以对存储在Hadoop分布式文件系统中的大规模数据进行处理和分析。Hive0.11.0是Hive的一个新版本，它新增了许多功能以提高用户的使用体验，本文将详...

Spark常用函数讲解之Action操作 在进行 Spark 编程时，常常需要使用到 Action 操作。Action 操作是触发 Spark 作业执行的操作，当执行 Action 操作时，Spark 会根据依赖关系生成一个任务 DAG，然...