Mac私塾

Spark和Kafka的结合使用 在大数据领域中，Spark和Kafka是两个非常重要的组件。他们可以非常好的协同工作，实现流式数据处理和分析工作。本文将介绍在Spark中如何使用Kafka进行流式数据的处理。 Spark和Kafka组合的...

Apache Kafka是一款高性能、分布式、可扩展、消息队列系统，能够处理大规模的消息流。目前，Kafka已成为业界最流行的消息流平台之一，被广泛应用于大数据、流式处理、消息队列等领域。最近，Apache Kafka发布了2.0.0版本，...

Apache Hadoop 2.7.1是一个分布式计算框架，致力于解决海量数据处理问题。它由美国阿帕奇软件基金会（Apache Software Foundation）开发和维护，是目前最流行的大数据处理框架之一。Hadoop的核心组件包括...

Spark SQL学习 作为一名大数据工程师，Spark是我们熟知的分布式计算框架。而Spark SQL则是Spark框架中一个非常重要的组件。在本篇博客中，我将带你深入了解Spark SQL的学习。 Spark SQL的简介 Spark ...

Structured Streaming是Spark Streaming的一种新的编程API，可以使发人员更轻松地编写分布式流处理代码。而Kafka是一个分布式流处理的消息队列系统，可以用于传输大量的实时数据。本文将介绍Structured...

Apache Hadoop是一种开源的分布式存储与计算框架，能够处理大规模数据集。随着大数据的兴起，Apache Hadoop已经成为数据存储和处理领域的重要技术。在2014年3月发布的Apache Hadoop 2.3.0版本中，有三大重...

Spark SQL Migration Guide 作为一个大数据工程师，了解如何进行Spark SQL的迁移是非常重要的。在这篇博客中，我将会分享一些关于如何进行这项工作的经验和技巧。 迁移前的准备 在开始进行Spark SQL迁移工作之...

在Kafka中，偏移量是指为了确保数据的顺序传递和消费，Partition中当前最新的消息的位置。Kafka所有的读写都是基于偏移量的。在一些特定的场景下，我们需要手动地更新某个Topic的偏移量。本文将探讨如何手动更新Kafka中某个To...

字节跳动是一家全球领先的技术企业，随着公司规模的快速发展，数据存储和处理需求也越来越大。因此，字节跳动采取了多机房架构的方式搭建 HDFS 集群，以应对海量数据的存储和处理。 在搭建 HDFS 集群的早期阶段，字节跳动采用传统的集中式单机房...

Spark如何解决常见的Top N问题 在大数据处理中，Top N问题是常见的需求之一。简单来说，Top N问题就是在一个数据集中，找出前 N 个满足指定条件的记录。 在传统的关系型数据库中，可以通过类似于以下的 SQL 语句来实现 Top...