使用Spark Structured Streaming写入Hudi
深度剖析Spark分布式执行原理 Apache Spark 是一个快速通用的大数据处理框架。它支持多种数据源，包括 Hadoop Distributed File System (HDFS)、Cassandra、HBase等。Spark 的...
最新文章 第16页
雅虎开源的Kafka集群管理器(Kafka Manager)
Kafka Manager是一个用Scala编写的开源工具，旨在简化和管理Apache Kafka集群的操作。它通过提供用户友好的Web界面和各种实用工具来帮助管理和监视Kafka集群。 Kafka Manager具有以下显著的特点： 集...
Apache Hadoop 3.0.0-alpha1版本发布更新
Apache Hadoop是一款开源的分布式系统软件，其应用广泛，特别是在大规模数据处理领域（如互联网数据分析）中得到了广泛的应用。最近Apache Hadoop 3.0.0-alpha1版本发布了，该版本带来了许多重要的更新和改进，本文将...
spark与flink的区别
Spark与Flink的区别 在大数据处理领域，Spark和Flink被广泛认可为两种最受欢迎的框架。这两个框架的设计都基于分布式数据集。它们之间有很多共同之处，但也有很多不同之处。在这篇文章中，我们将讨论Spark和Flink的区别以及它...
Kafka+Spark Streaming+Redis实时系统实践
Kafka+Spark Streaming+Redis实时系统是一种经典的大数据处理方式，由Kafka作为消息队列，Spark Streaming作为实时计算引擎，Redis作为缓存数据库组成。该系统可快速处理大量实时数据，实现实时数据处理...
Apache Hadoop 的 HDFS Federation 前世今生(上)
Apache Hadoop是一个分布式系统，可以存储和处理大量数据集。其中，分布式文件系统Hadoop Distributed File System（HDFS）是Hadoop的核心组件之一，用于存储和管理大规模数据集。HDFS是一个高可靠...
spark listener
Spark Listener Spark是一个强大的开源分布式计算框架，可以用于大规模数据处理。Spark的内部架构支持启用自定义的监听器，以便您可以从Spark应用程序中收集有关性能和状态的更多信息。 在Spark中，所有的事件都被封装为...
避坑指南：Kafka集群快速扩容的方案总结
Kafka 是一个高性能的分布式消息队列系统，在分布式应用中得到了广泛的应用。然而，在实际使用 Kafka 集群时，可能会因为业务扩大、性能需求提升等原因需要快速扩容，这时候就需要采用一些方法来避免坑点。 下面是一些避坑指南，以帮助您快速扩...
如何从根源上解决 HDFS 小文件问题
HDFS 是 Hadoop 生态系统的核心组成部分之一，主要用于存储和处理大数据。然而，由于 HDFS 的存储机制使得它对小文件处理效率较低，这成为了 Hadoop 使用过程中的一个重要问题。小文件问题的根源在于 HDFS 的设计，因此解决...
Spark常见问题汇总
背景 在大数据系统中，Spark 是非常重要的一个组件。它是由 Apache 组织开发的一个大数据计算框架，可以在分布式环境中进行大规模数据处理。Spark 有很多优点，如速度快、易于部署、支持多种语言等等。 在使用过程中，也会遇到一些问题...
