admin的文章

什么是Spark和SparkContext？ Apache Spark是一个分布式大数据处理和计算引擎，适用于批量处理、流处理和交互式查询。SparkContext是Spark的核心引擎，是连接Spark应用程序和集群管理器的重要接口。在S...

公安大数据实时运维技术是一种基于云计算和大数据技术的公安数据处理、存储和应用一体化解决方案，可以将信息快速转化成有价值的数据，为公安工作提供支持。其中Spark作为一个分布式计算框架，为公安大数据实时运维技术提供了强大的计算能力。本文将从以...

字节跳动作为一家大型互联网企业，需要处理大规模的数据，因此字节跳动使用了Hadoop分布式计算系统以及其上面的分布式文件系统HDFS来管理数据。随着数据量的不断增大，为了更好地满足公司业务的需求，字节跳动进行了一次HDFS的升级，采用了EB...

Spark之join、leftOuterJoin、rightOuterJoin及fullOuterJoin 在处理大规模的数据时，join操作是非常常见的。Spark提供了多种join操作，包括join、leftOuterJoin、righ...

在Hadoop中，MapReduce作业是通过YARN（Yet Another Resource Negotiator）提供的资源管理器来调度和管理的。在运行MapReduce作业时，我们可以通过设置一些参数，来配置作业所需要的内存资源。本...

Apache Hadoop 3.0.0-beta1 的正式发布，是 Hadoop 社区和广大用户期待已久的一件好事。Hadoop 是一个开源的大数据处理框架，可以解决海量数据的存储、计算、处理等问题。Hadoop 3.0.0-beta1 的...

什么是Spark SQL？ Apache Spark是一个快速、通用的大规模数据处理引擎，旨在提供易于使用的基于内存的分布式计算方法。Spark SQL是Spark中一个新的模块，用于结构化数据处理。Spark SQL对于SQL语言是高度兼...

Apache Kafka是一个分布式流处理平台，用于高吞吐量的发布和订阅消息。在2019年6月，Apache Kafka发布了最新的版本2.3，该版本增加了一些新的特性和改进。以下是Apache Kafka 2.3的一些新特性简要概述。 K...

Hadoop是一个分布式计算框架，其元数据管理模块负责协调和管理成千上万个节点上的数据。这一模块通常使用Hadoop分布式文件系统（HDFS）完成，但在使用HDFS时，有时会发生元数据合并异常的情况。本文将探讨Hadoop元数据合并异常及其...

Spark+Kafka 案例 在大数据领域，Spark和Kafka是两个非常重要的组件。Spark是一个分布式计算框架，可用于处理大规模数据集。而Kafka是一个分布式流处理平台，可用于构建实时数据管道和流式应用程序。 接下来，我将分享一个...