一个专注于大数据技术架构与应用分享的技术博客

Kafka 第2页

通过编程方式获取Kafka中Topic的Metadata信息

在使用 Kafka 进行消息传递时,经常需要获取队列Topic中的元数据信息。通过编程方式获取Kafka中Topic的Metadata信息是非常重要的,这样可以帮助您更好地理解和处理消息。本文介绍了如何通过编程方式获取 Kafka 中 To...

阅读(145)

Kafka分布式集群部署手册(一)

在现代的应用程序架构中,分布式技术已经变得非常重要。随着数据量和复杂性的不断增加,分布式系统可以帮助我们分担负载,提高性能和可靠性。Kafka是一种分布式消息传递系统,它可以协助我们处理高吞吐量的消息,使得我们能够轻松地在多个应用程序之间传...

阅读(168)

Apache Avro使用入门指南

Apache Avro是一个基于二进制数据序列化格式的Apache项目,它提供了一种通用的、高性能的数据交换格式。Avro是一款轻量级、跨平台的数据序列化工具,可以用于将数据从一种格式转换为另一种格式。这篇文章将介绍如何使用Apache A...

阅读(207)

HBase 中加盐(Salting)之后的表如何读取:MapReduce 篇

在 HBase 中使用加盐(Salting)可以提高数据分布的均匀性,从而提高查询和读取性能。加盐的实现方式是在数据行键的前缀或后缀随机添加一定长度的字节,使得数据分布在多个 RegionServer 上,避免某个 RegionServer...

阅读(145)

Spark Streaming和Kafka整合开发指南(一)

Spark Streaming是Apache Spark的一个扩展模块,它提供了基于实时流数据的处理能力,可以与各种流数据源进行整合。其中,与Kafka的整合应用广泛,本文将对Spark Streaming和Kafka整合开发进行介绍和指...

阅读(127)

Kafka设计解析:Kafka High Availability

Kafka是一种高吞吐量、分布式、可扩展的消息系统,能够快速地处理大量消息。在实际应用中,消息服务的可靠性和高可用性是至关重要的。因此,Kafka提供了多种机制来实现高可用性,并且在节点出现故障时能够自动进行故障转移,确保消息服务的持续稳定...

阅读(115)

在Kafka中使用Avro编码消息:Consumer篇

在Kafka中使用Avro编码消息需要在Producer和Consumer两端都进行相关的配置和使用。在前一篇文章中我们介绍了如何使用Avro编码消息进行生产,本篇文章中我们将介绍如何在Consumer端对Avro编码的消息进行读取和反序...

阅读(140)

Spring Boot 中读写 Kafka header 信息

Spring Boot是一个非常流行的Java开发框架,它可以在很短的时间内构建高效和可扩展的Web应用程序。Kafka是另一个非常流行的消息队列系统,它经常用来在分布式系统中传输消息。Spring Boot结合Kafka可以让开发人员更加...

阅读(248)

五年总结:过往记忆大数据公众号原创精选

在过去的五年中,过往记忆大数据公众号通过深度挖掘历史文化、科学技术等领域的知识,向读者提供了大量有价值的原创精选文章。以下是笔者对部分精选文章的回顾与总结。 首先,公众号涉及的历史文化领域涵盖了从古代到现代的各个时期,包括文化名人、历史事件...

阅读(127)

Apache Kafka 2.0.0 正式发布,多项重要功能更新

Apache Kafka是一款高性能、分布式、可扩展、消息队列系统,能够处理大规模的消息流。目前,Kafka已成为业界最流行的消息流平台之一,被广泛应用于大数据、流式处理、消息队列等领域。最近,Apache Kafka发布了2.0.0版本,...

阅读(142)