`
kane_xie
  • 浏览: 145272 次
社区版块
存档分类
最新评论

KafkaConsumer0.9(一)

阅读更多

Kafka0.9发布了新版consumer client。它与旧版本最大的区别是移除了基于zookeeper的high-level consumer和low-level SimpleConsumer,而代之于一个统一的consumer API,它集成了之前high-level consumer的group管理功能和low-level consumer的offset控制功能。

 

新的consumer实现了一套新的group管理机制,它使得consumer clients变得更简洁(真的比以前简洁很多。。。),并且获得更快的rebalancing。同时这个版本也完全解除了consumer client对zookeeper的依赖,直接访问kafka server使得consumer变得简单,并且能够使用到kafka server提供的安全(security)和配额机制(quota)。

 

这里多说一句,consumer不依赖zookeeper是对的,由于zookeeper本质上是一个cp而不是ap系统,它更适于用于服务协调而不是服务发现,因为对于后者来说,信息中可能包含错误总比没有信息要好。

 

为了让用户平滑地升级,0.8的consumer依然可以连接到0.9的kafka cluster。

0
1
分享到:
评论

相关推荐

    kafka-0.9.0.0-src.tgz

    Apache Kafka是一款分布式流处理平台,广泛应用于大数据领域,作为消息中间件,它提供高效、可靠的数据传输能力。本文将深入探讨Kafka 0.9.0.0的源代码,帮助读者理解其内部工作机制,提升对Kafka的理解和应用能力。...

    kafka 2.10-0.9.0.1 源码

    Kafka 0.9.0.1 版本是 Kafka 的一个重要里程碑,引入了若干关键改进和新特性。 **Kafka 镜像制作(Mirror Maker)** Kafka Mirror Maker 是一个工具,用于复制一个 Kafka 集群中的主题到另一个集群,通常用于跨...

    Kafka 0.9版本

    Kafka 0.9引入了新消费者API(Consumer Group API),这是一次重大更新,将消费者从旧的ZooKeeper依赖中解放出来,转而使用Kafka自身来协调消费者组。这一变化显著提高了消费者的可伸缩性和容错性,并简化了消费者...

    kafka_2.11-0.9.0.1

    这个名为 "kafka_2.11-0.9.0.1" 的压缩包包含了 Kafka 的一个特定版本——0.9.0.1,该版本支持 Scala 2.11,这是一款流行的 JVM 编程语言,用于开发高并发、低延迟的系统。 Kafka 的核心特性在于它的消息队列系统,...

    springboot kafka整合

    Kafka是一种分布式流处理平台,而Spring Boot是Java领域中的一个微服务开发框架,两者结合可以简化开发过程并提供强大的消息处理能力。 **一、Spring Boot与Kafka简介** Spring Boot以其“开箱即用”的特性,极大...

    kafka_2.11-0.9.0.1.tgz

    总结来说,Apache Kafka 0.9.0.1 提供了一个强大、可靠且可扩展的平台,适用于处理大规模实时数据流。其独特的设计和特性使其在现代大数据架构中占据了重要位置。无论是生产者、消费者还是主题与分区的设计,都充分...

    PyPI 官网下载 | opentracing-python-kafka-client-0.9.tar.gz

    今天我们要关注的是PyPI上的一款名为`opentracing-python-kafka-client-0.9.tar.gz`的资源,它是一个针对Kafka的OpenTracing客户端库,版本为0.9。这款库主要目的是为了实现Python应用与Kafka之间的分布式追踪,从而...

    Apache Kafka 0.9.0说明文档

    Kafka 0.9引入了消费者小组的概念,允许动态平衡分区的分配。 三、Kafka 配置 1. **Kafka 服务器配置 (Broker Configs)**:Kafka服务器的配置涉及到诸如broker.id、num.partitions、replication.factor等参数,...

    kafka-python开发文档

    KafkaConsumer是kafka-python提供的一个高级消息消费者API,它与官方的Java客户端尽可能地相似。它支持通过Kafka broker的Group APIs实现完全的消费者组协调,需要Kafka 0.9+版本支持。KafkaConsumer的API和配置细节...

    disruptor-kafka-consumer:基于React流的卡夫卡消费者

    卡夫卡消费者的破坏者演示如何在Kafka 0.9 Consumer上使用LMAX Disruptor 好处->一旦先前的使用者完全处理完消息,便可以使用序列屏障来提交消息。想象力是极限。如果环形缓冲区可以容纳在L3缓存中,则处理速度会更...

    sarama-cluster:Sarama的集群扩展,Apache Kafka 0.9的Go客户端库[已弃用]

    集群扩展,Apache Kafka 0.9(及更高版本)的Go客户端库。 停产通知 请注意,由于已合并并发布(> = v1.19.0),因此该库已正式弃用。 本机实现支持该库无法提供的各种用例。 文献资料 可通过godoc在中获得文档和...

    kafka-node:适用于Apache Kafka 0.8及更高版本的Node.js客户端

    Kafka-node是Apache Kafka 0.9及更高版本的Node.js客户端。 目录 抵消 行政 故障排除/常见问题解答 首次发送时出现KeyedPartitioner错误的HighLevelProducer 如何调试问题? 对于新使用者,如何从分区中的最新...

    kafka-consumer-producer:卡夫卡0.8.2.2的简单示例

    Java中的`KafkaConsumer`类用于实现消费者。 3. **Kafka主题**: 主题是消息的逻辑分类。生产者将消息发布到主题,消费者从主题中订阅和消费消息。 4. **Kafka Broker**: Kafka集群由一个或多个broker组成,它们...

    Kafka & Mafka技术分享及讨论

    - **Kafka-0.9.x:** 增强了安全性,引入了客户端访问的读写权限控制,并对 Connect 模块进行了重构,还重新设计了 Consumer。 #### 应用领域 Kafka 的应用非常广泛,以下是一些典型的应用场景: - **Kafka+Flume...

    尚硅谷大数据技术之Kafka1

    - **Zookeeper**:在Kafka 0.9之前,用于管理consumer的offset,之后存储在本地。 5. **Kafka集群规划与部署** - **集群规划**:涉及broker数量、partition数量等,确保高可用性和负载均衡。 - **jar包下载**:...

    Kafka学习资料.pdf

    - 消费者组(Consumer Group)是指一组可以协同工作的消费者实例,它们共同消费一个或多个主题的所有分区,但每个分区只能被一个消费者消费。 - Zookeeper在Kafka集群中主要用于管理集群元数据,如Broker信息、...

    kafka基本指令

    nohup /opt/modules/kafka_2.11-0.9.0.1/bin/kafka-server-start.sh /opt/modules/kafka_2.11-0.9.0.1/config/server.properties & ``` #### 二、关闭Kafka服务 同样地,可以在每个节点上关闭Kafka服务: ```bash...

    KAFKA分布式消息系统(linux)

    Kafka是一种高性能的分布式消息系统,由LinkedIn开发并贡献给了Apache软件基金会。它被设计为一个可扩展、容错且低延迟的消息中间件,广泛用于大数据实时处理、日志收集、流处理等场景。在Linux环境下部署和使用...

    KafKa安装使用手册.docx

    4. Topic(主题):Kafka 中的一个逻辑消息队列,Producer 将消息发送到 Topic 中,Consumer 从 Topic 中消费消息。 5. Partition(分区):Topic 中的一个物理分区,用于存储消息。 四、Kafka 的应用场景 1. ...

Global site tag (gtag.js) - Google Analytics