`
m635674608
  • 浏览: 5030971 次
  • 性别: Icon_minigender_1
  • 来自: 南京
社区版块
存档分类
最新评论

分布式消息队列RocketMQ源码分析之4 -- Consumer负载均衡与Kafka的Consumer负载均衡之不同点

    博客分类:
  • MQ
 
阅读更多

分析完RocketMQ的负载均衡,我们发现它比Kafka的负载均衡要简单,Kafka在这1块搞了蛮复杂的通信协议,可以参见上面那篇文章。

具体来说,有2个地方,要简化很多:

(1) Kafka首先为每个Consumer Group选出了一个Coordinator,所有的Consumer要先找到这个Coordinator,然后和其通信,开始负载均衡。

RocketMQ直接省去了这个选Coordinator的过程,直接让consumer和所有broker广播通信。

(2) 虽然Kafka也是让客户端做负载均衡,但是做法和RocketMQ并不一样。Kafka是让Coordinator从所有Consumer中,选出了一个Master Consumer,让它负载分配。它分好之后,把分配结果传给其他的Consumer。

RocketMQ没搞这么复杂,而是所有Consumer都获取到这份全局的consumer列表,每个人自己分自己那一份!!少了上面的通信过程。

 

http://blog.csdn.net/chunlongyu/article/details/54630651

分享到:
评论

相关推荐

    kafka:一个分布式消息系统

    "Kafka:一个分布式消息系统" Kafka 是一个分布式消息系统,旨在提供高性能、可扩展性强、可靠的消息传递服务。Kafka 的架构包括话题(Topic)、生产者(Producer)、代理(Broker)和消费者(Consumer)四个组件。...

    java面试题_消息中间件--RocketMq(14题).zip

    - **Message Queue负载均衡**:消息按策略分发到不同的Queue,避免热点问题。 6. **RocketMQ的消费模型**: - **集群消费**:消费者集群共享Topic下的Queue,按比例分配消息。 - **订阅组**:相同订阅组的消费者...

    kafkaConsumerDemo.zip

    Kafka是一种分布式、高吞吐量、低延迟的消息队列系统,适用于大数据处理和实时分析场景。 **Kafka Consumer API** 在Kafka中,消费者是读取主题(Topic)中的消息的客户端。Kafka Consumer API是Java开发者用来...

    rocketmq-4.7.0.zip

    2. **消息队列与Topic**:Topic是消息的分类,用户可以创建多个Topic来区分不同种类的消息。消息队列是消息的实际存储单位,每个Topic可以包含多个消息队列,队列之间相互独立,消息的消费也是在队列级别进行的。 3...

    12_总结一下消息队列相关问题的面试技巧.zip

    - 集群部署:通过多台服务器部署消息队列,实现故障转移和负载均衡。 - 幂等性设计:确保消息即使被多次消费也不会产生副作用,例如通过唯一标识判断消息是否已被处理过。 5. **消息顺序与一致性** - 在大多数...

    高级Java人才培训专家-1-第一章 kafka基础

    消息队列(Message Queue, MQ),作为一种重要的中间件技术,广泛应用于分布式系统的解耦与异步通信中。它主要负责在不同组件之间传递消息,从而实现组件之间的解耦,提高系统的整体性能和稳定性。 **什么是消息...

    Java-25-通用设计-分布式事务-消息队列.rar

    本资料包"Java-25-通用设计-分布式事务-消息队列.rar"主要涵盖了这两个主题,下面将详细阐述它们的核心知识点。 **分布式事务** 分布式事务是指跨越多个数据库或服务的单个业务操作,它涉及到不同系统间的协调工作...

    Kafka3.0详解,客户端命令,核心配置文件详解。spring集成、webflux集成、集群搭建

    Kafka3.0是一个在分布式系统中广泛使用...通过以上知识点的详细介绍,可以看出Kafka3.0不仅是一个强大的消息队列系统,还提供了丰富的配置与集成方案,以及灵活的集群搭建策略,可以有效地满足不同类型企业应用的需求。

    尚硅谷大数据技术之Kafka.pdf

    Kafka是一个分布式的消息队列系统,主要特点和应用场景如下: 1. Kafka定义和作用 - Kafka是一个分布式、基于发布/订阅模式的消息队列系统,它在大数据实时处理领域有着广泛的应用。通过消息队列,可以实现数据流...

    kafka 技术内幕 图文详解Kafka源码设计与实现

    3. **消息模型**:Kafka采用发布/订阅模型,但与传统的消息队列不同,它支持多消费者组,每个组内的消息是有序的,而组间可以并行消费,提高了处理效率。 4. **数据持久化**:Kafka将消息持久化到硬盘,通过日志...

    kafka源码解析新手版本(修正版)

    - **消息分区与分布消费:** 支持消息在不同Kafka Server之间的分区存储以及分布式的消费模式,同时保证每个分区内的消息顺序传输。 - **支持离线和实时数据处理:** 同时满足离线批处理和实时流处理的需求。 - **...

    13期RocketMQ讲义(1).pdf

    - **其他功能**:如故障恢复、负载均衡、消息确认等。 2. **MQ的优点和缺点** - **优点**:提高系统可用性,简化复杂性,提供可靠的消息传递。 - **缺点**:增加系统复杂性,可能引入延迟,需要管理消息队列本身...

    行业分类-设备装置-消息队列的实现方法和系统、消息队列处理系统.zip

    6. **负载均衡与容错**:消息队列处理系统需要考虑负载均衡,确保消息在多个消费者间均匀分布,同时提供故障转移和高可用性,以防单点故障。 7. **消息确认与重试机制**:为了保证消息的可靠性,消息队列通常支持...

    RocketMQ的使用、原理

    #### 二、RocketMQ与Kafka对比分析 RocketMQ与Kafka是两款非常受欢迎的消息中间件,各有优势: - **Kafka**以其无限消息堆积能力和高效的持久化速度著称,特别适合于日志传输场景。 - **RocketMQ**则因其支持严格...

    Kafka全面教程,适合项目实战(包括源码剖析)

    2. **分区策略**:解析Kafka是如何通过分区来实现数据的分布式存储和负载均衡的。 3. **副本机制**:理解Kafka如何通过复制数据到多个Broker上来保证数据的高可用性和容错能力。 4. **网络通信协议**:分析Kafka使用...

    图解 Kafka 之实战指南

    ### 图解Kafka之实战指南知识点详述 #### 一、Kafka简介 **Kafka** 起初由LinkedIn采用Scala语言开发,后捐赠给Apache基金会,现已成为一款广泛应用于分布式流处理平台的成熟软件。它凭借高吞吐量、可持久化存储、...

    kafka_2.11-1.1.1安装包

    总的来说,Kafka 1.1.1版本在消息处理和分布式架构方面提供了强大的支持,适用于需要实时数据处理和分析的大数据场景。通过理解其核心概念和安装配置过程,开发者可以有效地利用Kafka构建稳定可靠的数据流系统。

    Kafka集群文档

    Kafka是一款分布式、分区化、复制式的提交日志服务,它不同于传统的消息队列系统如JMS(Java消息服务)的实现方式。尽管Kafka提供了一些与JMS相似的功能,但它并未遵循JMS规范,而是采用了一种全新的架构设计。 **...

    Kafka学习资料.pdf

    与点对点模式不同的是,在发布/订阅模式中,发布的消息会被所有订阅者消费。 - 在发布/订阅模式中,有两种数据获取方式: - 消费者主动拉取数据:消费者需要定期检查消息队列是否有新消息。 - 消息队列主动向消费...

    消息队列_消息队列_

    3. **负载均衡**:多个消费者可以从队列中获取并处理消息,实现任务的负载均衡。 4. **容错性**:如果消费者故障,消息不会丢失,因为它们保留在队列中,直到被成功处理。 5. **批量处理**:消费者可以从队列中一次...

Global site tag (gtag.js) - Google Analytics