`
1028826685
  • 浏览: 938791 次
  • 性别: Icon_minigender_1
  • 来自: 重庆
社区版块
存档分类

mafka平台架构

 
阅读更多

什么Mafka

Mafka一个基于Kafka开发的一个分布式消息中间件综合解决方案。

 

 

Mafka架构

mafka平台里面有四个角色,这四个角色是通过zk进行协调的。

mafka-client:负责发送和接受消息。

mafka-manager:对集群和client状态管理。

mafka-monitor:用于监控和报警。

mafka集群:由多个broker组成的mafka集群(作为服务端)用于存储消息。

zookeeper:用于存储配置信息。

 

mafka-client

 

  • 易于使用:接口明确简单、几乎不需要配置就可以使用。因为客户端做了很多错误或异常信息收集,使用不正确能及时收到报警方便提醒使用方
  • 负载均衡算法:目前负载均衡算法有很多种,我根据mafka系统特点选择了轮询和权重轮询调度2种算法。
  • 动态策略:通过管理控制台操作,可以支持客户端动态调优。
  • 服务发现:通过监听broker注册在zookeeper上临时节点,可以轻易发现集群中broker的变化,便于实现HA机制。
  • 容灾切换:当前集群crash时,client可以选择切换到其他可用集群。

mafka-monitor

  •  数据和流量监控
  •  运行状态监控
  •  空闲资源监控
  •  客户端监控
  •  消息堆积监控

monitor会对各种维度数据和流量进行监控(集群、broker、topic)。并且能及时掌握集群的运行状态,同时能对空闲资源进行回收,还能及时了解客户端状态变化,跟进消息堆积情况及时处理。

 

mafka-manager

  • 系统状态查看

           消息堆积、系统拓扑、zabbix监控项、客户端上报信息等 

  • 集群管理

           双机房路由、topic,消费状态,appkey等

  • 权限管理

          用户、权限等

消息中间件需要有一个管理控制台,提高运维效率,目前能从mafka-manager看到消息堆积情况,集群拓扑图,

以及zabbix监控项、客户端上报等信息,也能管理双机房路由、topic、消费状态,appkey、用户、权限等。

分享到:
评论

相关推荐

    Mafka分享之旅

    Mafka一个基于Kafka开发的一个分布式消息中间件综合解决方案,实现队列服务高可用、可伸缩

    kafka & mafka client开发与实践

    通过深入理解其架构特点和技术优势,结合性能优化技巧和Mafka Client开发实践,可以充分发挥Kafka的能力,满足不同场景下的需求。无论是对于开发者还是运维人员而言,掌握Kafka的相关知识都是非常有价值的。

    Kafka & Mafka技术分享及讨论

    ### Kafka & Mafka 技术分享及讨论 #### Kafka 设计关键点 **背景与动机:** Kafka 的设计初衷是为了应对互联网应用中产生的大量日志数据(如访问日志、用户行为数据如投票和评分等)的高效处理需求。在传统消息...

    3-5+美团外卖实时数仓建设实践.pdf

    该实践涵盖了实时场景、实时技术、业务痛点、数据特点与应用场景、实时数仓架构设计、实时平台化建设等方面。 实时场景中,美团外卖涵盖了搜索推荐、用户标签、实时交互、客服、风险识别、异常交易、商家异常行为、...

    外卖风控实时数仓实践.pptx

    - **接入层**:通过Kafka和Mafka进行数据接入。 4. **相关优化经验** - **实时Join优化**:优化Join操作,如内存Join、Redis缓存和重试机制。 - **Storm优化**:确保并发安全,优化Sink,如共享连接池和异步批量...

    消息中间件书籍

    这本书可能会深入讲解Kafka的架构,如Producers、Brokers、Consumers以及如何构建实时数据管道。Kafka的主要特点是高吞吐量、持久化存储和容错能力,书中可能会探讨如何设计和优化Kafka集群,以及如何使用Kafka ...

    美团命名服务的演进与业务赋能.pptx

    早期的MNS架构主要由SGAgent、RPC-Transport、Provider Node、Service Consumer Node等组件组成,支撑了公司内部数十万服务节点的稳定运行,每天处理万亿级别的调用请求,覆盖了美团的所有业务线。 【美团命名服务...

Global site tag (gtag.js) - Google Analytics