`
m635674608
  • 浏览: 5027325 次
  • 性别: Icon_minigender_1
  • 来自: 南京
社区版块
存档分类
最新评论

Kafka三款监控工具比较

    博客分类:
  • MQ
 
阅读更多

在之前的博客中,介绍了Kafka Web Console这 个监控工具,在生产环境中使用,运行一段时间后,发现该工具会和Kafka生产者、消费者、ZooKeeper建立大量连接,从而导致网络阻塞。并且这个 Bug也在其他使用者中出现过,看来使用开源工具要慎重!该Bug暂未得到修复,不得已,只能研究下其他同类的Kafka监控软件。

通过研究,发现主流的三种kafka监控程序分别为:

  • Kafka Web Conslole
  • Kafka Manager
  • KafkaOffsetMonitor

现在依次介绍以上三种工具:

Kafka Web Conslole

使用Kafka Web Console,可以监控:

  • Brokers列表

  • Kafka 集群中 Topic列表,及对应的Partition、LogSiz e等信息

  • 点击Topic,可以浏览对应的Consumer Groups、Offset、Lag等信息

  • 生产和消费流量图、消息预览…

kafka-web-console

程序运行后,会定时去读取kafka集群分区的日志长度,读取完毕后,连接没有正常释放,一段时间后产生大量的socket连接,导致网络堵塞。

Kafka Manager

雅虎开源的Kafka集群管理工具:

  • 管理几个不同的集群

  • 监控集群的状态(topics, brokers, 副本分布, 分区分布)

  • 产生分区分配(Generate partition assignments)基于集群的当前状态

  • 重新分配分区

kafka-manager

KafkaOffsetMonitor

  • KafkaOffsetMonitor可以实时监控:

  • Kafka集群状态

  • Topic、Consumer Group列表

  • 图形化展示topic和consumer之间的关系

  • 图形化展示consumer的Offset、Lag等信息

    KafkaOffsetMonitor


总结

通过使用,个人总结以上三种监控程序的优缺点:

Kafka Web Console:监控功能较为全面,可以预览消息,监控Offset、Lag等信息,但存在bug,不建议在生产环境中使用。

Kafka Manager:偏向Kafka集群管理,若操作不当,容易导致集群出现故障。对Kafka实时生产和消费消息是通过JMX实现的。没有记录Offset、Lag等信息。

KafkaOffsetMonitor:程序一个jar包的形式运行,部署较为方便。只有监控功能,使用起来也较为安全。

若只需要监控功能,推荐使用KafkaOffsetMonito,若偏重Kafka集群管理,推荐使用Kafka Manager。

因为都是开源程序,稳定性欠缺。故需先了解清楚目前已存在哪些Bug,多测试一下,避免出现类似于Kafka Web Console的问题。

原创文章,转载请注明:
转载自蓝色天堂博客,本文链接地址:http://hadoop1989.com/2015/09/22/Kafka-Monitor_Compare/

分享到:
评论

相关推荐

    kafka-manager监控管理kafka工具

    Kafka-Manager是一款强大的开源工具,专为管理和监控Apache Kafka集群而设计。它由Yahoo!开发并维护,为Kafka用户提供了一种直观且易用的界面,帮助用户更好地理解和控制他们的Kafka环境。在本文中,我们将深入探讨...

    5、kafka监控工具Kafka-Eagle介绍及使用

    Kafka-Eagle 是针对 Kafka 集群设计的一款高效、易用的监控工具,旨在提供对 Kafka 的深度监控和管理。 Kafka-Eagle 的主要特点包括: 1. **全面监控**:它能够监控 Kafka 的关键指标,如 Broker 的状态、Topic 的...

    Kafka监控工具.zip

    对于初学者来说,了解并掌握这些监控工具是十分必要的。KafkaOffsetMonitor可以帮助理解消费者如何处理消息,而Kafka-Manager则提供了一个直观的界面来管理和诊断整个Kafka集群。两者结合使用,可以有效地确保Kafka...

    kafka监控工具

    本文将详细探讨“kafka监控工具”,特别是通过Windows客户端连接Zookeeper来获取Kafka运行状态的方法。 Zookeeper是Apache Hadoop的一个子项目,它是一个分布式的、开放源码的协调服务,为分布式应用提供一致性服务...

    Windows环境下kafka监控工具之kafkaOffsetMonitor的部署

    资源介绍了kafka的监控工具-kafkaOffsetMonitor在windodws环境下的部署,以kafkaOffsetMonitor_0.2.1版本举例说明了该工具在windows环境下如何部署及对kafka参数进行监控。

    实测可用kafka监控工具

    标题中的“实测可用kafka监控工具”指的是一个经过实际测试的工具,这个工具能够帮助管理员有效监控Kafka集群的状态,确保系统的稳定运行。这样的工具通常包含以下几个关键功能: 1. **基本信息仪表盘**:这是一个...

    offset kafka监控工具 免费

    总的来说,这款offset kafka监控工具通过提供实时的offset信息和便捷的操作方式,帮助用户更好地管理和维护Kafka集群。无论是为了监控生产环境的健康状况,还是为了开发和测试目的,都能发挥重要的作用。同时,其...

    kafkatool 连接kafka工具

    为了方便管理和操作 Kafka 集群,开发者通常会使用各种工具,其中 `kafkatool` 是一款广泛使用的命令行工具。本文将深入探讨 `kafkatool` 的功能、使用方法以及如何利用它来连接和管理 Kafka 集群。 **1. kafkatool...

    kafka可视化工具--kafkatool

    Kafkatool就是这样一款强大的Kafka管理工具,它提供了丰富的功能,帮助用户直观地理解和操作Kafka集群。 **Kafkatool的功能特性:** 1. **连接Kafka集群**:Kafkatool能够直接与Kafka集群建立连接,无需复杂的配置...

    kafka连接工具客户端.rar

    首先,"kafka连接工具客户端.rar"这个压缩包中包含的是针对Windows平台设计的Kafka可视化工具,这类工具通常具有图形化界面,使得用户无需编写复杂的命令行指令,就能直观地管理和监控Kafka集群。它们简化了创建、...

    kafka监控工具kafka-eagle

    **Kafka Eagle** 是一款专为Apache Kafka设计的开源监控和管理工具,旨在提供更为直观、高效的监控解决方案。...尽管2018年的版本可能无法满足最新的需求,但它仍然是了解Kafka监控工具的一个良好起点。

    kafka监控工具KafkaOffsetMonitor.7z

    kafka监控工具KafkaOffsetMonitor afkaOffsetMonitor是Kafka的一款客户端消费监控工具,用来实时监控Kafka服务的Consumer以及它们所在的Partition中的Offset,我们可以浏览当前的消费者组,并且每个Topic的所有...

    kafka报文模拟工具

    5. 监控与分析:通过Kafka自带的监控工具或者其他第三方工具,我们可以观察消费者如何处理这些模拟的报文,从而评估系统的稳定性和性能。 在压缩包文件"Aladdin_1.0.0"中,很可能包含了这个工具的安装程序或者可...

    可视化kafka测试工具

    本文将详细介绍一款可视化Kafka测试工具,该工具能够简化Kafka消息的生产和消费过程,并提供直观的界面来帮助我们理解Kafka的工作原理。 **工具介绍** 这款可视化Kafka测试工具的主要功能是模拟发送Topic消息到...

    kafka监控工具KafkaOffsetMnitor angularjs和css

    【Kafka监控工具KafkaOffsetMonitor详解】 KafkaOffsetMonitor是一款强大的开源监控工具,专为Apache Kafka设计,用于实时监控和分析Kafka集群中的消费者偏移量。它可以帮助管理员跟踪消费者的消费进度,确保数据的...

    kafka管理工具 监控 偏移量 消费 offset,必备技能.docx

    Kafka 管理工具监控偏移量消费 Offset 必备技能 Kafka 是一个流行的分布式流媒体平台,提供了高吞吐量、可持久化的消息队列服务。但是,Kafka 的管理和监控却是一件复杂的事情,需要专业的管理工具和技术。以下是 ...

    实测可用kafka监控工具(2)--kafka-manager

    总的来说,Kafka-Manager作为一款实用的Kafka监控工具,不仅简化了Kafka集群的日常管理,还提升了问题排查的效率。无论是新手还是经验丰富的管理员,都能从中受益,实现对Kafka集群的精细化管理。通过掌握Kafka-...

    kafka的topic小工具

    标题中的“kafka的topic小工具”指的是一个用于管理和操作Kafka主题的实用程序,它提供了用户友好的界面或命令行工具,使得在Kafka集群上执行常见的管理任务变得简单。Kafka是一个分布式流处理平台,广泛应用于...

    kafka 监控工具

    首先,Kafka Manager是一款开源的Kafka监控工具,它的源代码可以在名为"kafka-manager-master"的压缩包中找到。Kafka Manager提供了用户友好的界面,允许管理员轻松查看和管理Kafka集群。它能够帮助我们完成以下任务...

    Kafka可视化工具offsetExplore2

    offsetExplore2 实际上是 Kafka 的一个工具,用于管理和监控 Apache Kafka 中...总的来说,offsetExplore2 是一款专门用于管理和监控 Kafka 中偏移量的工具,它可以帮助用户更好地了解和控制 Kafka 中消息的消费情况。

Global site tag (gtag.js) - Google Analytics