`
bit1129
  • 浏览: 1069591 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

【Kafka七】使用Kafka Consumer Offset Monitor 进行Kakfa监控

 
阅读更多

1. 获取Kafka Consumer Offset Monitor安装包

http://pan.baidu.com/s/1kT5KeQ7

 

 

2. Kafka Consumer Offset Monitor启动脚本kafkacom.sh

java -Xms128M -Xmx256M -Xss1024K -XX:PermSize=128m -XX:MaxPermSize=256m -cp KafkaOffsetMonitor-assembly-0.2.0.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb --zk localhost:2181 --port 8086 --refresh 10.seconds --retain 7.days 1> kakfa.offset.monitor.logs.stdout.log 2>kafka.offset.monitor.logs.stderr.log &

 

3.启动Zookeeper、Kafka Brokers

4. 启动Kafka Consumer Offset Monitor

 

sh kafkacom.sh

 

5. 在浏览器中访问如下地址打开监控界面:

http://192.168.26.140:8086

 

6. 启动Producer和Consumer,写20000万条消息,刷新浏览器查看offset的变化,可以看到

 

 

7. Consumer Offsets表各个列的含义:

  • Topic:Topic的名字
  • Partition:Topic包含的分区,上例中,learn.topic.p8.r2有8个分区
  • Offset:Kafka Consumer已经消费的分区上的消息数
  • logSize: 已经写到该分区的消息数
  • Lag:还有多少消息数未读取(Lag = logSize-Offset)
  • Owner: 该分区位于哪个Broker上,上例中有三个Broker(consumer group name + hostname + broker.id)
  • Created: 分区创建时间
  • Last Seen: Offset和logSize数字最后一次更新时间

 

8. 注意的问题:

刚开始启动时,发现Lag为负数,这明显不对,但是当使用Producer和Consumer进行读写Kafka后,数字显示正常

 

 

参考:http://blog.csdn.net/lizhitao/article/details/27199863

  • 大小: 88.7 KB
分享到:
评论

相关推荐

    offset kafka监控工具 免费

    而"offset kafka监控工具"则是针对Kafka集群进行管理和监控的重要辅助工具,它允许用户查看和管理Kafka主题中的消费偏移量,这对于理解和调试生产者和消费者的同步状态至关重要。 "offset explore"是这类工具的典型...

    Mac和Windows版本Kafka可视化工具kafkatool Offset Explorer

    包含Mac 和 windows版本, 可以连接kafka,非常方便的查看topic、consumer、consumer-group 等信息。 1、首先在Properties页签下填写好 zookeeper 地址和端口 2、再从 Advanced页签下填写 broker地址和端口

    5、kafka监控工具Kafka-Eagle介绍及使用

    1. **全面监控**:它能够监控 Kafka 的关键指标,如 Broker 的状态、Topic 的分区分布、Consumer 的消费进度(offset 和 lag)以及 Owner 信息。 2. **直观界面**:Kafka-Eagle 提供了一个友好的 Web UI,使得管理...

    RdKafka::KafkaConsumer使用实例

    在本文中,我们将深入探讨如何使用C++库RdKafka中的`KafkaConsumer`类来消费Apache Kafka消息。RdKafka是一个高效的C/C++ Kafka客户端,它提供了生产者和消费者API,使得与Kafka集群进行交互变得更加简单。在这个...

    kafka-manager1.3.0.8 可修改offset值

    在实际部署和使用Kafka Manager 1.3.0.8时,确保与Kafka集群版本兼容,并注意监控系统的性能和稳定性。同时,定期升级到最新版本以获取最新的特性和安全修复。最后,理解Kafka Manager提供的各项功能,结合Kafka的...

    Windows环境下kafka监控工具之kafkaOffsetMonitor的部署

    资源介绍了kafka的监控工具-kafkaOffsetMonitor在windodws环境下的部署,以kafkaOffsetMonitor_0.2.1版本举例说明了该工具在windows环境下如何部署及对kafka参数进行监控。

    kafka-consumer-monitor.zip

    监控并展示topic、消费者组 Consumer GroupId、Total Lag、Kafka数据生产...主要使用kafka.admin.AdminClient和org.apache.kafka.clients.consumer.KafkaConsumer实现,并且对接了华为FusionInsight平台的身份认证。

    Kafka Offset Monitor 资源本地化编译版

    有个别同学反馈上一次传的有部分资源没有完全本地化,所以今天特地重新编译了一版重新上传,再此也和之前下载的同学说声抱歉。希望对大家有用。

    Spring Boot集群管理工具KafkaAdminClient使用方法解析

    Spring Boot 集群管理工具 KafkaAdminClient 使用方法解析 KafkaAdminClient 是 Spring Boot 集群管理工具中的一部分,主要用于管理和检视 Kafka 集群中的Topic、Broker、ACL 等对象。下面将详细介绍 Kafka...

    Kafka监控工具.zip

    `Kafka-Manager`允许用户查看和操作Brokers(Kafka服务器)、topics、partitions和replicas的状态,还能创建、删除和调整topic的配置,甚至进行Consumer Group的操作。此外,它还提供了一些有用的监控指标,如Broker...

    Kafka可视化工具offsetExplore2

    offsetExplore2 实际上是 Kafka 的一个工具,用于管理和监控 Apache Kafka 中的偏移量(offset)。在 Kafka 中,偏移量是用来标识消费者在一个特定分区中的位置的标识符,它可以用来记录消费者消费消息的进度。 ...

    kafka_hdfs_consumer

    在实际操作中,`kafka_hdfs_consumer`可能还会利用Zookeeper进行协调,保证消费的顺序性和一致性,以及使用Hadoop的MapReduce或Spark等框架进行更复杂的批处理和数据分析。整个流程需要考虑到数据量大、实时性高和...

    使用netty实现TCP长链接消息写入kafka以及kafka批量消费数据

    标题"使用netty实现TCP长链接消息写入kafka以及kafka批量消费数据"揭示了这个项目的核心内容:通过Netty接收TCP长连接的数据,并将这些数据存储到Kafka中,同时利用Kafka的批量消费功能对数据进行处理。下面我们将...

    kafka管理工具 监控 偏移量 消费 offset,必备技能.docx

    使用 `bin/kafka-consumer-groups.sh` 工具,可以查看消费者组的信息,包括消费者的 Offset、Lag、LogSize 等信息。例如: `bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server hadoop-4:9092,hadoop...

    kafka tool offset explorer 2.2

    总结而言,Kafka Tool Offset Explorer 2.2是一款强大的Kafka管理工具,它通过直观的界面和丰富的功能,使得Kafka的offset管理和监控变得简单易行。无论是日常运维还是故障排查,它都能提供有力的支持,进一步提升...

    kafka-offset-monitor 0.4.6 内外可以访问页面

    KafkaOffsetMonitor 最新版本 0.4.6 , google js 替换已替换 内外可以访问页面

    zabbix监控之kafka模板

    zabbix监控之kafka模板

    kafkaConsumerDemo.zip

    通过这个`kafkaConsumerDemo`,你可以了解到Kafka Consumer API的基本使用方式,并且能够根据自己的需求进行定制和扩展。在实际应用中,你可能还需要考虑更多的高级特性,如自动偏移量提交、幂等性消费以及多线程...

    kafka-manager最新编译版1.3.3.22,解决了异常Unknown offset schema version 3

    Kafka-Manager是Yelp开源的一款针对Kafka集群管理的工具,最新版本1.3.3.22已经对这一异常进行了修复,使得管理和监控Kafka集群变得更加顺畅。 Kafka-Manager 1.3.3.22的发布,标志着其在功能完善和稳定性上又迈出...

    kafka监控工具KafkaOffsetMonitor.7z

    kafka监控工具KafkaOffsetMonitor afkaOffsetMonitor是Kafka的一款客户端消费监控工具,用来实时监控Kafka服务的Consumer以及它们所在的Partition中的Offset,我们可以浏览当前的消费者组,并且每个Topic的所有...

Global site tag (gtag.js) - Google Analytics