`
sillycat
  • 浏览: 2539568 次
  • 性别: Icon_minigender_1
  • 来自: 成都
社区版块
存档分类
最新评论

Kafka(6)How to Monitor Kafka

 
阅读更多

Kafka(6)How to Monitor Kafka

1. KafkaOffsetMonitor

This project is good.
https://github.com/quantifind/KafkaOffsetMonitor

build and run it
>sbt clean update
>sbt assembly
>java -cp target/scala-2.10/KafkaOffsetMonitor-assembly-0.2.1-SNAPSHOT.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb --zk ubuntu-slave1 --port 8080 --refresh 10.seconds --retain 2.days

Visit the web page 
http://localhost:8080

The most import class is something like com.quantifind.kafka.OffsetGetter.
It keeps using import kafka.utils.ZkUtils to connect to the zookeeper to fetch the information.

2. kafka-web-console
This project is here
https://github.com/claudemamo/kafka-web-console.git

build and run it
>git clone https://github.com/claudemamo/kafka-web-console.git

>sbt clean update gen-idea
>sbt run

Visit the page http://localhost:9000

It is using the com.twitter.zk.ZkClient to fetch the information from zookeeper.

If I plan to writer something myself. I need to understand this tool.

https://cwiki.apache.org/confluence/display/KAFKA/Kafka+data+structures+in+Zookeeper

References:
https://github.com/quantifind/KafkaOffsetMonitor

https://github.com/claudemamo/kafka-web-console



分享到:
评论

相关推荐

    kafka-offset-monitor 0.4.6 内外可以访问页面

    KafkaOffsetMonitor 最新版本 0.4.6 , google js 替换已替换 内外可以访问页面

    kafka monitor

    kafka monitor 0.3.0 可以之家下载启动,详细看我博客

    kafka-consumer-monitor.zip

    监控并展示topic、消费者组 Consumer GroupId、Total Lag、Kafka数据生产速度、Kafka数据消费速度、Total Lag趋势拆线图、等等。主要使用kafka.admin.AdminClient和org.apache.kafka.clients.consumer.KafkaConsumer...

    kafkatool客户端工具

    kafkatool客户端工具,查询kafka中的信息。

    kafkatool 连接kafka工具

    **6. 其他高级功能** - **分区分配**: `reassign-partitions` 命令可以手动调整主题分区的分配,优化数据分布和容错能力。 - **ACL 管理**: 支持创建、查询和删除 ACL(Access Control List),确保集群的安全性。 ...

    Packt.Learning.Apache.Kafka.2nd.Edition

    how to integrate Kafka with Camus, Apache Camel, Amazon Cloud, and so on.Chapter 6, Kafka Integrations, provides a short introduction to both Storm and Hadoop and discusses how Kafka integration works...

    Big Data SMACK: A Guide to Apache Spark, Mesos, Akka, Cassandra, and Kafka

    How use tools to monitor the performance of your architecture. How to integrate all technologies and decide which replace and which reinforce. Who This Book Is For This book is for developers, data ...

    kafka-offset-monitor-assembly-0.4.6

    KafkaOffsetMonitor是kafka监控工具,用来监控Kafka的消费组以及它们所在的分区中的Offset,每个Topic的所有分区的消费情况都可以一目了然,下载jar文件上传到linux服务器上,修改start.sh中的zookeeper、kafka地址...

    kafka-monitor.rar

    6. **日志记录**:为了便于故障排查,项目可能会集成日志框架(如Logback或Log4j),详细记录Kafka操作的日志信息。 7. **测试用例**:为了确保功能的正确性,项目可能包含单元测试和集成测试,使用JUnit或Spock等...

    kafka可视化工具--kafkatool

    6. **数据导入与导出**:工具提供了将消息从一个topic导出到文件,以及从文件导入到另一个topic的功能。这对于数据迁移或备份很有价值。 7. **性能测试**:Kafkatool包含一个简单的生产者模式,可以用于测试Kafka...

    Learning Apache Kafka 2nd Edition

    Our goal is to give you an understanding not just of what Apache Kafka is, but also how to use it as a part of your broader technical infrastructure. In the end, we will walk you through ...

    Apache Kafka

    kafka是一个分布式消息发布订阅系统,它最初由LinkedIn公司基于独特的设计实现为一个分布式的提交日志系统( a distributed commit log),,之后成为Apache项目的一部分。Kafka系统快速、可扩展并且可持久化。它的...

    Kafka Offset Monitor 资源本地化编译版

    有个别同学反馈上一次传的有部分资源没有完全本地化,所以今天特地重新编译了一版重新上传,再此也和之前下载的同学说声抱歉。希望对大家有用。

    kafka2种工具 kafkatool-64bit.exe kafka-eagle-bin-1.4.6.tar.gz

    6. **安全控制**:支持用户权限管理,确保对Kafka集群的操作安全可控。 总的来说,kafkatool-64bit.exe适合日常简单操作和快速测试,而kafka-eagle-bin-1.4.6则更适合大规模生产环境的监控和运维,两者结合使用能...

    springboot 基于spring-kafka动态创建kafka消费者

    在Spring Boot应用中,我们可以利用Spring Kafka框架来与Apache Kafka进行集成,实现高效的消息传递。本文将详细探讨如何在Spring Boot项目中基于Spring Kafka动态创建Kafka消费者。 首先,了解Kafka基本概念:...

    Kafka详细课程讲义

    **第 6 章 Kafka 面试题** 常见面试问题可能包括: 1. Kafka的主要应用场景是什么? 2. Kafka如何保证消息的顺序性? 3. 解释Kafka的ISR(In-Sync Replicas)机制。 4. Kafka的消费模型是什么样的? 5. 如何处理...

    Kafka_The Definitive Guide_Real-Time Data and Stream Processing at Scale-2017

    We cover practical matters such as how to install and configure Kafka and how to use the Kafka APIs, and we also dedicated space to Kafka’s design principles and reliability guarantees, and explore ...

    Kafka Tool linux版本,适用于kafka0.11及以上

    6. **监控与诊断**:Kafka Tool可以监控Kafka节点的性能指标,如CPU、内存使用率等,以及各种错误和警告信息,帮助定位问题。 7. **安全支持**:如果Kafka集群启用了SASL/SSL或Kerberos等安全机制,Kafka Tool也能...

    5、kafka监控工具Kafka-Eagle介绍及使用

    Apache Kafka 是一个分布式流处理平台,常用于构建实时的数据管道和应用。Kafka 提供了高吞吐量、低延迟的消息传递能力,是大数据领域中重要的消息队列(MQ)解决方案。Kafka-Eagle 是针对 Kafka 集群设计的一款高效...

Global site tag (gtag.js) - Google Analytics