`

kafka监控之kafka-run-class.sh

阅读更多

kafka自带了很多工具类,在源码kafka.tools里可以看到:

 

 

这些类该如何使用呢,kafka的设计者早就为我们考虑到了,在${KAFKA_HOME}/bin下,有很多的脚本,其中有一个kafka-run-class.sh,通过这个脚本,可以调用其中的tools的部分功能,如调用kafka.tools里的ConsumerOffsetChecker.scala,

 



 

 

 

$ kfka-run-class.sh kafka.tools.ConsumerOffsetChecker --zkconnect=192.168.199.129:2181,192.168.199.130:2181,192.168.199.131:2181 --group=group-1

 

执行结果如下:列出了所有消费者组的所有信息,包括Group(消费者组)、Topic、Pid(分区id)、Offset(当前已消费的条数)、LogSize(总条数)、Lag(未消费的条数)、Owner

 

细看kafka-run-class.sh脚本,它是调用 了ConsumerOffsetChecker的main方法,所以,我们也可以通过java代码来访问scala的ConsumerOffsetChecker类,代码如下:

package com.wxj.kafka.monitor.jmx;

import kafka.tools.ConsumerOffsetChecker;

/**
 * kafka自带很多工具类,其中ConsumerOffsetChecker能查看到消费者消费的情况,
 * 只可惜,ConsumerOffsetChecker只是将信息打印到标准的输出流中
 * @author root
 *
 */
public class RunClass
{

	public static void main(String[] args)
	{
		//group-1是消费者的group名称,可以在zk中
		String[] arr = new String[]{"--zkconnect=192.168.199.129:2181,192.168.199.130:2181,192.168.199.131:2181","--group=group-1"};
		ConsumerOffsetChecker.main(arr);
		
	}
	
}

 



 

 跟通过kafa-run-class.sh执行的结果是一样一样的

 

 

 

  • 大小: 172.4 KB
  • 大小: 199.5 KB
  • 大小: 57.6 KB
  • 大小: 11.3 KB
分享到:
评论

相关推荐

    kafka_2.9.2-0.8.2.1.tgz

    Kafka默认开启JVM压缩指针,但只是在64位的HotSpot VM受支持,如果安装了32位的HotSpot VM,需要修改/bin/kafka-run-class.sh文件 KAFKA_JVM_PERFORMANCE_OPTS="-server -XX:+UseCompressedOops -XX:+UseParNewGC...

    kafka_2.10-0.8.2.1.tgz

    4. 监控与管理:通过Kafka提供的监控工具,如`kafka-console-consumer.sh`和`kafka-run-class.sh`,监控主题和消费者状态。 六、大数据应用场景 1. 数据管道:Kafka作为实时数据流处理的基础设施,用于收集、存储和...

    kafka集群搭建及测试.docx

    为了确保Kafka集群的稳定运行,你需要定期检查节点状态,使用Kafka提供的命令行工具如`bin/kafka-topics.sh --describe --bootstrap-server localhost:9092`来查看topic详情,或`bin/kafka-run-class.sh kafka....

    Kafka跨集群容灾备份.docx

    $ bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9093 --topic test --time -2 $ bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9093 --topic test ...

    Kafka 常用命令行详细介绍及整理

    ./kafka-run-class.sh kafka.admin.ShutdownBroker --zookeeper 127.0.0.1:2181 --broker #brokerId# --num.retries 3 --retry.interval.ms 60 ``` 9. **删除 Topic**: `kafka-run-class.sh` 执行 `kafka.admin...

    kafka管理工具 监控 偏移量 消费 offset,必备技能.docx

    * `bin/kafka-run-class.sh`:用于执行 Kafka 类的工具。 这些工具都是 Kafka 的一部分,安装 Kafka 后可以在 `$KAFKA_HOME/bin` 目录下找到它们。在 CDH 版本中,这些工具位于 `/opt/cloudera/parcels/KAFKA-3.1.0...

    linux中如何操作kafka

    bin/kafka-run-class.sh kafka.admin.DeleteTopicCommand --zookeeper localhost:3181 --topic topic_open_flow_es_99 ``` 注意:在删除主题前,必须先停止所有的生产者和消费者,否则可能会导致数据丢失。 #### 四...

    Kafka基础操作

    kafka-run-class kafka.tools.DumpLogSegments --files /tmp/kafka-logs/topic-3-3-0/00000000000000000000.log --print-data-log ``` ##### 3.6 修改主题 - **修改主题分区**:可以使用 `kafka-topics --alter`...

    windows搭建kafka环境

    3. 修改kafka-run-class.bat文件 此文件的修改是将相对路径进行调整,例如: - 将“pushd%~dp0..\..”修改为“pushd%~dp0”。 - 将“%BASE_DIR%/config”修改为“%BASE_DIR%/../config”。 - 需要调整的类路径信息是...

    kafka-ganglia:使用神经节监控Kafka指标的快速而肮脏的方法

    确保编辑kafka-run-class.sh以包含以下内容: KAFKA_JMX_OPTS="-Dcom.sun.management.jmxremote=true -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false " 如果要...

    Kafka性能测试报告.pdf

    使用Kafka提供的异步API性能测试工具kafka-run-class.sh org.apache.kafka.clients.tools.ProducerPerformance来进行测试。测试结果表明,异步API的性能非常高,对CPU进行监控,发现CPU的利用率只是在10%-20%之间,...

    linux_flink-1.13.0.rar

    ./bin/flink run -m yarn-cluster -c <main_class> ``` `<main_class>`是你的作业的主类,`<job_jar_path>`是包含作业代码的JAR文件路径。 在YARN上运行Flink的一个重要优势是它可以充分利用Hadoop集群的资源,...

    kafka1:ff

    Kafka 提供了一系列的命令行工具,如 `kafka-topics.sh` 用于创建、查询和修改 topics,`kafka-console-consumer.sh` 和 `kafka-console-producer.sh` 分别用于消费和生产消息,以及 `kafka-run-class.sh` 用于运行 ...

    kafka-test:Apache kafka 测试

    1. **本地测试集群**: 使用像`kafka-run-class.sh`这样的工具,可以在本地启动一个小型的Kafka集群,这样就可以进行真实的生产和消费操作。在测试中,你可以发送和接收消息,验证它们是否正确传输。 2. **使用Kafka...

    fink_java_

    4. Connectors:Flink提供了多种数据源和接收器,如Kafka、HDFS、Cassandra等,便于与其他系统集成。 通过以上的学习,你应该对Flink的基本安装、Java API的使用以及基本操作有了初步了解。继续深入研究Flink的高级...

Global site tag (gtag.js) - Google Analytics