kafka自带了很多工具类,在源码kafka.tools里可以看到:
这些类该如何使用呢,kafka的设计者早就为我们考虑到了,在${KAFKA_HOME}/bin下,有很多的脚本,其中有一个kafka-run-class.sh,通过这个脚本,可以调用其中的tools的部分功能,如调用kafka.tools里的ConsumerOffsetChecker.scala,
$ kfka-run-class.sh kafka.tools.ConsumerOffsetChecker --zkconnect=192.168.199.129:2181,192.168.199.130:2181,192.168.199.131:2181 --group=group-1
执行结果如下:列出了所有消费者组的所有信息,包括Group(消费者组)、Topic、Pid(分区id)、Offset(当前已消费的条数)、LogSize(总条数)、Lag(未消费的条数)、Owner
细看kafka-run-class.sh脚本,它是调用 了ConsumerOffsetChecker的main方法,所以,我们也可以通过java代码来访问scala的ConsumerOffsetChecker类,代码如下:
package com.wxj.kafka.monitor.jmx; import kafka.tools.ConsumerOffsetChecker; /** * kafka自带很多工具类,其中ConsumerOffsetChecker能查看到消费者消费的情况, * 只可惜,ConsumerOffsetChecker只是将信息打印到标准的输出流中 * @author root * */ public class RunClass { public static void main(String[] args) { //group-1是消费者的group名称,可以在zk中 String[] arr = new String[]{"--zkconnect=192.168.199.129:2181,192.168.199.130:2181,192.168.199.131:2181","--group=group-1"}; ConsumerOffsetChecker.main(arr); } }
跟通过kafa-run-class.sh执行的结果是一样一样的
相关推荐
Kafka默认开启JVM压缩指针,但只是在64位的HotSpot VM受支持,如果安装了32位的HotSpot VM,需要修改/bin/kafka-run-class.sh文件 KAFKA_JVM_PERFORMANCE_OPTS="-server -XX:+UseCompressedOops -XX:+UseParNewGC...
4. 监控与管理:通过Kafka提供的监控工具,如`kafka-console-consumer.sh`和`kafka-run-class.sh`,监控主题和消费者状态。 六、大数据应用场景 1. 数据管道:Kafka作为实时数据流处理的基础设施,用于收集、存储和...
为了确保Kafka集群的稳定运行,你需要定期检查节点状态,使用Kafka提供的命令行工具如`bin/kafka-topics.sh --describe --bootstrap-server localhost:9092`来查看topic详情,或`bin/kafka-run-class.sh kafka....
$ bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9093 --topic test --time -2 $ bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9093 --topic test ...
./kafka-run-class.sh kafka.admin.ShutdownBroker --zookeeper 127.0.0.1:2181 --broker #brokerId# --num.retries 3 --retry.interval.ms 60 ``` 9. **删除 Topic**: `kafka-run-class.sh` 执行 `kafka.admin...
* `bin/kafka-run-class.sh`:用于执行 Kafka 类的工具。 这些工具都是 Kafka 的一部分,安装 Kafka 后可以在 `$KAFKA_HOME/bin` 目录下找到它们。在 CDH 版本中,这些工具位于 `/opt/cloudera/parcels/KAFKA-3.1.0...
bin/kafka-run-class.sh kafka.admin.DeleteTopicCommand --zookeeper localhost:3181 --topic topic_open_flow_es_99 ``` 注意:在删除主题前,必须先停止所有的生产者和消费者,否则可能会导致数据丢失。 #### 四...
kafka-run-class kafka.tools.DumpLogSegments --files /tmp/kafka-logs/topic-3-3-0/00000000000000000000.log --print-data-log ``` ##### 3.6 修改主题 - **修改主题分区**:可以使用 `kafka-topics --alter`...
3. 修改kafka-run-class.bat文件 此文件的修改是将相对路径进行调整,例如: - 将“pushd%~dp0..\..”修改为“pushd%~dp0”。 - 将“%BASE_DIR%/config”修改为“%BASE_DIR%/../config”。 - 需要调整的类路径信息是...
确保编辑kafka-run-class.sh以包含以下内容: KAFKA_JMX_OPTS="-Dcom.sun.management.jmxremote=true -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false " 如果要...
使用Kafka提供的异步API性能测试工具kafka-run-class.sh org.apache.kafka.clients.tools.ProducerPerformance来进行测试。测试结果表明,异步API的性能非常高,对CPU进行监控,发现CPU的利用率只是在10%-20%之间,...
- 进入Kafka容器:`docker exec -it kafka sh` - 启动消费者:`kafka-console-consumer.sh --bootstrap-server 192.168.1.60:9094 --topic kafeidou --from-beginning` - 启动生产者:`kafka-console-producer.sh...
./bin/flink run -m yarn-cluster -c <main_class> ``` `<main_class>`是你的作业的主类,`<job_jar_path>`是包含作业代码的JAR文件路径。 在YARN上运行Flink的一个重要优势是它可以充分利用Hadoop集群的资源,...
Kafka 提供了一系列的命令行工具,如 `kafka-topics.sh` 用于创建、查询和修改 topics,`kafka-console-consumer.sh` 和 `kafka-console-producer.sh` 分别用于消费和生产消息,以及 `kafka-run-class.sh` 用于运行 ...
1. **本地测试集群**: 使用像`kafka-run-class.sh`这样的工具,可以在本地启动一个小型的Kafka集群,这样就可以进行真实的生产和消费操作。在测试中,你可以发送和接收消息,验证它们是否正确传输。 2. **使用Kafka...
4. Connectors:Flink提供了多种数据源和接收器,如Kafka、HDFS、Cassandra等,便于与其他系统集成。 通过以上的学习,你应该对Flink的基本安装、Java API的使用以及基本操作有了初步了解。继续深入研究Flink的高级...