Kafka常用命令汇总

在 0.9.0.0 之后的 Kafka，出现了几个新变动，一个是在 Server 端增加了 GroupCoordinator 这个角色，

另一个较大的变动是将 topic 的 offset 信息由之前存储在 zookeeper 上改为存储到一个特殊的 topic（__consumer_offsets）中

 

/kafka/bin/kafka-server-start.sh -daemon /kafka/config/server.properties

JMX_PORT=9991 /kafka/bin/kafka-server-start.sh -daemon /kafka/config/server.properties

/kafka/bin/kafka-server-stop.sh

 

 

[使用zk] --zookeeper localhost:2181

[使用内置] --bootstrap-server localhost:9092

 

增加Topic的partition数

kafka-topics.sh --bootstrap-server localhost:9092 --alter --topic mytest --partitions 5 

 

 

查看 topic 指定分区 offset 的最大值或最小值

time 为 -1 时表示最大值，为 -2 时表示最小值：

kafka-run-class.sh kafka.tools.GetOffsetShell --topic mytest --time -1 --broker-list 127.0.0.1:9092 --partitions 0 

 

kafka-topics.sh --bootstrap-server localhost:9092 --topic mytest --delete 

 

从头开始

kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic mytest --from-beginning

从尾部开始  从尾部开始取数据，必需要指定分区：

kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic mytest --offset latest --partition 0

kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic mytest --offset latest --partition 0

kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic mytest --offset latest --partition 0 --max-messages 1 

 

 

指定Group

kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic mytest -group test_group --from-beginning

 

消费者Group列表

kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list

 

 

查看Group详情[用来判断是否有延迟数据]

kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group test_group --describe

 

 

删除Group

kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group test_group --delete

 

 

平衡Leader

kafka-preferred-replica-election.sh --bootstrap-server localhost:9092

或

kafka-leader-election.sh --bootstrap-server localhost:9092 --topic test --partition=2 --election-type preferred

--partition:指定需要重新分配leader的partition编号

 

 

自带压测工具

kafka-producer-perf-test.sh --topic test --num-records 100 --record-size 1 --throughput 100 --producer-props bootstrap.servers=localhost:9092