- 以下是kafka常用命令行总结:
- 1.查看topic的详细信息
- ./kafka-topics.sh -zookeeper 127.0.0.1:2181 -describe -topic testKJ1
- 2、为topic增加副本
- ./kafka-reassign-partitions.sh -zookeeper 127.0.0.1:2181 -reassignment-json-file json/partitions-to-move.json -execute
- 3、创建topic
- ./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testKJ1
- 4、为topic增加partition
- ./bin/kafka-topics.sh –zookeeper 127.0.0.1:2181 –alter –partitions 20 –topic testKJ1
- 5、kafka生产者客户端命令
- ./kafka-console-producer.sh --broker-list localhost:9092 --topic testKJ1
- 6、kafka消费者客户端命令
- ./kafka-console-consumer.sh -zookeeper localhost:2181 --from-beginning --topic testKJ1
- 7、kafka服务启动
- ./kafka-server-start.sh -daemon ../config/server.properties
- 8、下线broker
- ./kafka-run-class.sh kafka.admin.ShutdownBroker --zookeeper 127.0.0.1:2181 --broker #brokerId# --num.retries 3 --retry.interval.ms 60
- shutdown broker
- 9、删除topic
- ./kafka-run-class.sh kafka.admin.DeleteTopicCommand --topic testKJ1 --zookeeper 127.0.0.1:2181
- ./kafka-topics.sh --zookeeper localhost:2181 --delete --topic testKJ1
- 10、查看consumer组内消费的offset
- ./kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper localhost:2181 --group test --topic testKJ1
- 11、查看kafka某个topic的内容,--print-data-log 会打印payload
- ./kafka-run-class.sh kafka.tools.DumpLogSegments --files /data/kafka/kafka-logs/user_login_event-0/00000000000000000308.log --print-data-log
相关推荐
通过以上对`kafka命令.txt`文件中提到的关键命令的详细解析,我们可以更加深入地理解如何管理和操作Kafka集群及其相关组件。这些命令不仅对于Kafka的日常运维至关重要,同时也是开发基于Kafka的应用程序的基础。
### Kafka的常用命令集锦 Kafka是一款分布式流处理平台,它被广泛应用于实时数据管道、日志收集、消息队列等场景。本文将详细介绍Kafka的一些常用命令及其使用方法,帮助用户更好地理解和掌握Kafka的基本操作。 ##...
### Kafka 3.2 常用命令详解 #### 一、启动 ZooKeeper 服务 在启动 Kafka 之前,必须先启动 ZooKeeper 服务。ZooKeeper 为 Kafka 提供了集群协调服务。 ##### 操作步骤: 1. **打开命令行窗口**: - 打开 cmd ...
### Kafka常用命令归纳 #### 一、环境设置与概述 本文档主要针对Kafka的日常运维及开发过程中经常使用的命令进行归纳整理。所涉及的命令适用于以下环境: - **Zookeeper地址**: localhost:2181 - **Bootstrap ...
### Kafka 常用命令详解 #### 一、概述 Apache Kafka 是一款开源的消息队列系统,被广泛应用于日志收集、流处理、实时数据整合等场景。在使用 Kafka 进行开发或运维的过程中,掌握一些常用的命令对于提高工作效率...
消费kafka某时间段消息用于分析问题,生产环境海量数据,用kafka-console-consumer.sh只能消费全量,文件巨大,无法grep。 代码来源于博主:BillowX_ ,感谢分享 原贴地址:...
总的来说,了解和熟练掌握这些基本的Kafka命令和操作对于日常管理和维护Kafka集群至关重要。随着Kafka的使用深入,可能还需要学习更高级的配置和调优技巧,以及如何利用各种工具进行监控和故障排除。
关于KAFKA消息队列的一些简单命令,读取队列什么的,供初学者参考,实际使用还需要根据topic的关键字来进行。
3. **配置环境变量**: 在系统环境变量`PATH`中添加Kafka的bin目录,这样就可以在任何地方运行Kafka命令。 4. **配置Kafka**: 修改 `config/server.properties` 文件,设置`broker.id`(集群中的唯一标识)、`...
- 添加Kafka的bin目录到系统的PATH环境变量,这样可以在命令行中直接运行Kafka命令。 - 修改`config/server.properties`配置文件: - `broker.id=1`:设置当前broker的唯一标识,通常在单机环境中设为1。 - `...
3. **配置环境变量**:将Kafka的bin目录添加到系统的PATH环境变量中,以便在任何地方执行Kafka命令。 4. **配置服务器设置**:修改`config/server.properties`文件,配置broker id、端口、日志存储路径等参数。 5....
配置系统环境变量,以便在命令行中可以使用Kafka命令。export KAFKA_HOME=/usr/local/soft/kafka_2.11-2.3.0和export PATH=$PATH:$KAFKA_HOME/bin这两个命令将Kafka安装目录添加到系统环境变量中。 四、配置参数 ...
- **配置环境变量**:将Kafka的bin目录添加到PATH环境变量中,以便于在任何目录下执行Kafka命令。 - **启动Zookeeper**:Kafka依赖Zookeeper进行集群管理和元数据存储,确保Zookeeper运行正常。 - **配置Kafka**...
为了方便使用Kafka命令,需要在每台机器上配置环境变量: ``` [root@c0~]# vim /etc/bashrc export KAFKA_HOME=/home/work/_app/kafka_2.11-2.1.1 export PATH=$PATH:$KAFKA_HOME/bin ``` 然后,将该文件分发到...
- **环境变量设置**: 添加Kafka的bin目录到PATH环境变量中,便于在任何地方执行Kafka命令。 - **配置文件调整**: 修改`config/server.properties`,设置broker id、端口、日志路径等。 ### 4. 运行与管理 - **...
3. **配置环境变量**:将Kafka的bin目录添加到系统的PATH环境变量中,便于在命令行中直接运行Kafka命令。 4. **启动Zookeeper**:Kafka依赖Zookeeper进行元数据管理,启动Zookeeper服务,通常在Kafka的bin目录下...
### Kafka 常用操作命令解析 #### 一、启动Kafka服务 **命令:** ```bash kafka-server-start.sh config/server.properties ``` **解释:** 此命令用于启动Kafka服务。其中`kafka-server-start.sh`是启动脚本,`...