`
flychao88
  • 浏览: 753166 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

Kafka常用命令行总结

 
阅读更多
以下是kafka常用命令行总结:

1.查看topic的详细信息
./kafka-topics.sh -zookeeper 127.0.0.1:2181 -describe -topic testKJ1

2、为topic增加副本
./kafka-reassign-partitions.sh -zookeeper 127.0.0.1:2181 -reassignment-json-file json/partitions-to-move.json -execute

3、创建topic
./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testKJ1

4、为topic增加partition
./bin/kafka-topics.sh –zookeeper 127.0.0.1:2181 –alter –partitions 20 –topic testKJ1

5、kafka生产者客户端命令
./kafka-console-producer.sh --broker-list localhost:9092 --topic testKJ1

6、kafka消费者客户端命令
./kafka-console-consumer.sh -zookeeper localhost:2181 --from-beginning --topic testKJ1

7、kafka服务启动
./kafka-server-start.sh -daemon ../config/server.properties 

8、下线broker
./kafka-run-class.sh kafka.admin.ShutdownBroker --zookeeper 127.0.0.1:2181 --broker #brokerId# --num.retries 3 --retry.interval.ms 60
shutdown broker

9、删除topic
./kafka-run-class.sh kafka.admin.DeleteTopicCommand --topic testKJ1 --zookeeper 127.0.0.1:2181
./kafka-topics.sh --zookeeper localhost:2181 --delete --topic testKJ1

10、查看consumer组内消费的offset
./kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper localhost:2181 --group test --topic testKJ1
分享到:
评论

相关推荐

    Kafka 常用命令行详细介绍及整理

    以下是kafka常用命令行总结: 1.查看topic的详细信息 ./kafka-topics.sh -zookeeper 127.0.0.1:2181 -describe -topic testKJ1 2、为topic增加副本 ./kafka-reassign-partitions.sh -zookeeper 127.0.0.1:2181 -...

    kafka3.2常用命令

    ### Kafka 3.2 常用命令详解 #### 一、启动 ZooKeeper 服务 在启动 Kafka 之前,必须先启动 ZooKeeper 服务。ZooKeeper 为 Kafka 提供了集群协调服务。 ##### 操作步骤: 1. **打开命令行窗口**: - 打开 cmd ...

    CENTOS+KAFKA+GOLANG

    ##### 1.3 常用命令总结 - **文件/文件夹复制**:`cp <source> <destination>` - **解压文件**:`tar -zxvf <filename>` - **移动文件或文件夹**:`mv <source> <destination>` - **切换目录**:`cd <directory>` ...

    11_Kafka.docx

    - **命令行工具**:介绍常用的 Kafka 命令行工具,如 `kafka-console-producer` 和 `kafka-console-consumer` 等。 #### 四、Kafka Producer理论与实践 - **Producer概览**:深入探讨 Producer 的工作原理及其关键...

    sh代码-Shell 脚本方式启动Kafka服务

    3. **添加Kafka的bin目录到PATH**:这样我们可以在脚本中直接调用Kafka的命令行工具。 ```bash export PATH=$PATH:$KAFKA_HOME/bin ``` 4. **启动Zookeeper**:Kafka依赖Zookeeper进行集群管理和元数据存储,...

    flume kafak实验报告.docx

    在大数据实时处理领域,Flume、Kafka 和 Spark Streaming 是常用的数据采集、传输与处理工具。本实验报告详细阐述了如何将这三个组件结合使用,构建一个高效的数据流处理系统。 一、Flume 与 Spark Streaming 的...

    大数据课程体系.docx

    - **HDFS shell**:介绍使用HDFS shell命令行工具进行文件管理的方法。 - **HDFS Java API**:提供利用Java API访问HDFS的示例代码。 - **InputSplit和OutputSplit**:解释MapReduce任务中的输入分割和输出分割机制...

    大数据必读

    - **重要性**:Linux作为大数据处理平台的基础操作系统,熟悉其基本操作和命令行是大数据学习的第一步。 - **课程内容**:该部分共包含7课时,主要讲解Linux的基本概念、常用命令、文件系统管理等内容。 - **学习...

    zookeeper-3.4.8.zip

    总结,ZooKeeper 3.4.8作为一个强大且灵活的分布式协调框架,为开发者提供了稳定的数据一致性保障,简化了分布式环境下的诸多复杂问题。通过在Windows上正确安装和配置ZooKeeper,我们可以更好地理解和利用其功能,...

    0、知识点1

    1. **消息队列**:RabbitMQ 和 Kafka 是两种常用的消息中间件。RabbitMQ 是基于 AMQP(Advanced Message Queuing Protocol)的,它提供高可用性、可靠性和可扩展性,适用于多种应用场景,如异步处理、解耦系统组件等...

    zookeeper简单使用共10页.pdf.zip

    - **常用命令**:`create`用于创建节点,`get`用于获取节点数据,`set`用于更新节点数据,`delete`用于删除节点。 5. **应用实例** - **配置管理**:分布式环境中,可以将配置信息存储在Zookeeper上,各节点通过...

    springboot网上图书商城 LW PPT

    3. 命令行接口:提供运行Spring Boot应用的命令行工具,方便快速启动和调试。 4. Actuator:提供了一套监控和管理应用的端点,包括健康检查、指标展示、审计追踪等。 三、网上图书商城系统架构 1. 前端:通常采用...

    Java全栈相关的【知识技术解决方案难题面试题】知识库

    Spring Boot的核心特性包括起步依赖、自动配置、命令行接口(CLI)以及Actuator,用于提供健康检查、指标和审计等生产级功能。 2. **Spring Cloud**: 基于Spring Boot的Spring Cloud为开发者提供了构建分布式系统...

    idea zookeeper插件

    总结起来,Idea Zookeeper插件是开发过程中的一大利器,它将Zookeeper的管理和调试功能无缝集成到IDE中,极大地提高了开发者的生产力。对于那些需要频繁与Zookeeper打交道的开发者来说,它的确是一款“相见恨晚”的...

    个人使用计算机专业简历-大数据工程师.docx

    根据提供的简历内容,我们可以总结出以下相关的大数据工程师专业知识点: ### 1. Hadoop及其生态系统的理解 - **Hadoop底层架构**:Hadoop是一个能够处理大量数据的分布式存储和处理平台,主要包括HDFS(Hadoop ...

    pycharm中执行window环境python脚本多条shell命令

    例如,在Linux下常用的`&&`、`||`逻辑运算符,在Windows中的含义略有不同: - `a && b`:先执行a,如果a成功则执行b;如果a失败,则不执行b。 - `a || b`:先执行a,如果a成功则不执行b;如果a失败,则执行b。 - `a...

    ElasticStack学习之Beats、Kibana、Logstash讲义.docx

    - **Filebeat**:主要用于收集日志文件数据,它是Beats中最常用的一个组件。在描述中,我们看到Filebeat的配置文件`haoke.yml`,其中`filebeat.inputs`定义了输入源,`type: log`表示从日志文件中读取,`paths`指定...

    butte-java-note编程文档

    此外,它还涵盖了软件设计模式、数据结构与算法、系统架构设计等高级主题,以及在实际开发中常用的Spring框架、中间件技术、大数据处理、数据库管理、Linux操作系统知识和数据服务相关内容。 【描述】的关键词点...

Global site tag (gtag.js) - Google Analytics