`

kafka topic命令

阅读更多

 

 kafka topic可以定制执行brokerid和partition的topic,还有增加partition

kafka topic

Create, delete, describe, or change a topic.

Option                                  Description                            

------                                  -----------                            

--alter                                 Alter the configuration for the topic. 

--config <name=value>                   A topic configuration override for the 

                                          topic being created or altered.The   

                                          following is a list of valid         

                                          configurations:                      

                                                unclean.leader.election.enable        

                                                delete.retention.ms                   

                                                segment.jitter.ms                     

                                                retention.ms                          

                                                flush.ms                              

                                                segment.bytes                         

                                                flush.messages                        

                                                segment.ms                            

                                                retention.bytes                       

                                                cleanup.policy                        

                                                segment.index.bytes                   

                                                min.cleanable.dirty.ratio             

                                                max.message.bytes                     

                                                file.delete.delay.ms                  

                                                min.insync.replicas                   

                                                index.interval.bytes                  

                                        See the Kafka documentation for full   

                                          details on the topic configs.        

--create                                Create a new topic.                    

--delete                                Delete a topic                         

--delete-config <name>                  A topic configuration override to be   

                                          removed for an existing topic (see   

                                          the list of configurations under the 

                                          --config option).                    

--describe                              List details for the given topics.     

--help                                  Print usage information.               

--list                                  List all available topics.             

--partitions <Integer: # of partitions> The number of partitions for the topic 

                                          being created or altered (WARNING:   

                                          If partitions are increased for a    

                                          topic that has a key, the partition  

                                          logic or ordering of the messages    

                                          will be affected                     

--replica-assignment                    A list of manual partition-to-broker   

  <broker_id_for_part1_replica1 :         assignments for the topic being      

  broker_id_for_part1_replica2 ,          created or altered.                  

  broker_id_for_part2_replica1 :                                               

  broker_id_for_part2_replica2 , ...>                                          

--replication-factor <Integer:          The replication factor for each        

  replication factor>                     partition in the topic being created.

--topic <topic>                         The topic to be create, alter or       

                                          describe. Can also accept a regular  

                                          expression except for --create option

--topics-with-overrides                 if set when describing topics, only    

                                          show topics that have overridden     

                                          configs                              

--unavailable-partitions                if set when describing topics, only    

                                          show partitions whose leader is not  

                                          available                            

--under-replicated-partitions           if set when describing topics, only    

                                          show under replicated partitions     

--zookeeper <urls>                      REQUIRED: The connection string for    

                                          the zookeeper connection in the form 

                                          host:port. Multiple URLS can be      

                                          given to allow fail-over.  

 

 

topic describe命令:

topic所有的partition

 bin/kafka-topics.sh --describe --topic dirkzhang --zookeeper host34/kafka-dirktest

在复制的partition

 bin/kafka-topics.sh --describe --topic dirkzhang --zookeeper host34/kafka-dirktest --under-replicated-partitions    

没有leader的partition

 bin/kafka-topics.sh --describe --topic dirkzhang --zookeeper host34/kafka-dirktest --unavailable-partitions

 打印新配置

  bin/kafka-topics.sh --describe --topic dirkzhang --zookeeper host34/kafka-dirktest --topics-with-overrides

 

 

topic create 命令

bin/kafka-topics.sh --create --topic testcreate2 --zookeeper host34/kafka-dirktest --partitions 3 --replication-factor 2

数据定位具体的brokerid

在用replica-assignment的时候,不允许用partitions和replication-factor

并且replica不能重复

bin/kafka-topics.sh --create --topic testcreate --zookeeper host34/kafka-dirktest  --replica-assignment 0341:0361,0341:0371,0341:0361

 

topic add命令

增加partition,partitions必须是增多的

bin/kafka-topics.sh --alter --topic testcreate --zookeeper host34/kafka-dirktest --partitions 4 

以下命令不管用 bug:

bin/kafka-topics.sh --alter --topic testcreate --zookeeper host34/kafka-dirktest --partitions 4  --replica-assignment 0341:0361

 

修改topic的delete时间为6小时

bin/kafka-topics.sh --alter --zookeeper host211/kafka-real --topic report_rtb_request --config delete.retention.ms=21600000

 

 

分享到:
评论

相关推荐

    kafka_topic创建、分区、删除管理

    例如,要创建一个名为`myTopic`的Topic,具有3个分区和1个副本,可以执行以下命令: ```bash bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 3 --topic ...

    kafka常用命令归纳

    ### Kafka常用命令归纳 #### 一、环境设置与概述 本文档主要针对Kafka的日常运维及开发过程中经常使用的命令进行归纳整理。所涉及的命令适用于以下环境: - **Zookeeper地址**: localhost:2181 - **Bootstrap ...

    Flink无法获取Kafka Topic Metadata异常及解决.docx

    Flink 无法获取 Kafka Topic Metadata 异常及解决 一、问题现象 在使用 Kafka 0.11.0.1 和 Flink 1.4 进行实时计算时,Flink 无法获取 Kafka Topic Metadata,报以下异常:org.apache.kafka.common.errors....

    kafka的常用命令集锦

    ### Kafka的常用命令集锦 Kafka是一款分布式流处理平台,它被广泛应用于实时数据管道、日志收集、消息队列等场景。本文将详细介绍Kafka的一些常用命令及其使用方法,帮助用户更好地理解和掌握Kafka的基本操作。 ##...

    kafka3.2常用命令

    以上介绍了 Kafka 3.2 中的一些基本命令,包括启动 ZooKeeper 和 Kafka 服务、创建和管理 Topic 以及创建消费者和生产者。这些命令是日常管理和测试 Kafka 集群时非常实用的工具。熟练掌握这些命令可以帮助开发者和...

    kafka常用命令

    - **命令:** `.\bin\windows\kafka-console-consumer.bat --zookeeper localhost:2181 --topic Test5050` - **说明:** 此命令用于创建一个控制台消息消费者,从指定主题接收消息。 - `--zookeeper`: 指定 ZooKeeper...

    kafka使用命令.txt

    本人积累的一些Kafka调试的常用命令,主要包含:启动Kafka、创建Topic、 查看topic列表、创建生产者、创建消费者、修改分区数、删除Topic、自带生产者性能测试

    Kafka常用命令总结.docx

    本文主要总结了Apache Kafka的相关命令和操作,包括安装、服务启停、Topic管理、消息生产和消费以及一些实用工具。Kafka是一个分布式流处理平台,它被广泛用于实时数据管道和流应用。 1. **Kafka的安装与服务启停**...

    kafka常用操作命令.txt

    ### Kafka 常用操作命令解析 #### 一、启动Kafka服务 **命令:** ```bash kafka-server-start.sh config/server.properties ``` **解释:** 此命令用于启动Kafka服务。其中`kafka-server-start.sh`是启动脚本,`...

    Kafka常用命令收录

    日记月累,收录kafka各种命令,会持续更新。  在0.9.0.0之后的Kafka,出现了几个新变动,一个是在Server端增加了GroupCoordinator这个角色,另一个较大的变动是将topic的offset 信息由之前存储在zookeeper上改为...

    kafkatool 连接kafka工具

    - **创建主题**: 使用 `create-topic` 命令可以快速创建一个新的 Kafka 主题,支持设置分区数、副本数等参数。 - **查看主题**: `describe-topics` 命令可以列出集群中的所有主题信息,包括分区数、副本分布等。 - *...

    kafka命令.txt

    ### Kafka 命令知识点详解 #### 一、启动与配置Kafka 1. **启动Kafka服务**: ```bash .\bin\windows\kafka-server-start.bat .\config\server.properties ``` - **描述**:此命令用于启动Kafka服务器。其中`....

    Kafka Tool 2.0.7(linux系统)

    2. **创建主题**: 使用 `create topic` 命令创建主题,例如 `create topic my-topic --partitions 3 --replication-factor 2`。 3. **查看主题信息**: 使用 `describe topic` 命令查看主题详情,如 `describe topic...

    kafka+flume 实时采集oracle数据到hive中.docx

    首先,需要创建一个Kafka Topic,使用命令./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test-Oracle。然后,需要启动Flume Agent,使用命令./flume-ng ...

    Kafka0.8.2.1删除topic逻辑.docx

    此配置项的作用是允许 Kafka 系统识别并执行删除 Topic 的命令。如果没有设置该选项,则删除 Topic 的命令将无效。 #### 删除 Topic 的命令 删除 Topic 的命令如下所示: ```bash bin/kafka-topics.sh --...

    linux安装kafka教程

    Linux 安装 Kafka 教程 Kafka 是一种流行的分布式流处理平台,广泛应用于数据处理、实时数据处理和事件驱动...Kafka 安装和配置完成后,可以使用 Kafka 命令行工具进行各种操作,如创建 Topic、发送消息、消费消息等。

    kafka集群搭建.pdf

    Kafka常用命令操作包括查看所有topic、查看topic详情、停止和启动Kafka等。 kafka集群搭建需要完成以下步骤: 1. 准备工作,关闭防火墙和配置hosts和hostname。 2. Java环境配置,解压安装Java安装包和配置环境...

Global site tag (gtag.js) - Google Analytics