kafka topic可以定制执行brokerid和partition的topic,还有增加partition
kafka topic
Create, delete, describe, or change a topic.
Option Description
------ -----------
--alter Alter the configuration for the topic.
--config <name=value> A topic configuration override for the
topic being created or altered.The
following is a list of valid
configurations:
unclean.leader.election.enable
delete.retention.ms
segment.jitter.ms
retention.ms
flush.ms
segment.bytes
flush.messages
segment.ms
retention.bytes
cleanup.policy
segment.index.bytes
min.cleanable.dirty.ratio
max.message.bytes
file.delete.delay.ms
min.insync.replicas
index.interval.bytes
See the Kafka documentation for full
details on the topic configs.
--create Create a new topic.
--delete Delete a topic
--delete-config <name> A topic configuration override to be
removed for an existing topic (see
the list of configurations under the
--config option).
--describe List details for the given topics.
--help Print usage information.
--list List all available topics.
--partitions <Integer: # of partitions> The number of partitions for the topic
being created or altered (WARNING:
If partitions are increased for a
topic that has a key, the partition
logic or ordering of the messages
will be affected
--replica-assignment A list of manual partition-to-broker
<broker_id_for_part1_replica1 : assignments for the topic being
broker_id_for_part1_replica2 , created or altered.
broker_id_for_part2_replica1 :
broker_id_for_part2_replica2 , ...>
--replication-factor <Integer: The replication factor for each
replication factor> partition in the topic being created.
--topic <topic> The topic to be create, alter or
describe. Can also accept a regular
expression except for --create option
--topics-with-overrides if set when describing topics, only
show topics that have overridden
configs
--unavailable-partitions if set when describing topics, only
show partitions whose leader is not
available
--under-replicated-partitions if set when describing topics, only
show under replicated partitions
--zookeeper <urls> REQUIRED: The connection string for
the zookeeper connection in the form
host:port. Multiple URLS can be
given to allow fail-over.
topic describe命令:
topic所有的partition
bin/kafka-topics.sh --describe --topic dirkzhang --zookeeper host34/kafka-dirktest
在复制的partition
bin/kafka-topics.sh --describe --topic dirkzhang --zookeeper host34/kafka-dirktest --under-replicated-partitions
没有leader的partition
bin/kafka-topics.sh --describe --topic dirkzhang --zookeeper host34/kafka-dirktest --unavailable-partitions
打印新配置
bin/kafka-topics.sh --describe --topic dirkzhang --zookeeper host34/kafka-dirktest --topics-with-overrides
topic create 命令
bin/kafka-topics.sh --create --topic testcreate2 --zookeeper host34/kafka-dirktest --partitions 3 --replication-factor 2
数据定位具体的brokerid
在用replica-assignment的时候,不允许用partitions和replication-factor
并且replica不能重复
bin/kafka-topics.sh --create --topic testcreate --zookeeper host34/kafka-dirktest --replica-assignment 0341:0361,0341:0371,0341:0361
topic add命令
增加partition,partitions必须是增多的
bin/kafka-topics.sh --alter --topic testcreate --zookeeper host34/kafka-dirktest --partitions 4
以下命令不管用 bug:
bin/kafka-topics.sh --alter --topic testcreate --zookeeper host34/kafka-dirktest --partitions 4 --replica-assignment 0341:0361
修改topic的delete时间为6小时
bin/kafka-topics.sh --alter --zookeeper host211/kafka-real --topic report_rtb_request --config delete.retention.ms=21600000
相关推荐
例如,要创建一个名为`myTopic`的Topic,具有3个分区和1个副本,可以执行以下命令: ```bash bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 3 --topic ...
### Kafka常用命令归纳 #### 一、环境设置与概述 本文档主要针对Kafka的日常运维及开发过程中经常使用的命令进行归纳整理。所涉及的命令适用于以下环境: - **Zookeeper地址**: localhost:2181 - **Bootstrap ...
Flink 无法获取 Kafka Topic Metadata 异常及解决 一、问题现象 在使用 Kafka 0.11.0.1 和 Flink 1.4 进行实时计算时,Flink 无法获取 Kafka Topic Metadata,报以下异常:org.apache.kafka.common.errors....
### Kafka的常用命令集锦 Kafka是一款分布式流处理平台,它被广泛应用于实时数据管道、日志收集、消息队列等场景。本文将详细介绍Kafka的一些常用命令及其使用方法,帮助用户更好地理解和掌握Kafka的基本操作。 ##...
以上介绍了 Kafka 3.2 中的一些基本命令,包括启动 ZooKeeper 和 Kafka 服务、创建和管理 Topic 以及创建消费者和生产者。这些命令是日常管理和测试 Kafka 集群时非常实用的工具。熟练掌握这些命令可以帮助开发者和...
- **命令:** `.\bin\windows\kafka-console-consumer.bat --zookeeper localhost:2181 --topic Test5050` - **说明:** 此命令用于创建一个控制台消息消费者,从指定主题接收消息。 - `--zookeeper`: 指定 ZooKeeper...
本人积累的一些Kafka调试的常用命令,主要包含:启动Kafka、创建Topic、 查看topic列表、创建生产者、创建消费者、修改分区数、删除Topic、自带生产者性能测试
本文主要总结了Apache Kafka的相关命令和操作,包括安装、服务启停、Topic管理、消息生产和消费以及一些实用工具。Kafka是一个分布式流处理平台,它被广泛用于实时数据管道和流应用。 1. **Kafka的安装与服务启停**...
### Kafka 常用操作命令解析 #### 一、启动Kafka服务 **命令:** ```bash kafka-server-start.sh config/server.properties ``` **解释:** 此命令用于启动Kafka服务。其中`kafka-server-start.sh`是启动脚本,`...
日记月累,收录kafka各种命令,会持续更新。 在0.9.0.0之后的Kafka,出现了几个新变动,一个是在Server端增加了GroupCoordinator这个角色,另一个较大的变动是将topic的offset 信息由之前存储在zookeeper上改为...
- **创建主题**: 使用 `create-topic` 命令可以快速创建一个新的 Kafka 主题,支持设置分区数、副本数等参数。 - **查看主题**: `describe-topics` 命令可以列出集群中的所有主题信息,包括分区数、副本分布等。 - *...
### Kafka 命令知识点详解 #### 一、启动与配置Kafka 1. **启动Kafka服务**: ```bash .\bin\windows\kafka-server-start.bat .\config\server.properties ``` - **描述**:此命令用于启动Kafka服务器。其中`....
2. **创建主题**: 使用 `create topic` 命令创建主题,例如 `create topic my-topic --partitions 3 --replication-factor 2`。 3. **查看主题信息**: 使用 `describe topic` 命令查看主题详情,如 `describe topic...
首先,需要创建一个Kafka Topic,使用命令./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test-Oracle。然后,需要启动Flume Agent,使用命令./flume-ng ...
此配置项的作用是允许 Kafka 系统识别并执行删除 Topic 的命令。如果没有设置该选项,则删除 Topic 的命令将无效。 #### 删除 Topic 的命令 删除 Topic 的命令如下所示: ```bash bin/kafka-topics.sh --...
Linux 安装 Kafka 教程 Kafka 是一种流行的分布式流处理平台,广泛应用于数据处理、实时数据处理和事件驱动...Kafka 安装和配置完成后,可以使用 Kafka 命令行工具进行各种操作,如创建 Topic、发送消息、消费消息等。
Kafka常用命令操作包括查看所有topic、查看topic详情、停止和启动Kafka等。 kafka集群搭建需要完成以下步骤: 1. 准备工作,关闭防火墙和配置hosts和hostname。 2. Java环境配置,解压安装Java安装包和配置环境...