以下是kafka常用命令行总结:
1.查看topic的详细信息
./kafka-topics.sh -zookeeper 127.0.0.1:2181 -describe -topic testKJ1
2、为topic增加副本
./kafka-reassign-partitions.sh -zookeeper 127.0.0.1:2181 -reassignment-json-file json/partitions-to-move.json -execute
3、创建topic
./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testKJ1
4、为topic增加partition
./bin/kafka-topics.sh –zookeeper 127.0.0.1:2181 –alter –partitions 20 –topic testKJ1
5、kafka生产者客户端命令
./kafka-console-producer.sh --broker-list localhost:9092 --topic testKJ1
6、kafka消费者客户端命令
./kafka-console-consumer.sh -zookeeper localhost:2181 --from-beginning --topic testKJ1
7、kafka服务启动
./kafka-server-start.sh -daemon ../config/server.properties
8、下线broker
./kafka-run-class.sh kafka.admin.ShutdownBroker --zookeeper 127.0.0.1:2181 --broker #brokerId# --num.retries 3 --retry.interval.ms 60
shutdown broker
9、删除topic
./kafka-run-class.sh kafka.admin.DeleteTopicCommand --topic testKJ1 --zookeeper 127.0.0.1:2181
./kafka-topics.sh --zookeeper localhost:2181 --delete --topic testKJ1
10、查看consumer组内消费的offset
./kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper localhost:2181 --group test --topic testKJ1
分享到:
相关推荐
以下是kafka常用命令行总结: 1.查看topic的详细信息 ./kafka-topics.sh -zookeeper 127.0.0.1:2181 -describe -topic testKJ1 2、为topic增加副本 ./kafka-reassign-partitions.sh -zookeeper 127.0.0.1:2181 -...
### Kafka 3.2 常用命令详解 #### 一、启动 ZooKeeper 服务 在启动 Kafka 之前,必须先启动 ZooKeeper 服务。ZooKeeper 为 Kafka 提供了集群协调服务。 ##### 操作步骤: 1. **打开命令行窗口**: - 打开 cmd ...
##### 1.3 常用命令总结 - **文件/文件夹复制**:`cp <source> <destination>` - **解压文件**:`tar -zxvf <filename>` - **移动文件或文件夹**:`mv <source> <destination>` - **切换目录**:`cd <directory>` ...
- **命令行工具**:介绍常用的 Kafka 命令行工具,如 `kafka-console-producer` 和 `kafka-console-consumer` 等。 #### 四、Kafka Producer理论与实践 - **Producer概览**:深入探讨 Producer 的工作原理及其关键...
3. **添加Kafka的bin目录到PATH**:这样我们可以在脚本中直接调用Kafka的命令行工具。 ```bash export PATH=$PATH:$KAFKA_HOME/bin ``` 4. **启动Zookeeper**:Kafka依赖Zookeeper进行集群管理和元数据存储,...
在大数据实时处理领域,Flume、Kafka 和 Spark Streaming 是常用的数据采集、传输与处理工具。本实验报告详细阐述了如何将这三个组件结合使用,构建一个高效的数据流处理系统。 一、Flume 与 Spark Streaming 的...
- **HDFS shell**:介绍使用HDFS shell命令行工具进行文件管理的方法。 - **HDFS Java API**:提供利用Java API访问HDFS的示例代码。 - **InputSplit和OutputSplit**:解释MapReduce任务中的输入分割和输出分割机制...
- **重要性**:Linux作为大数据处理平台的基础操作系统,熟悉其基本操作和命令行是大数据学习的第一步。 - **课程内容**:该部分共包含7课时,主要讲解Linux的基本概念、常用命令、文件系统管理等内容。 - **学习...
总结,ZooKeeper 3.4.8作为一个强大且灵活的分布式协调框架,为开发者提供了稳定的数据一致性保障,简化了分布式环境下的诸多复杂问题。通过在Windows上正确安装和配置ZooKeeper,我们可以更好地理解和利用其功能,...
1. **消息队列**:RabbitMQ 和 Kafka 是两种常用的消息中间件。RabbitMQ 是基于 AMQP(Advanced Message Queuing Protocol)的,它提供高可用性、可靠性和可扩展性,适用于多种应用场景,如异步处理、解耦系统组件等...
- **常用命令**:`create`用于创建节点,`get`用于获取节点数据,`set`用于更新节点数据,`delete`用于删除节点。 5. **应用实例** - **配置管理**:分布式环境中,可以将配置信息存储在Zookeeper上,各节点通过...
3. 命令行接口:提供运行Spring Boot应用的命令行工具,方便快速启动和调试。 4. Actuator:提供了一套监控和管理应用的端点,包括健康检查、指标展示、审计追踪等。 三、网上图书商城系统架构 1. 前端:通常采用...
Spring Boot的核心特性包括起步依赖、自动配置、命令行接口(CLI)以及Actuator,用于提供健康检查、指标和审计等生产级功能。 2. **Spring Cloud**: 基于Spring Boot的Spring Cloud为开发者提供了构建分布式系统...
总结起来,Idea Zookeeper插件是开发过程中的一大利器,它将Zookeeper的管理和调试功能无缝集成到IDE中,极大地提高了开发者的生产力。对于那些需要频繁与Zookeeper打交道的开发者来说,它的确是一款“相见恨晚”的...
根据提供的简历内容,我们可以总结出以下相关的大数据工程师专业知识点: ### 1. Hadoop及其生态系统的理解 - **Hadoop底层架构**:Hadoop是一个能够处理大量数据的分布式存储和处理平台,主要包括HDFS(Hadoop ...
例如,在Linux下常用的`&&`、`||`逻辑运算符,在Windows中的含义略有不同: - `a && b`:先执行a,如果a成功则执行b;如果a失败,则不执行b。 - `a || b`:先执行a,如果a成功则不执行b;如果a失败,则执行b。 - `a...
- **Filebeat**:主要用于收集日志文件数据,它是Beats中最常用的一个组件。在描述中,我们看到Filebeat的配置文件`haoke.yml`,其中`filebeat.inputs`定义了输入源,`type: log`表示从日志文件中读取,`paths`指定...
此外,它还涵盖了软件设计模式、数据结构与算法、系统架构设计等高级主题,以及在实际开发中常用的Spring框架、中间件技术、大数据处理、数据库管理、Linux操作系统知识和数据服务相关内容。 【描述】的关键词点...