`

KAFKA重新安装注意的问题

 
阅读更多
  1. 删除所有机器上的kafka应用
     yum remove -y kafka*
  2. 删除kafka相关文件
    rm -rf /kafka-logs/    --kafka topic存储路径
    rm -rf /etc/kafka 
    rm -rf /var/log/kafka
    rm -rf /var/run/kafka/

  3. Kafka Broker 其他节点添加失败:kafka broker Socket server failed to bind to master:6667

    查看日志 Kafka Broker  节点日志:/var/log/kafka/server.log

    删除topic存储路径 重新启动

 

1、删除kafka存储目录(server.properties文件log.dirs配置,默认为"/tmp/kafka-logs")相关topic目录

2、Kafka 删除topic的命令是:

     ./bin/kafka-topics  --delete --zookeeper 【zookeeper server】  --topic 【topic name】

     如果kafaka启动时加载的配置文件中server.properties没有配置delete.topic.enable=true,那么此时的删除并不是真正的删除,而是把topic标记为:marked for deletion

     你可以通过命令:./bin/kafka-topics --zookeeper 【zookeeper server】 --list 来查看所有topic

 

     此时你若想真正删除它,可以如下操作:

     (1)登录zookeeper客户端:命令:./bin/zookeeper-client

     (2)找到topic所在的目录:ls /brokers/topics

     (3)找到要删除的topic,执行命令:rmr /brokers/topics/【topic name】即可,此时topic被彻底删除。

 

    另外被标记为marked for deletion的topic你可以在zookeeper客户端中通过命令获得:ls /admin/delete_topics/【topic name】,

    如果你删除了此处的topic,那么marked for deletion 标记消失

    zookeeper 的config中也有有关topic的信息: ls /config/topics/【topic name】暂时不知道有什么用

 

总结:

彻底删除topic:

 1、删除kafka存储目录(server.properties文件log.dirs配置,默认为"/tmp/kafka-logs")相关topic目录

 2、如果配置了delete.topic.enable=true直接通过命令删除,如果命令删除不掉,直接通过zookeeper-client 删除掉broker下的topic即可。

分享到:
评论

相关推荐

    Kafka2.3.0集群安装

    九、Kafka集群安装注意事项 Kafka集群安装需要注意以下几点: * 安装scala之前,需要确保JDK已经安装。 * 解压Kafka安装包时,需要确保解压目录有足够的磁盘空间。 * 配置系统环境变量时,需要确保环境变量已经...

    kafka安装手册

    kafka安装手册 Kafka 是一种流行的分布式流处理平台,由 Apache 软件基金会开发和维护。Kafka 通过提供高吞吐量、持久化、多订阅者支持等特性,满足了大数据处理和实时数据处理的需求。 Kafka 集群安装 Kafka ...

    kafka集群安装

    在每个服务器的根目录下创建一个名为`kafka`的文件夹,这将作为Kafka安装的位置。例如,在`/`目录下运行命令`mkdir kafka`。 2. **上传Kafka安装包**: 使用Xshell或其他SSH客户端工具,将Kafka的安装包`kafka_...

    windows-kafka安装.rar

    【标题】"Windows环境下Kafka的安装与启动" 在大数据处理和实时流计算领域,Apache Kafka扮演着重要的角色。Kafka是一个分布式流处理平台,它能够高效地处理大量的实时数据。本教程将详细介绍如何在Windows操作系统...

    kafka及kafkaEagle详细安装部署步骤及相关安装文件下载

    #### 二、Kafka安装部署步骤 **步骤1:下载Kafka** 根据提供的链接(注意链接中的特殊字符可能是错误输入,请确认正确的下载地址),下载Kafka安装包。例如,可以使用wget命令下载: ```bash wget ...

    kafka消息队列运维工具和相关安装目录文件总结

    请注意,`kafka-server-stop.sh`有时可能会有问题,需要通过`netstat`命令和`kill`命令手动终止进程。 3. **kafka-console-producer.sh** 和 **kafka-console-consumer.sh**:这两个脚本是Kafka的命令行生产者和...

    CDH5.14安装文档(包含spark2和kafka的安装)

    请注意,所有这些文件都需要下载并放在同一目录下,以便后续的安装步骤。对于CentOS7,确保下载的是el7版本的Parcel,因为它是为RHEL/CentOS 7设计的。 在开始安装之前,需要规划好CDH集群的角色分配。通常,集群会...

    大数据kafka的api详细介绍和使用,包含kafka的安装部署

    **一、Kafka安装部署** 1. **系统需求**:首先,确保你的系统满足Java运行环境(JRE)的要求,因为Kafka是基于Java构建的。通常,你需要安装Java 8或更高版本。 2. **下载Kafka**:访问Apache Kafka官方网站,下载...

    ELK+KAFKA详细安装文档和资源包.7z

    ELK(Elasticsearch, Logstash, Kibana)栈是大数据日志...安装过程中需注意各个组件的版本兼容性,以及正确配置相关参数,确保数据的正常流动和处理。通过提供的详细安装文档和资源包,可以一步步完成整个系统的搭建。

    kafka可视化工具--kafkatool

    **安装与使用Kafkatool**: 在Windows环境下,你可以下载名为“kafkatool_64bit.exe”的可执行文件,双击运行进行安装。在其他操作系统中,通常需要解压并设置环境变量。安装完成后,通过命令行界面输入“kafkatool...

    kafka开发及安装工具包

    在开发Kafka应用时,需要注意的关键概念包括: - **主题(Topics)**: 数据流的逻辑容器,消息被发布到主题,并由订阅者消费。 - **分区(Partitions)**: 分区是主题的物理实现,每个分区都是有序且不可变的消息...

    liunx安装kafka及集群部署

    #### 二、Kafka安装与配置 ##### 1. 解压安装 ```bash tar -zxf kafka_2.12-1.0.0.tgz cd kafka_2.11-0.10.0.0 ``` ##### 2. 修改配置文件 编辑`config/server.properties`文件,进行必要的配置更改: - `broker.id...

    centos8安装kafka_2.11-2.4.1.docx

    ### CentOS 8 安装 Kafka 2.11-2.4.1 详细步骤与注意事项 #### 一、安装前的基础环境准备 在正式安装 Kafka 之前,确保已准备好以下基础环境: 1. **系统版本确认**:确认当前使用的操作系统为 CentOS 8。 2. **...

    kafka-2.11-1.1.0-aarch64,ARM版本

    Kafka有一个活跃的社区,提供了丰富的文档、教程和问题解答,这对于在ARM平台上的部署和使用提供了很大的帮助。 总之,kafka_2.11-1.1.0-aarch64是针对ARM架构的Kafka版本,它使得在ARM设备上构建高效的数据流处理...

    kafka 部署成windows服务

    在Windows上部署Kafka服务,首先需要安装Zookeeper。Zookeeper是Kafka集群中的关键组件,负责管理集群的状态信息,如选举主节点、存储和同步配置等。这里提供的`zookeeper-3.5.6.rar`是Zookeeper的安装包,解压后...

    Kafka安装与部署指南.pdf

    Kafka安装与部署指南详细介绍了如何在Linux环境下安装和部署Apache Kafka。Apache Kafka是一个分布式流处理平台,主要用于构建实时数据管道和流应用程序。它具有高吞吐量、可扩展性和容错性的特点。下面将根据指南...

    Kafka Tool 2.0.4.zip

    在使用Kafka Tool时,注意要根据实际的Kafka集群配置进行正确的连接设置,例如设置正确的Zookeeper地址、端口和安全参数。此外,由于Kafka Tool.app是应用程序包,解压后可以直接在Mac上运行,无需额外安装步骤,这...

    kafka资源下载kafka_2.11-2.0.0.tgz

    ### 关于Kafka资源下载kafka_2.11-2.0.0.tgz的知识点 ...“kafka_2.11-2.0.0.tgz”的下载和安装是使用Kafka的基础步骤,通过对版本特性、配置方法及常见问题的了解,可以帮助用户更好地利用这一强大的工具。

    Kafka Tool 2.0.7(linux系统)

    本文将详细介绍如何在 Linux 环境下安装和使用 Kafka Tool 2.0.7。 **一、下载与安装** 1. **获取 Kafka Tool**: 首先,你需要从官方或者第三方源下载 Kafka Tool 2.0.7 的压缩包。通常,它会是一个 `.tar.gz` 或 ...

Global site tag (gtag.js) - Google Analytics