前提已经安装完成zookeeper,zookeeper的安装参考:http://sxlkk.iteye.com/blog/2308556
1、下载kafka安装包kafka_2.11-0.9.0.1.tgz
2、解压缩文件
3、进入kafka目录,config目录,打开server.properties文件
加入:
broker.id=0 //集群的时候,每一台kafka都有自己的编号,第二台设置为1,第三台为2即可
host.name=10.0.110.17
advertised.host.name=10.0.110.17
zookeeper.connect=10.0.110.17:2181,10.0.110.18:2181,10.0.110.25:2181
设置完成保存即可
4、修改配置
vi bin/kafka-run-class.sh
找到如下行:
- KAFKA_JVM_PERFORMANCE_OPTS="-server -XX:+UseCompressedOops -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:+CMSScavengeBeforeRemark -XX:+DisableExplicitGC -Djava.awt.headless=true"
去除-XX:+UseCompressedOops参数
5、启动:
./bin/kafka-server-start.sh config/server.properties &
6、kafka删除topic
./kafka-run-class.sh kafka.admin.DeleteTopicCommand --topic mytest --zookeeper
相关推荐
**Kafka安装配置教程完整版** Kafka是一种分布式流处理平台,由Apache软件基金会开发,广泛应用于大数据实时处理、消息传递以及日志收集系统。它以其高吞吐量、低延迟和可扩展性而闻名。在本文中,我们将详细介绍...
**二、Kafka配置** Kafka的配置主要通过修改`config/server.properties`文件完成。以下是一些关键配置项: 1. **broker.id**: 每个Kafka节点都有一个唯一的ID,用于标识自己。 2. **listeners**: 定义Kafka服务器...
### Kafka配置安装详解 #### 一、环境搭建与配置 Kafka是一款开源的消息队列中间件,被广泛应用于大数据处理领域。本篇文章将详细介绍如何在本地环境中安装并配置Kafka,以及进行基本的操作演示。 ##### 环境要求...
Kafka安装配置、快速启动及基本操作1、Kafka下载2、启动服务扩展知识:进程守护方法和前后台进程切换3、创建一个主题扩展知识:bootstrap-server和zookeeper使用区别4、删除主题5、发送消息6、消费消息7、设置多个...
对于其他机器上的Kafka配置文件,同样需要修改`broker.id`为不同的值,例如1、2、3等。 ##### 5. 配置环境变量 为了方便使用Kafka命令,需要在每台机器上配置环境变量: ``` [root@c0~]# vim /etc/bashrc export ...
Kafka参数配置详解 Kafka是一种流行的分布式流处理平台,用于构建实时数据管道和事件驱动的架构。为了确保Kafka集群的稳定运行和高性能,需要正确地配置Kafka参数。本文将详细介绍Kafka的参数配置,包括系统参数、...
CDH大数据平台kafka配置文件以及相关操作
在这里,我们将深入探讨`kafka集群配置文件`以及它们与`zookeeper集群`的关系。 **1. Kafka集群配置** Kafka集群由多个服务器(称为Brokers)组成,每个Broker都存储一部分主题的数据。为了设置一个Kafka集群,我们...
在这个“kafka完整安装配置.zip”压缩包中,包含了在Ubuntu 14上安装Kafka所需的所有文档和软件包,包括Zookeeper和Kafka本身。 **一、Kafka简介** Kafka是一个高吞吐量、低延迟的消息队列系统,其核心设计目标是...
Kafka 配置调优实践 Kafka 配置调优实践是指通过调整 Kafka 集群的参数配置来提高其吞吐性能。下面是 Kafka 配置调优实践的知识点总结: 一、存储优化 * 数据目录优先存储到 XFS 文件系统或者 EXT4,避免使用 EXT...
在本文中,我们将深入探讨如何在Apache Kafka中配置SASL/PLAIN认证机制,并通过具体的密码验证实现安全的通信。Kafka是一个分布式流处理平台,它在数据传输中扮演着重要角色,而安全性是其核心考量之一。SASL...
在 Windows 上安装 Kafka 包括下载、配置 Zookeeper 和 Kafka 服务,以及创建和操作 topics、producer 和 consumer。了解这些基础知识后,你可以进一步探索 Kafka 的高级特性,如消费组、offset 管理、Kafka Connect...
总结来说,Kafka的安装和部署涉及到Java环境的准备、下载与解压Kafka、配置服务器属性、启动ZooKeeper和Kafka服务,以及创建和测试消息传递。了解这些基本步骤和概念对于理解和操作Kafka至关重要。在实际应用中,你...
接下来,我们来配置Spring Boot的`application.yml`或`application.properties`文件以连接到Kafka集群。这里是一个示例配置: ```yaml spring: kafka: bootstrap-servers: localhost:9092 # Kafka服务器地址 ...
这里我们关注的焦点是 Kafka 的配置文件,包括 `server.properties`、`consumer.properties` 和 `producer.properties`,它们对于理解和优化 Kafka 集群的运行至关重要。 首先,我们来看 `server.properties` 文件...
本文档详细介绍了如何在Linux环境下安装和配置Kafka服务,包括下载Kafka压缩包、解压、配置Kafka和Zookeeper的相关参数、启动服务以及验证服务是否正常工作的全过程。按照这些步骤操作,可以帮助用户顺利完成Kafka...
Kafka 集群安装配置 Kafka 集群安装配置是指在多台服务器上部署 Kafka 集群,以便实现高可用性和高性能的消息队列系统。下面是 Kafka 集群安装配置的详细步骤和知识点: 一、环境准备 * 系统版本:CentOS Linux ...
Apache Kafka:Kafka安装与配置.docx