Kafka伪分布式环境安装

     单节点的伪分布式环境是指集群由一台ZooKeeper服务器和一台Kafka broker服务器组成。

 

4.2.1 安装Java

从Oracle官网下载JDK，建议下载JDK8及以上版本，如：

wget --no-check-certificate --no-cookie --header "Cookie:oraclelicense=accept-securebackup-cookie;" http://download.oracle.com/otn-pub/java/jdk/8u162-b12/0da788060d494f5095bf8624735fa2f1/jdk-8u162-linux-x64.rpm

下载完成后执行sudo rpm -ivh jdk-8u162-linux-x64.rpm命令进行安装，默认安装路径是/usr/java/jdk1.8.0_162，在/etc/profile文件中加入如下配置：

export JAVA_HOME=/usr/java/jdk1.8.0_162

export CLASSPATH=.:${JAVA_HOME}/lib

export PATH=${JAVA_HOME}/bin:${PATH}

最后使用java -version命令验证Java是否安装成功。

 

4.2.2 安装ZooKeeper

Zookeeper是安装Kafka集群必要的组件，并且Kafka大量使用ZooKeeper来保存集群的元数据信息以及consumer位移信息（老版本）。虽然在伪分布式集群中直接使用Kafka自带的ZooKeeper可能更方便，但其实单独安装一个外部的ZooKeeper服务器同样很简单。

首先从ZooKeeper下载地址中https://www-us.apache.org/dist/zookeeper/stable/下载ZooKeeper二进制代码压缩包zookeeper-3.4.10.tar.gz，然后依次执行下面的命令进行安装：

tar -zxvf zookeeper-3.4.10.tar.gz

mv zookeeper-3.4.10.tar.gz zookeeper

mkdir -p /home/user/zk

cd zookeeper

之后编辑zookeeper/conf目录下的zoo.cfg文件，写入下列内容，然后保存zoo.cfg文件即可。

tickTime=2000

dataDir=/home/user/zk

clientPort=2181

在zookeeper主目录下执行如下命令启动ZooKeeper服务器：

bin/zkServer.sh start

 

4.2.3安装单节点Kafka集群
从Apache Kafka官网地址http://kafka.apache/org/downloads.html下载安装包，此处以kafka_2.11-1.0.0.tgz为例。

文件下载完成之后执行解压缩操作并创建保存Kafka数据的文件目录：

tar -zxvf kafka_2.11-1.0.0.tgz

mv kafka_2.11-1.0.0 kafka

mkdir -p /home/work/kafka/data-logs

cd kafka

打开config目录下的server.properties文件，修改下列配置：

log.dirs=/home/work/kafka/data-logs

通过下列命令启动Kafka broker：

bin/kafka-server-start.sh config/server.properties

如果想在后台运行Kafka broker，只需要在启动命令中加入-daemon：

 

bin/kafka-server-start.sh -daemon config/server.properties