kafka搭建笔录

3、安装kafka
wget https://archive.apache.org/dist/kafka/0.8.0/kafka_2.8.0-0.8.0.tar.gz
tar -zxvf kafka_2.8.0-0.8.0.tar.gz
配置kafka,修改文件server.properties

vim server.properties
broker.id=0
listeners=PLAINTEXT://:9092
log.dirs=/home/xxxx/kafkalog
zookeeper.connect=127.0.0.1:60301,127.0.0.1:60302,127.0.0.1:60303
zookeeper.connection.timeout.ms=6000


配置kafka下zookeeper
vim zookeeper.properties
上图中的dataDir和dataLogDir可以依据自己建立的文件夹路径填写。


启动和关闭kafka脚本
bin/kafka-server-start.sh  -daemon config/server.properties &


（1）创建kafka脚本
vim kafkastart.sh

（2）创建关闭kafka脚本
vim kafkastop.sh

（3）添加脚本执行权限
chmod +x kafkastart.sh
chmod +x kafkastop.sh
（4）设置脚本开机启动自动执行
vim /etc/rc.d/rc.local



测试kafka
（1）创建主题
bin/kafka-topics.sh --create --zookeeper localhost:60301 --replication-factor 1 --partitions 1 --topic test
检查主题是否创建成功
bin/kafka-topics.sh --list --zookeeper localhost:60301

（2）启动producer
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
如上图所示，输入hello kafka!后，回车
然后另外打开一个shell终端
在此终端下启动consumer
bin/kafka-console-consumer.sh --zookeeper localhost:60301 --topic test --from-beginning


由上图可见，终端1生产者下所输入的hello kafka!，在终端2下的消费者下显现，至此kafka的单机安装部署完成。
（6）关闭kafka
直接kill 进程




一、Zookeeper安装
1、解压缩安装、配置系统环境变量 ZOOKEEPER_HOME，PATH
2、单机模式
1、mv conf/zoo_sample.cfg /conf/zoo.cfg
2、vi zoo.cfg
     修改dataDir=/home/Zachary/hadoop/hadoop-1.2.1/tmp/zookeeper，可修改clientPort和增加dataLogDir，在log4j.properties设置:zookeeper.log.dir=xxx;zookeeper.tracelog.dir=xxx，并修改bin/zkEnv.sh: ZOO_LOG_DIR=/home/Zachary/hadoop/hadoop-2.6.0/tmp/zookeeper
ZOO_LOG4J_PROP="INFO,ROLLINGFILE"
3、启动zkServer.sh start|stop|status；zkCli.sh -server rd3:61300 命令行操作（zkCli.sh默认是本机和2181端口）
3、集群模式
1、mv conf/zoo_sample.cfg /conf/zoo.cfg
2、修改clientPort=61300
3、vi zoo.cfg
     修改dataDir=/home/Zachary/hadoop/hadoop-1.2.1/tmp/zookeeper
     增加：rd3为ip或者为hostname 同一台机上端口需要改变  server下面添加的配置必须顶格
        server.0=rd3:61301:61302
        server.1=pcm:61301:61302
        server.2=cip:61301:61302
4、在dataDir目录下，创建文件myid，写入值0
5、scp到其它server(cip,pcm)，同时配置环境变量和创建dataDir，在pcm创建myid并写入值1，在cip创建myid并写入值2
6、启动，分别在各节点上执行zkServer.sh start ；zkServer.sh stop 关闭；可以用zkServer.sh status查看状态
7、zkCli.sh -server rd3:61300 命令行操作（zkCli.sh默认是本机和2181端口）
     ls / ；create /hadoop zach；get /hadoop
3、伪集群模式：与集群模式不同出就是在同一台机子装多个zookeeper，配置不同的dataDir和不同的端口

二、Kafka安装
修改conf/server.properties中
broker.id=0  --brokerid 集群唯一
zookeeper.connect=yeexun02:61300,yeexun03:61300,yeexun04:61300/kafka --zookeeper连接
log.dirs=/opt/mq/data/kafka --消息日志路径
num.partitions=3 --一个topic分成几个管道
default.replication.factor=2 --副本数
port=61100 --端口
#delete.topic.enable=true --可以删除topic

在运行脚本kafka_run_class.sh里面编辑 中找到LOG_DIR="$base_dir/logs"修改即可

/opt/mq/kafka/bin/kafka-server-start.sh -daemon /opt/mq/kafka/config/server.properties