kafka安装

1、下载:
http://kafka.apache.org/


2、安装步骤:
http://kafka.apache.org/documentation.html#quickstart


没有按照上面的步骤执行./sbt

修改 conf/server.properties

zookeeper.connect=192.168.27.101:2181

broker.id分别改成
broker.id=0
host.name分别改成(如果不改，client访问集群时，如果没在hosts配置对应机器的 hostname，访问将会报错)
host.name=192.168.27.101

可根据需求修改
port: broker节点使用端口号 默认 9092
log.dir: 消息目录位置


3. 启动Kafka
cd /usr/local/kafka_2.8.0-0.8.0
JMX_PORT=9999 bin/kafka-server-start.sh config/server.properties & (似乎是多个broker安装在同一机器需要指定JMX_PORT，这里可以不指定）

 

其中需要先启动zookeeper，zookeeper为安装storm时已安装

//启动报错Unrecognized VM option '+UseCompressedOops'
查看 bin/kafka-run-class.sh 
找到
if [ -z "$KAFKA_JVM_PERFORMANCE_OPTS" ]; then
  KAFKA_JVM_PERFORMANCE_OPTS="-server  -XX:+UseCompressedOops -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:+CMSScavengeBeforeRemark -XX:+DisableExplicitGC -Djava.awt.headless=true"
fi

去掉-XX:+UseCompressedOops

 

4、测试
创建主题
bin/kafka-create-topic.sh --zookeeper 192.168.27.101:2181 --partition 1 --topic mytest
bin/kafka-list-topic.sh --zookeeper 192.168.27.101:2181


生产者，消费者测试 
bin/kafka-console-producer.sh --broker-list 192.168.27.101:9092 --topic mytest 
wo
yes


//输入命令后，输入字符串
bin/kafka-console-consumer.sh --zookeeper 192.168.27.101:2181 --topic mytest --from-beginning
wo
yes
//即回显示数据