kafka安装使用

1单机 安装

安装过程，参考官网：

 

> tar xzf kafka-<VERSION>.tgz
> cd kafka-<VERSION>
> ./sbt update
> ./sbt package
> ./sbt assembly-package-dependency

出现问题

1 在安装 0.8 版本时，出现如下问题

ead "main" java.lang.NoClassDefFoundError: org/apache/zookeeper/server/quorum/QuorumPeerMain
Caused by: java.lang.ClassNotFoundException: org.apache.zookeeper.server.quorum.QuorumPeerMain
at java.net.URLClassLoader$1.run(URLClassLoader.java:202)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
at java.lang.ClassLoader.loadClass(ClassLoader.java:306)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301)
at java.lang.ClassLoader.loadClass(ClassLoader.java:247)

按照 http://www.bdfindustries.com/blog/2012/02/11/getting-started-with-apache-kafka/这位仁兄的方法没有解决

2安装0.7,出现如下问题

[error] Note: Some input files use or override a deprecated API.
[error] Note: Recompile with -Xlint:deprecation for details.

忽略掉 ，继续执行

2 单机使用

上面的步骤都执行完了，环境算是好了，下面我们要测试下是否能成功运行kafka：

 

1.   启动zookeeper server ：bin/zookeeper-server-start.sh ../config/zookeeper.properties  & (用&是为了能退出命令行)

2.    启动kafka server:  bin/kafka-server-start.sh ../config/server.properties  &

3.    Kafka为我们提供了一个console来做连通性测试，下面我们先运行producer：bin/kafka-console-producer.sh --zookeeper localhost:2181 --topic test 这是相当于开启了一个producer的命令行。命令行的参数我们一会儿再解释。

4.    接下来运行consumer，新启一个terminal：bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

5.    执行完consumer的命令后，你可以在producer的terminal中输入信息，马上在consumer的terminal中就会出现你输的信息。有点儿像一个通信客户端。

如果你能看到5执行了，说明你单机版部署成功了。下面解释下两条命令中参数的意思。--zookeeper localhost:2181 这个说明了去连本机2181端口的zookeeper server，--topic test，在kafka里，消息按topic来区分，我们这里的topic叫test，所以不管是consumer还是producer都指向了test。其他的参数，我就截图了，首先是producer的参数：

以上转载参考自：http://my.oschina.net/ielts0909/blog/93190

3 集群安装使用

类似单机，参考如下网址：http://my.oschina.net/ielts0909/blog/93190