本部署使用的版本为kafka_2.8.0-0.8.0。
参考了http://blog.csdn.net/itleochen/article/details/17451455这篇博文;
并根据官网介绍http://kafka.apache.org/documentation.html#quickstart完成。
废话少说,直接上步骤
1.下载kafka_2.8.0-0.8.0.tar.gz
https://archive.apache.org/dist/kafka/0.8.0/kafka_2.8.0-0.8.0.tar.gz
2.解压缩
tar -vxf kafka_2.8.0-0.8.0.tar.gz
3.修改配置文件
修改conf/server.properties
host.name=10.10.224.12 (修改为主机ip,不然服务器返回给客户端的是主机的hostname,客户端并不一定能够识别)
修改conf/zookeeper.properties 属性文件
dataDir=/usr/local/tmp/zookeeper (zookeeper临时数据文件)
4.启动zookeeper和kafka
cd bin
启动zookeeper
./zookeeper-server-start.sh ../config/zookeeper.properties & (&推出命令行,服务守护执行)
启动kafka
./kafka-server-start.sh ../config/server.properties &
5.验证是否成功
*创建主题
./kafka-create-topic.sh --partition 1 --replica 1 --zookeeper localhost:2181 --topic test
检查是否创建主题成功
./kafka-list-topic.sh --zookeeper localhost:2181
*启动produce
./bin/kafka-console-producer.sh --broker-list 10.10.224.12:9092 --topic test
*启动consumer
./kafka-console-consumer.sh --zookeeper localhost:2181 --topic test
6.关闭kafka和zookeeper
./kafka-server-stop.sh ../config/server.properties
./zookeeper-server-stop.sh
心得总结:
1.produce启动的时候参数使用的是kafka的端口而consumer启动的时候使用的是zookeeper的端口;
2.必须先创建topic才能使用;
3.topic本质是以文件的形式储存在zookeeper上的。
如有误,望指正!
分享到:
相关推荐
赠送jar包:kafka_2.11-0.10.0.1.jar; 赠送原API文档:kafka_2.11-0.10.0.1-javadoc.jar; 赠送源代码:kafka_2.11-0.10.0.1-sources.jar; 赠送Maven依赖信息文件:kafka_2.11-0.10.0.1.pom; 包含翻译后的API文档...
kafka jar包,可用于jmeter
标题中的"kafka_exporter-1.6.0.linux-amd64.tar.gz"是一个针对Linux AMD64架构的Kafka Exporter版本1.6.0的压缩文件,通常用于在Prometheus监控环境中收集和暴露Kafka集群的度量数据。 Kafka Exporter是一款开源...
- 使用Kafka自带的监控工具,如`kafka-topics.sh`、`kafka-consumer-groups.sh`等。 - 集成第三方监控系统,如Prometheus和Grafana,实现可视化监控。 总之,Kafka作为一种成熟的消息队列解决方案,在大数据处理...
kafka_2.11-0.10.2.0 版解压使用 kafka kafka kafka kafka kafka
4. 监控与管理:通过Kafka提供的监控工具,如`kafka-console-consumer.sh`和`kafka-run-class.sh`,监控主题和消费者状态。 六、大数据应用场景 1. 数据管道:Kafka作为实时数据流处理的基础设施,用于收集、存储和...
spark-streaming-kafka-0-8_2.11-2.4.0.jar
kafka_2.11-1.1.0.tgz文件 下载后zip 解压后就是 kafka_2.11-1.1.0.tgz
- 使用bin/kafka-topics.sh脚本创建主题,指定主题名、分区数量和副本数量。 4. **生产者与消费者编程** - **生产者示例**:使用Kafka的Java API,编写生产者代码,通过new Producer()创建实例,然后使用send()...
- 使用`./kafka-console-producer.sh --broker-list localhost:9092 --topic test`和`./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning`进行消息的生产和消费,操作...
1. 性能提升:Kafka 2.8.0 可能针对生产者和消费者进行了优化,提高了消息处理速度和吞吐量。这有助于在大规模部署中更好地处理高并发和大数据量的场景。 2. 容错性增强:Kafka 的容错机制可能在新版本中得到了强化...
kafka_2.11-0.10.1.0.tgzKafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素...
5. 创建主题:`./kafka_2.12-2.5.0/bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic my-topic` 6. 生产和消费消息:使用Kafka提供的命令行工具或...
spark-streaming-kafka-0-8-assembly_2.11-2.4.0.jar
flink-connector-kafka_2.12-1.13.2.jar
7. 发布和消费消息:你可以使用`kafka-console-producer.bat`和`kafka-console-consumer.bat`工具来测试消息的发布和订阅。例如,发布消息到`test-topic`,然后从该主题消费消息。 集群扩展与高可用: 8. 如果需要...
这个"linux-kafka_2.13-2.8.0.rar"压缩包包含的是Kafka针对Linux环境的特定版本,即2.13版本的2.8.0。以下是关于Kafka和这个特定版本的一些关键知识点: 1. **Kafka概述**:Apache Kafka是一个开源的消息队列系统,...
flink-connector-kafka_2.11-1.12.2.jar
kafka_2.11-0.9.0.1.tgz 亲测可用 Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。 这种动作...