kafka是LinkedIn开发并开源的一个分布式MQ系统,现在是Apache的一个孵化项目。在它的主页描述kafka为一个高吞吐量的分布式(能将消息分散到不同的节点上)MQ。在这片博文中,作者简单提到了开发kafka而不选择已有MQ系统的原因。两个原因:性能和扩展性。Kafka仅仅由7000行Scala编写,据了解,Kafka每秒可以生产约25万消息(50 MB),每秒处理55万消息(110 MB)。
Kafka版本:0.8.0
官网:http://kafka.apache.org/
官方文档:http://kafka.apache.org/documentation.html#quickstart
下载解压
# wget http://mirrors.hust.edu.cn/apache/kafka/0.8.0/kafka-0.8.0-src.tgz
# tar xzf kafka-0.8.0-src.tgz
# cd kafka-0.8.0-src
设置环境变量:
KAFKA_HOME=/usr/local/adsit/yting/apache/kafka/kafka-0.8.0
PATH=.:$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:$ZOOKEEPER_HOME/bin:$HIVE_HOME/bin:$MAVEN_HOME/bin:$MAHOUT_HOME/bin:$SCALA_HOME/bin:$STORM_HOME/bin:$REDIS_HOME/bin:$FLUME_HOME/bin:$KAFKA_HOME/bin
启动自带的zookeeper,也可以不用
bin/zookeeper-server-start.sh config/zookeeper.properties
启动kafka server,不使用自带的要注意修改地址
bin/kafka-server-start.sh config/server.properties
创建topic
bin/kafka-create-topic.sh --zookeeper localhost:2181 --replica 1 --partition 1 --topic test
list
bin/kafka-list-topic.sh --zookeeper localhost:2181
producer
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
comsumer
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
集群:多个brocker 整目录拷贝多份就可以了
cp config/server.properties config/server-1.properties
cp config/server.properties config/server-1.properties
新的配置
config/server-1.properties:
broker.id=1
port=9093
log.dir=/tmp/kafka-logs-1
config/server-2.properties:
broker.id=2
port=9094
log.dir=/tmp/kafka-logs-2
相关推荐
环境:window7 64位,zookeeper3.4.6 kafka版本:kafka_2.8.0-0.8.0 window 搭建开发kafka集群:我的集群目录:F:\liuzhiwen\cluster\tech\kafka_cluster 需要切换到指定的目录:命令行切换cd F:\liuzhiwen\cluster\...
该库旨在提供Apache Kafka v0.8.0 及更高版本的所有 Kafka 功能。它支持事务、正则表达式主题消费、最新分区策略、数据丢失检测、最近副本获取等。如果存在客户端 KIP,该库旨在支持它。该库尝试提供直观的 API,...
Kafka 面试题及答案总结 Kafka 是一种基于发布/订阅模式的消息系统,主要应用于大数据处理、...但是随着业务的发展,支持副本的功能越来越强烈,所以为了保证数据的可靠性,Kafka 从 0.8.0 版本开始引入了分区副本。
4.1 安装:下载kafka_2.10-0.8.2.0.tgz,解压后按照官方文档配置环境变量,启动Zookeeper和Kafka服务。 4.2 创建主题:使用Kafka的命令行工具创建主题,并设置分区数量和副本数。 4.3 生产消息:编写生产者代码,...
在下载 Kafka 0.8 时,需要注意选择适合自己操作系统的版本,例如 `kafka_2.8.0-0.8.0` 文件名表示的是针对 Java 2.8.0 的版本。下载后,需要按照官方文档的指导进行配置和启动,才能开始使用 Kafka 的功能。 总结...
- `kafka_2.8.0-0.8.0.jar`:Kafka的核心库。 - `sbt-launch.jar`:Scala构建工具SBT的启动脚本。 - `scala*.jar`:Scala语言相关的库。 - `zkclient-0.1.jar`:Zookeeper客户端库。 2. **配置Flume-ng**: - ...
例如,Flume版本为1.4.0,Kafka版本为0.8.0,Storm版本为0.9.0。每个组件的配置文件都包含了丰富的参数,用以控制组件的行为和性能,如队列大小、并行度、超时时间等。 此外,搭建过程中也需要注意各个组件之间的...
在构建分布式计算系统时,Apache Storm是...需要注意的是,尽管这里提供的Storm版本相对较旧,但理解这些组件的工作原理对于理解更现代的Storm版本或类似的实时处理框架如Apache Flink、Apache Kafka也是非常有帮助的。
同时,它支持 Kafka 0.8.0 Beta 版本,这意味着它能够在较早版本的 Kafka 集群上运行,为那些尚未升级到最新版本的用户提供解决方案。 在Flume中,数据流动的基本单元是事件(Event),而“flumeng-kafka-plugin”...
Kafka作为一个分布式消息队列,可以接收并处理来自statsd的大量实时数据,而Zookeeper则用于管理Kafka集群的元数据,保证数据的可靠传输。这种架构对于大规模分布式系统的性能监控非常有帮助,能够实现数据的实时...