Kafka版本:kafka_2.9.2-0.8.1.1
官网:http://kafka.apache.org/
官方文档:http://kafka.apache.org/documentation.html#quickstart
下载解压
[root@rs229 ~]# wget -c -P /root http://mirrors.cnnic.cn/apache/kafka/0.8.1.1/kafka_2.9.2-0.8.1.1.tgz
# tar xzf kafka_2.9.2-0.8.1.1.tgz
# cd kafka_2.9.2-0.8.1.1
设置环境变量:
KAFKA_HOME=/usr/local/adsit/yting/apache/kafka/kafka_2.9.2-0.8.1.1
PATH=.:$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:$ZOOKEEPER_HOME/bin:$HIVE_HOME/bin:$MAVEN_HOME/bin:$MAHOUT_HOME/bin:$SCALA_HOME/bin:$STORM_HOME/bin:$REDIS_HOME/bin:$FLUME_HOME/bin:$KAFKA_HOME/bin
启动自带的zookeeper,也可以不用
[root@rs229 kafka_2.9.2-0.8.1.1]#bin/zookeeper-server-start.sh config/zookeeper.properties &
启动kafka server,不使用自带的要注意修改zookeeper地址
[root@rs229 kafka_2.9.2-0.8.1.1]#bin/kafka-server-start.sh config/server.properties &
注意后台启动服务
使用介绍:
创建topic
[root@rs229 kafka_2.9.2-0.8.1.1]# bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test &
列出topic
[root@rs229 kafka_2.9.2-0.8.1.1]# bin/kafka-topics.sh --list --zookeeper localhost:2181
test
producer
# Send some messages (发送一些消息)
输入一条信息(Thisis a message: The you smile until forever),并且Ctrl+z退出shell
[root@rs229 kafka_2.9.2-0.8.1.1]# bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
This is a message: The you smile until forever
comsumer
# Start a consumer(开启一个消费者)
输入命令之后打印出一些信息,最后面显示了刚刚输入的信息:Thisis a message: The you smile until forever
[root@rs229 kafka_2.9.2-0.8.1.1]# bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
This is a message: The you smile until forever
集群配置:
多个brocker 整目录拷贝多份就可以了
cp config/server.properties config/server-1.properties
cp config/server.properties config/server-1.properties
新的配置
config/server-1.properties:
broker.id=1
port=9093
log.dir=/tmp/kafka-logs-1
config/server-2.properties:
broker.id=2
port=9094
log.dir=/tmp/kafka-logs-2
注意:真正集群要设置host.name和advertised.host.name这两个属性
启动
JMX_PORT=9997 bin/kafka-server-start.sh config/server-1.properties &
JMX_PORT=9998 bin/kafka-server-start.sh config/server-2.properties &
伪分布式集群启动要加:JMX_PORT=
详细java api使用见:
https://cwiki.apache.org/confluence/display/KAFKA/0.8.0+SimpleConsumer+Example
https://cwiki.apache.org/confluence/display/KAFKA/0.8.0+Producer+Example
https://cwiki.apache.org/confluence/display/KAFKA/Consumer+Group+Example
相关推荐
4. 监控与管理:通过Kafka提供的监控工具,如`kafka-console-consumer.sh`和`kafka-run-class.sh`,监控主题和消费者状态。 六、大数据应用场景 1. 数据管道:Kafka作为实时数据流处理的基础设施,用于收集、存储和...
《深入理解Kafka集群:基于kafka_2.9.2-0.8.2.1.tgz的解析》 Kafka,一个由LinkedIn开发并开源的分布式流处理平台,因其高效、可扩展和容错性强的特点,在大数据领域中扮演着重要的角色。本文将基于“kafka_2.9.2-...
kafka_2.10-0.8.1.1kafka_2.10-0.8.1.1kafka_2.10-0.8.1.1kafka_2.10-0.8.1.1kafka_2.10-0.8.1.1kafka_2.10-0.8.1.1kafka_2.10-0.8.1.1kafka_2.10-0.8.1.1kafka_2.10-0.8.1.1kafka_2.10-0.8.1.1kafka_2.10-0.8.1.1...
- 使用Kafka自带的监控工具,如`kafka-topics.sh`、`kafka-consumer-groups.sh`等。 - 集成第三方监控系统,如Prometheus和Grafana,实现可视化监控。 总之,Kafka作为一种成熟的消息队列解决方案,在大数据处理...
- 使用`./kafka-console-producer.sh --broker-list localhost:9092 --topic test`和`./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning`进行消息的生产和消费,操作...
赠送jar包:kafka_2.11-0.10.0.1.jar; 赠送原API文档:kafka_2.11-0.10.0.1-javadoc.jar; 赠送源代码:kafka_2.11-0.10.0.1-sources.jar; 赠送Maven依赖信息文件:kafka_2.11-0.10.0.1.pom; 包含翻译后的API文档...
- 使用bin/kafka-topics.sh脚本创建主题,指定主题名、分区数量和副本数量。 4. **生产者与消费者编程** - **生产者示例**:使用Kafka的Java API,编写生产者代码,通过new Producer()创建实例,然后使用send()...
Kafka提供了丰富的命令行工具,如`kafka-topics.sh`、`kafka-consumer-groups.sh`等,用于查看和管理Topics、Partitions、Consumer Groups等。 十一、注意事项 1. Kafka默认使用9092端口,确保没有其他服务占用。 ...
标题中的"kafka_exporter-1.6.0.linux-amd64.tar.gz"是一个针对Linux AMD64架构的Kafka Exporter版本1.6.0的压缩文件,通常用于在Prometheus监控环境中收集和暴露Kafka集群的度量数据。 Kafka Exporter是一款开源...
5. 创建主题:`./kafka_2.12-2.5.0/bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic my-topic` 6. 生产和消费消息:使用Kafka提供的命令行工具或...
7. 发布和消费消息:你可以使用`kafka-console-producer.bat`和`kafka-console-consumer.bat`工具来测试消息的发布和订阅。例如,发布消息到`test-topic`,然后从该主题消费消息。 集群扩展与高可用: 8. 如果需要...
kafka_2.11-0.10.1.0.tgzKafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素...
标题中的“KAFKA-3.1.1-1.3.1.1.p0.2-el7.parcel”指的是Apache Kafka的一个特定版本的软件包,适用于Red Hat Enterprise Linux 7(RHEL 7)系统。这个版本是3.1.1,并且可能是某个特定发行版或修补版的1.3.1.1.p0.2...
kafka_2.11-1.1.0.tgz文件 下载后zip 解压后就是 kafka_2.11-1.1.0.tgz
Apache Kafka是一款高性能、分布式的消息中间件,它最初由LinkedIn开发,后来成为Apache软件基金会的顶级项目。Kafka的核心特性包括高吞吐量、持久化、分区以及复制,使得它在大数据领域被广泛应用。我们此次关注的...
Kafka提供了一些工具来监控和管理集群,如`kafka-topics.sh`用于管理主题,`kafka-consumer-groups.sh`用于查看消费者组状态,`kafka-log-dirs.sh`用于检查日志状态。 总结,Kafka 2.12-1.0.0版本在性能、稳定性和...
Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量...
- `bin`目录:包含了启动和管理Kafka服务的脚本,如`kafka-server-start.sh`、`kafka-console-producer.sh`和`kafka-console-consumer.sh`。 - `config`目录:包含默认配置文件,如`server.properties`(配置Kafka ...