`
liyonghui160com
  • 浏览: 775593 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

kafka_2.9.2-0.8.1.1伪分布式集群安装

阅读更多

 

Kafka版本:kafka_2.9.2-0.8.1.1


官网:http://kafka.apache.org/
官方文档:http://kafka.apache.org/documentation.html#quickstart


下载解压

[root@rs229 ~]# wget -c -P /root http://mirrors.cnnic.cn/apache/kafka/0.8.1.1/kafka_2.9.2-0.8.1.1.tgz

# tar xzf kafka_2.9.2-0.8.1.1.tgz
# cd kafka_2.9.2-0.8.1.1


设置环境变量:

KAFKA_HOME=/usr/local/adsit/yting/apache/kafka/kafka_2.9.2-0.8.1.1

 


PATH=.:$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:$ZOOKEEPER_HOME/bin:$HIVE_HOME/bin:$MAVEN_HOME/bin:$MAHOUT_HOME/bin:$SCALA_HOME/bin:$STORM_HOME/bin:$REDIS_HOME/bin:$FLUME_HOME/bin:$KAFKA_HOME/bin

 

 

启动自带的zookeeper,也可以不用

[root@rs229 kafka_2.9.2-0.8.1.1]#bin/zookeeper-server-start.sh config/zookeeper.properties &

启动kafka server,不使用自带的要注意修改zookeeper地址

[root@rs229 kafka_2.9.2-0.8.1.1]#bin/kafka-server-start.sh config/server.properties &

注意后台启动服务

 

使用介绍:
创建topic

[root@rs229 kafka_2.9.2-0.8.1.1]# bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test &

列出topic
[root@rs229 kafka_2.9.2-0.8.1.1]# bin/kafka-topics.sh --list --zookeeper localhost:2181

test

producer
# Send some messages (发送一些消息)
输入一条信息(Thisis a message: The you smile until forever),并且Ctrl+z退出shell
[root@rs229 kafka_2.9.2-0.8.1.1]# bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
This is a message: The you smile until forever

comsumer
# Start a consumer(开启一个消费者)
输入命令之后打印出一些信息,最后面显示了刚刚输入的信息:Thisis a message: The you smile until forever
[root@rs229 kafka_2.9.2-0.8.1.1]# bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
This is a message: The you smile until forever


集群配置:

多个brocker 整目录拷贝多份就可以了

cp config/server.properties config/server-1.properties
cp config/server.properties config/server-1.properties

新的配置

config/server-1.properties:
    broker.id=1
    port=9093
    log.dir=/tmp/kafka-logs-1

config/server-2.properties:
    broker.id=2
    port=9094
    log.dir=/tmp/kafka-logs-2

 

注意:真正集群要设置host.name和advertised.host.name这两个属性


启动

JMX_PORT=9997 bin/kafka-server-start.sh config/server-1.properties &
JMX_PORT=9998 bin/kafka-server-start.sh config/server-2.properties &
伪分布式集群启动要加:JMX_PORT=


详细java api使用见:

https://cwiki.apache.org/confluence/display/KAFKA/0.8.0+SimpleConsumer+Example

https://cwiki.apache.org/confluence/display/KAFKA/0.8.0+Producer+Example

https://cwiki.apache.org/confluence/display/KAFKA/Consumer+Group+Example

 

 

分享到:
评论

相关推荐

    kafka_2.10-0.8.2.1.tgz

    4. 监控与管理:通过Kafka提供的监控工具,如`kafka-console-consumer.sh`和`kafka-run-class.sh`,监控主题和消费者状态。 六、大数据应用场景 1. 数据管道:Kafka作为实时数据流处理的基础设施,用于收集、存储和...

    kafka_2.9.2-0.8.2.1.tgz

    《深入理解Kafka集群:基于kafka_2.9.2-0.8.2.1.tgz的解析》 Kafka,一个由LinkedIn开发并开源的分布式流处理平台,因其高效、可扩展和容错性强的特点,在大数据领域中扮演着重要的角色。本文将基于“kafka_2.9.2-...

    kafka-2.10-0.8.1.1

    kafka_2.10-0.8.1.1kafka_2.10-0.8.1.1kafka_2.10-0.8.1.1kafka_2.10-0.8.1.1kafka_2.10-0.8.1.1kafka_2.10-0.8.1.1kafka_2.10-0.8.1.1kafka_2.10-0.8.1.1kafka_2.10-0.8.1.1kafka_2.10-0.8.1.1kafka_2.10-0.8.1.1...

    kafka资源下载kafka_2.11-2.0.0.tgz

    - 使用Kafka自带的监控工具,如`kafka-topics.sh`、`kafka-consumer-groups.sh`等。 - 集成第三方监控系统,如Prometheus和Grafana,实现可视化监控。 总之,Kafka作为一种成熟的消息队列解决方案,在大数据处理...

    kafka_2.12-2.4.1.zip

    - 使用`./kafka-console-producer.sh --broker-list localhost:9092 --topic test`和`./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning`进行消息的生产和消费,操作...

    kafka_2.11-0.10.0.1-API文档-中文版.zip

    赠送jar包:kafka_2.11-0.10.0.1.jar; 赠送原API文档:kafka_2.11-0.10.0.1-javadoc.jar; 赠送源代码:kafka_2.11-0.10.0.1-sources.jar; 赠送Maven依赖信息文件:kafka_2.11-0.10.0.1.pom; 包含翻译后的API文档...

    kafka_2.11-2.0.0.tgz

    - 使用bin/kafka-topics.sh脚本创建主题,指定主题名、分区数量和副本数量。 4. **生产者与消费者编程** - **生产者示例**:使用Kafka的Java API,编写生产者代码,通过new Producer()创建实例,然后使用send()...

    kafka_2.11-2.2.2.tgz

    Kafka提供了丰富的命令行工具,如`kafka-topics.sh`、`kafka-consumer-groups.sh`等,用于查看和管理Topics、Partitions、Consumer Groups等。 十一、注意事项 1. Kafka默认使用9092端口,确保没有其他服务占用。 ...

    kafka_exporter-1.6.0.linux-amd64.tar.gz

    标题中的"kafka_exporter-1.6.0.linux-amd64.tar.gz"是一个针对Linux AMD64架构的Kafka Exporter版本1.6.0的压缩文件,通常用于在Prometheus监控环境中收集和暴露Kafka集群的度量数据。 Kafka Exporter是一款开源...

    最新版linux kafka_2.12-2.5.0.tgz

    5. 创建主题:`./kafka_2.12-2.5.0/bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic my-topic` 6. 生产和消费消息:使用Kafka提供的命令行工具或...

    最新版windows kafka_2.12-2.4.1.tgz

    7. 发布和消费消息:你可以使用`kafka-console-producer.bat`和`kafka-console-consumer.bat`工具来测试消息的发布和订阅。例如,发布消息到`test-topic`,然后从该主题消费消息。 集群扩展与高可用: 8. 如果需要...

    kafka_2.11-0.10.1.0.tgz

    kafka_2.11-0.10.1.0.tgzKafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素...

    KAFKA-3.1.1-1.3.1.1.p0.2-el7.parcel

    标题中的“KAFKA-3.1.1-1.3.1.1.p0.2-el7.parcel”指的是Apache Kafka的一个特定版本的软件包,适用于Red Hat Enterprise Linux 7(RHEL 7)系统。这个版本是3.1.1,并且可能是某个特定发行版或修补版的1.3.1.1.p0.2...

    kafka_2.11-1.1.0.tgz 安装包.zip

    kafka_2.11-1.1.0.tgz文件 下载后zip 解压后就是 kafka_2.11-1.1.0.tgz

    kafka_2.13-2.8.1.tgz

    Apache Kafka是一款高性能、分布式的消息中间件,它最初由LinkedIn开发,后来成为Apache软件基金会的顶级项目。Kafka的核心特性包括高吞吐量、持久化、分区以及复制,使得它在大数据领域被广泛应用。我们此次关注的...

    kafka_2.12-1.0.0.zip

    Kafka提供了一些工具来监控和管理集群,如`kafka-topics.sh`用于管理主题,`kafka-consumer-groups.sh`用于查看消费者组状态,`kafka-log-dirs.sh`用于检查日志状态。 总结,Kafka 2.12-1.0.0版本在性能、稳定性和...

    kafka_2.11-0.9.0.1.tgz

    Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量...

    kafka_2.12-3.3.1.tgz

    - `bin`目录:包含了启动和管理Kafka服务的脚本,如`kafka-server-start.sh`、`kafka-console-producer.sh`和`kafka-console-consumer.sh`。 - `config`目录:包含默认配置文件,如`server.properties`(配置Kafka ...

Global site tag (gtag.js) - Google Analytics