`

Kafka集群的部署与测试

阅读更多

KafKa集群的部署与测试

kafka是一款分布式消息发布和订阅的系统,相比ActiveMQ具有高性能和高吞吐率。

官方网站: http://kafka.apache.org/documentation.html#quickstart

相关项目:
相关示例项目:Leek——简易版实时智能选股平台

一、kafka原理图

二、kafka的安装(安装kafka前需要先安装JDK环境)

1、下载kafka

[http://kafka.apache.org/downloads.html](http://kafka.apache.org/downloads.html)  
tar -zxvf kafka_2.11-0.9.0.1.tgz   
cd kafka_2.11-0.9.0.1.tgz  

2、安装Zookeeper集群

见:ZooKeeper高可用集群的安装及配置

3、修改配置文件

vim /usr/local/kafka_2.11-0.9.0.1/config/server.properties  

在机器1上:

broker.id=0 #集群中唯一id  
port=9092
host.name=192.168.xx.100 
advertised.host.name=192.168.xx.100
listeners=PLAINTEXT://192.168.xx.100:9092  
log.dirs=/usr/local/kafka_2.11-0.9.0.1/kafka-logs  
num.partitions=5 #分区的数目
zookeeper.connect=node-1:2181,node-2:2181,node-3:2181  

在机器2上:

broker.id=1 #集群中唯一id  
port=9092
host.name=192.168.xx.101 
advertised.host.name=192.168.xx.101
listeners=PLAINTEXT://192.168.xx.101:9092  
log.dirs=/usr/local/kafka_2.11-0.9.0.1/kafka-logs  
num.partitions=5 #分区的数目
zookeeper.connect=node-1:2181,node-2:2181,node-3:2181  

4、在各个机器上启动Kafka服务

cd /usr/local/kafka_2.11-0.9.0.1/bin/  
nohup ./kafka-server-start.sh /usr/local/kafka_2.11-0.9.0.1/config/server.properties &
jps #验证是否有相关进程

5、Kafka服务测试

#我们创建一个名称为test的Topic,2个分区,并且复制因子为2(表示数据保存2份)
#执行如下命令:
cd /usr/local/kafka_2.11-0.9.0.1/bin/ 
./kafka-topics.sh --create --zookeeper node-1:2181  
--replication-factor 2 --partitions 2 --topic stock

#查看创建的Topic
./kafka-topics.sh --list --zookeeper node-1:2181
#查看相应Topic的情况
./kafka-topics.sh --describe --zookeeper node-1:2181 --topic test
#发送消息
./kafka-console-producer.sh --broker-list 192.168.xx.100:9092 --topic stock
#接收消息
./kafka-console-consumer.sh --zookeeper node-1:2181 --topic stock  --from-beginning
2
6
分享到:
评论
1 楼 sxlkk 2016-10-13  
kafka有图形界面,虽然很垃圾,但是怎么也算有界面的,你可以试试

相关推荐

    kafka集群部署文档(部署,运维,FAQ)

    ### Kafka集群部署与运维知识点详解 #### 一、Kafka概览 Kafka是一种高性能的分布式消息系统,具有以下特点: - **数据持久性**:Kafka通过高效的磁盘数据结构来实现消息的持久化存储,即使面对大量数据也能保持...

    kafka集群部署步骤

    ### Kafka集群部署步骤详解 #### 一、安装Java环境(JDK 1.8) Kafka作为基于Java语言开发的消息中间件,其运行环境需要Java支持。为了确保Kafka能够正常运行,首先需要在每台服务器上安装Java环境。推荐使用JDK ...

    云计算基础架构-Kafka集群部署.pptx

    《云计算基础架构:Kafka集群部署详解》 在当今的云计算环境中,高效的数据处理和传输是关键。Apache Kafka作为一个分布式流处理平台,被广泛应用于实时数据管道和消息系统,尤其在大数据处理领域,它的性能和可...

    kafka集群搭建文档

    6. **测试与监控** 生产环境中,需要对Kafka集群进行监控,检查Zookeeper状态、Kafka的消费和生产速率、磁盘使用情况等,以确保系统的健康运行。 在实际部署过程中,还需要考虑网络拓扑、安全性、监控系统以及备份...

    《Kafka集群部署》配置文件

    现在,我们来深入探讨《Kafka集群部署》配置文件中的关键知识点。 1. **Kafka集群**: Kafka集群由一个或多个服务器(称为Brokers)组成,它们负责存储和转发消息。为了实现高可用性和容错性,通常会设置多个副本。...

    一键快速部署测试生产环境kafka集群

    linux环境实现shell一键部署docker容器运行kafka集群(docker-compose实现集群启动,内置kafka-manager、zookeeper)

    kakfa,kafka集群安装部署全量安装包

    Kafka通常与ZooKeeper一起使用,ZooKeeper是一个分布式协调服务,对Kafka集群的管理至关重要。 在开始Kafka的安装部署之前,我们需要准备以下组件: 1. **ZooKeeper**: ZooKeeper是Kafka集群的核心组件,用于存储...

    第10单元 Kafka集群部署1

    【Kafka集群部署详解】 Apache Kafka是一个分布式流处理平台,用于构建实时数据管道和流应用。在本单元中,我们将探讨如何部署一个Kafka集群,包括集群规划、环境准备、Kafka与Zookeeper的配置以及集群的启动和管理...

    搭建kafka集群详细教程

    **步骤5:测试Kafka集群** 使用Kafka的生产者和消费者工具,创建一个简单的消息发送和接收流程,以验证集群工作正常。生产者发送消息到主题,消费者则从主题中消费这些消息。 **扩展与优化** - **副本策略**:设置...

    kafka集群部署说明-wubin-200720.doc

    【Kafka集群部署详解】 Kafka是一个开源的消息中间件,由Apache软件基金会开发,它能够高效地处理大量的实时数据流。在大规模分布式系统中,Kafka通常被用于构建实时数据管道和流应用。以下是Kafka集群部署的详细...

    Kafka分布式集群安装部署.doc

    (5)测试Kafka集群:测试Kafka集群的可用性和性能。 3. 遇到的主要问题及解决措施 在Kafka分布式集群安装部署的过程中,可能会遇到一些问题,例如: (1)Kafka集群无法在跨网络的环境中正常工作:解决方法是...

    Kafka集群及Kafka-Manager安装部署.docx

    ### Kafka集群及Kafka-Manager安装部署 #### 一、Kafka集群的安装与配置 **1. 工作环境准备** - **JDK**:确保安装了JDK 1.8.0_60版本。这一步骤至关重要,因为Kafka依赖于Java运行时环境。 - **Zookeeper**...

    Kafka集群配置样例_3节点_源码

    **Kafka集群配置详解——基于3节点实例** 在大数据处理领域,Apache Kafka作为一个高吞吐量、分布式的发布订阅消息系统,被...在实际部署中,还需要考虑网络、安全、日志管理等多个方面,以保证Kafka集群的稳定运行。

    介绍kafka及kafka集群安装

    7. **验证**:使用 Kafka 提供的命令工具 `kafka-topics.sh` 创建 Topic,`kafka-console-producer.sh` 和 `kafka-console-consumer.sh` 测试生产与消费消息。 #### Kafka 单机版部署示例 1. **配置 server....

    Kafka集群调优实战+分布式集群搭建,分布式集群搭建与调优实战,Kafka专家之路!课程内容全程实战,没有拖泥带水

    内容涵盖Kafka集群的核心组件讲解、集群架构设计、分布式集群搭建与伪集群配置,帮助读者快速上手Kafka环境部署。 通过实战案例,深入解析Java Consumer与Producer的高级用法,包括手动提交Offset、数据回溯、...

    kafka集群.pdf

    Kafka 集群部署是实现高可用性和容错性的关键步骤,确保数据的可靠传输和存储。以下是对 Kafka 集群部署的详细解释: 1. **环境准备**: - 系统版本:在本例中,使用的操作系统是 CentOS Linux release 7.5.1804 ...

    Kafka集群安装部署-自带zookeeper

    【Kafka集群安装部署-自带zookeeper】 Apache Kafka是一个分布式流处理平台,它被设计用于构建实时数据管道和流应用程序。Kafka的核心概念包括topic、producer、consumer和broker。Topic是消息的分类,producer负责...

    LinuxLinux部署kafka集群

    在Linux环境下部署Kafka集群,首先需要安装和配置几个关键组件,包括Java Development Kit (JDK),ZooKeeper,以及Kafka本身。下面将详细介绍这个过程。 1. **Java Development Kit (JDK)** Kafka运行在Java平台上...

    可视化kafka测试工具

    6. **优化与调整**:根据测试结果,优化Kafka集群配置或调整测试参数,进行再次测试。 通过这样的可视化工具,开发和运维团队能更有效地进行Kafka的测试工作,确保系统的稳定性和高效性。对于大型企业或复杂的数据...

Global site tag (gtag.js) - Google Analytics