`
corejava2008
  • 浏览: 296565 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

KafKa简单集群环境搭建

阅读更多

KafKa集群配置:

        1.下载解压最新的kafka安装文件 ,并分别解压到三台服务器上      

tar -xzf kafka_2.10-0.8.2.0.tgz
cd kafka_2.10-0.8.2.0

 

        2.修改Server.properties配置文件:

           

  zookeeper.connect=archtest01:2181,archtest02:2181,arch_open:2181

              修改SVR71服务器broker.id=0

              修改SVR72服务器broker.id=1

              修改SVR87服务器broker.id=2

 

       3.启动KafKa服务

     

       mkdir logs

             bin/kafka-server-start.sh config/server.properties > logs/kafka.log&

             zk:文件存储目录:/data/server/zookeeper/data

             KafKa文件存储目录:/tmp

 

       4.测试集群是否安装成功

          

  测试KafKa集群是否安装成功:

     创建Topic
     bin/kafka-topics.sh --create --zookeeper archtest01:2181 --replication-factor 3 --partitions 1 --topic qeeka-topic
     查看Topic
     bin/kafka-topics.sh --describe --zookeeper archtest01:2181 --topic qeeka-topic 

     生产者发送消息
     bin/kafka-console-producer.sh --broker-list archtest01:9092 --topic qeeka-topic
     消费者接收消息
     bin/kafka-console-consumer.sh --zookeeper archtest01:2181 --from-beginning --topic qeeka-topic

 

 

 

   5.简单压力测试(服务器配置较低,需更换服务器后进一步测试,简单测试结果如下:)  

--------------------------------------------------------------------------
生产者:4线程发送50万数据 耗时27秒 每秒1.8万 写入速度每秒17M
[root@archtest02 /usr/local/kafka/kafka_2.10-0.8.2.1]# bin/kafka-producer-perf-test.sh --messages 500000 --message-size 1000 --batch-size 1000 --topics qeeka-topic --threads 4 --broker-list archtest01:9092,archtest02:9092,arch_open:9092
start.time, end.time, compression, message.size, batch.size, total.data.sent.in.MB, MB.sec, total.data.sent.in.nMsg, nMsg.sec
2015-03-13 16:46:36:804, 2015-03-13 16:47:03:305, 0, 1000, 1000, 476.84, 17.9932, 500000, 18867.2126
--------------------------------------------------------------------------
消费者:3线程接收50万数据 耗时10秒 每秒1万 读取速度每秒93M
[root@archtest02 /usr/local/kafka/kafka_2.10-0.8.2.1]# bin/kafka-consumer-perf-test.sh --zookeeper archtest01,archtest02,arch_open --messages 500000 --topic qeeka-topic --threads 3
start.time, end.time, fetch.size, data.consumed.in.MB, MB.sec, data.consumed.in.nMsg, nMsg.sec
2015-03-13 16:47:49:620, 2015-03-13 16:47:59:591, 1048576, 467.1689, 93.9788, 500000, 100583.3836
--------------------------------------------------------------------------
生产者:4线程发送500万数据 耗时247秒 每秒2万 写入速度每秒19M
[root@archtest02 /usr/local/kafka/kafka_2.10-0.8.2.1]# bin/kafka-producer-perf-test.sh --messages 5000000 --message-size 1000 --batch-size 1000 --topics qeeka-topic --threads 4 --broker-list archtest01:9092,archtest02:9092,arch_open:9092
start.time, end.time, compression, message.size, batch.size, total.data.sent.in.MB, MB.sec, total.data.sent.in.nMsg, nMsg.sec
2015-03-13 16:55:24:082, 2015-03-13 16:59:31:992, 0, 1000, 1000, 4768.37, 19.2343, 5000000, 20168.6096
--------------------------------------------------------------------------
消费者:3线程接收500万数据 耗时120秒 每秒4.3万 读取速度每秒41M
[root@archtest02 /usr/local/kafka/kafka_2.10-0.8.2.1]# bin/kafka-consumer-perf-test.sh --zookeeper archtest01,archtest02,arch_open --messages 5000000 --topic qeeka-topic --threads 3
start.time, end.time, fetch.size, data.consumed.in.MB, MB.sec, data.consumed.in.nMsg, nMsg.sec
2015-03-13 17:01:52:511, 2015-03-13 17:03:51:895, 1048576, 4758.7033, 41.6029, 5000000, 43712.4073

 

分享到:
评论

相关推荐

    docker容器中搭建kafka集群环境.doc

    docker容器中搭建kafka集群环境,kafka集群配置注意事项与优化

    kafka集群搭建文档

    本篇文档将详细介绍如何在Linux环境中搭建Kafka集群,同时结合Hadoop和Spark的分布式安装,构建一个完整的数据处理平台。 首先,搭建Kafka集群的基础条件包括: 1. 至少一台Linux服务器,但为了高可用性,推荐多台...

    快速部署单机kafka集群(win环境)

    本文不讲kafka集群原理,只谈部署步骤。 默认读者已对kafka有最基本的认知,纯粹作为部署笔记,方便回忆。 另外本文是基于Windows部署的,Linux的步骤是基本相同的(只是启动脚本位置不同)。 kafka集群类型: ...

    使用sasl的kafka集群的搭建使用

    Kafka集群搭建和使用过程涉及多个技术要点和配置项,包括SASL安全机制、ACL权限设置、Kafka基础概念以及安装配置步骤等。下面将详细介绍这些知识点。 首先,SASL(Simple Authentication and Security Layer)是为C...

    kafka分布式集群搭建

    ### Kafka分布式集群搭建详解 #### 一、概述 Kafka是一种高性能、分布式的消息发布与订阅系统,被广泛应用于日志收集、流处理、消息传递等多个领域。为了提高系统的可用性与扩展性,通常会采用分布式集群的方式...

    kafka集群搭建与使用

    Kafka 集群搭建与使用 Kafka 是一种高吞吐量的分布式发布订阅消息系统,使用 Scala 编写。Kafka 拥有作为一个消息系统应该具备的功能,但是确有着独特的设计。Kafka 集群的搭建和使用是基于 Kafka 的设计理念和架构...

    Kafka集群搭建(3台机)

    搭建Kafka集群涉及到对虚拟机的安装配置、JDK环境的搭建、Zookeeper的安装配置等关键步骤。下面详细介绍各个知识点。 首先,虚拟机的安装是搭建Kafka集群的基础。文中提到了使用VMWare来安装三台虚拟机,并分配了...

    kafka集群搭建.pdf

    Java环境配置是kafka集群搭建的必要组件。需要解压安装Java安装包,重命名移动到新目录下,并配置环境变量。 三、ZooKeeper安装 ZooKeeper是kafka集群的必要组件,负责负载和容灾备份。需要解压安装ZooKeeper...

    kafka集群搭建及测试.docx

    【Kafka集群搭建及测试】 Kafka是一种分布式流处理平台,常用于实时数据处理和大数据管道。本文档将详细介绍如何在三台Ubuntu 16虚拟机上搭建Kafka集群,并进行基本的测试,确保其正常运行。 **1. 准备工作** 在...

    kafka 单机集群搭建和监控

    Kafka集群搭建** Kafka集群提供高可用性和容错性。搭建步骤与单机类似,但需考虑以下几个关键点: 1. **多台机器**:至少需要两台机器来创建集群,每台机器上都需要部署Kafka。 2. **配置更改**:在`server....

    搭建kafka集群详细教程

    本教程将详细介绍如何搭建一个Kafka集群。 首先,我们需要理解Kafka集群的基础构成。一个Kafka集群通常包括多个服务器,称为Brokers,它们负责存储和传输消息。每个Broker都有自己的分区(Partitions),这些分区是...

    Kafka分布式集群搭建.doc

    Kafka分布式集群搭建.doc

    集群环境搭建-Centos+kafka+zookeeper+hadoop+Spark

    通过VirtualBox安装多台虚拟机,实现集群环境搭建。 优势:一台电脑即可。 应用场景:测试,学习。 注意事项:请严格按照文档操作,作者已经按照文档操作实现环境搭建。 内附百度网盘下载地址,有hadoop+zookeeper+...

    Kafka和Zookeeper集群搭建

    在Kafka集群中,Zookeeper用于存储和管理Kafka的元数据,如主题分区信息、broker列表等,同时协助进行选举和协调各个节点的状态。 接下来,我们转向Kafka。Kafka是一个高性能的消息中间件,设计目标是处理实时数据...

    kafka+zookeeper高可用集群搭建shell使用脚本

    【标题】"kafka+zookeeper高可用集群搭建shell使用脚本"所涉及的知识点主要集中在构建高可用的Kafka和Zookeeper集群上,以及如何利用Shell脚本来自动化这个过程。Kafka是一个分布式流处理平台,而Zookeeper是Apache...

    kafka集群搭建

    kafka分布式集群多服务器和单机部署,需安装zookeeper环境,

    kafka基础知识及集群搭建

    【Kafka基础知识及集群搭建】 Kafka是一种分布式消息中间件,由Apache软件基金会开发,主要用于处理实时流式数据。它的核心特性包括高吞吐量、持久性、分布式和灵活的消费模式。 ### 1. Kafka概述 #### 1.1 消息...

    kakfa,kafka集群安装部署全量安装包

    **Kafka集群安装部署全量指南** Apache Kafka是一款开源流处理平台,由LinkedIn开发并贡献给了Apache软件基金会。它设计为一个高吞吐量、分布式的消息队列系统,用于处理实时数据流。Kafka通常与ZooKeeper一起使用...

Global site tag (gtag.js) - Google Analytics