`
qindongliang1922
  • 浏览: 2188727 次
  • 性别: Icon_minigender_1
  • 来自: 北京
博客专栏
7265517b-f87e-3137-b62c-5c6e30e26109
证道Lucene4
浏览量:117665
097be4a0-491e-39c0-89ff-3456fadf8262
证道Hadoop
浏览量:126072
41c37529-f6d8-32e4-8563-3b42b2712a50
证道shell编程
浏览量:60034
43832365-bc15-3f5d-b3cd-c9161722a70c
ELK修真
浏览量:71402
社区版块
存档分类
最新评论

Kakfa集群搭建

阅读更多

先来整体熟悉下Kafka的一些概念和架构

(一)什么是Kafka?
Kafka是由LinkedIn开发并开源的一个分布式消息系统,因其分布式和高吞吐率被广泛应用,现在已经在Hadoop和Spark等大数据的生态系统中成为一个必不可少的生态组件,可与各种计算模型,如离线计算,实时计算,流计算对接数据。


(二)为什么要用Kafka?

1,以时间复杂度O(1)的方式提供消息持久化和访问能力,即使应对TB级数据也能保证常数时间内的的访问和存储。
2,高吞吐率,在普通PC上也能保证每秒10万左右的消息传输能力
3,支持消息分区存储,并保证分区内消息的时序性,可支持分布式消费
4,能对接多种计算模型
5,支持副本,容错,水平扩容等特性。


(三)Kafka的名词解释
1,Broker : 一个单独的kafka机器节点就称为一个broker,多个broker组成的集群,称为kafka集群
2,Topic   :类似数据库中的一个表,我们将数据存储在Topic里面,当然这只是逻辑上的,在物理上,一个Topic
可能被多个Broker分区存储,这对用户是透明的,用户只需关注消息的产生于消费即可
3,Partition:类似分区表,每个Topic可根据设置将数据存储在多个整体有序的Partition中,每个顺序化partition会生成2个文件,一个是index文件一个是log文件,index文件存储索引和偏移量,log文件存储具体的数据
4,Producer:生产者,向Topic里面发送消息的角色
5,Consumer:消费者,从Topic里面读取消息的角色
6,Consumer Group:每个Consumer属于一个特定的消费者组,可为Consumer指定group name,如果不指定默认属于group


(四)Kafka的拓扑架构







(五)Kafka的安装

三台机器+外置Zookeeper集群:
192.168.1.1 kakfa1 zk1
192.168.1.2 kakfa2 zk2
192.168.1.3 kakfa3 zk3
关于zookeeper集群的安装,请参考博客:http://qindongliang.iteye.com/blog/1985145

(1) 下载kafka0.9.0.0

wget http://archive.apache.org/dist/kafka/0.9.0.0/kafka_2.11-0.9.0.0.tgz

(2)解压到某个目录
tar -zxvf kafka/0.9.0.0/kafka_2.11-0.9.0.0.tgz

(3)配置config/server.properties
三个重要配置:

broker.id=0/1/2 三台机器配置不能重复
log.dirs=/var/kafka_data 默认是在/tmp/kafka_logs下,目录会自动创建
zookeeper.connect=zk1:2181,zk2:2181,zk3:2181/kafka ,默认kafka的文件会散落在zookeeper的根目录下
如果zookeeper上还有其他的文件如hbase,solr那就非常混乱,建议在连接后面加上/kafka这样就会以kafka为根目录


(4)一个例子和kafka基本命令如下:
生产者push数据:





消费者查看数据:




kafka在zookeeper上的目录结构:





kafka的基本命令介绍:

//启动一个kakfa-server:
nohup bin/kafka-server-start.sh config/server.properties &
//创建一个topic
bin/kafka-topics.sh --create --zookeeper localhost:2181/kafka --replication-factor 1 --partitions 3 --topic logstash
//命令行发送数据到topic的logstash里面
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic logstash
//查看kafka中的某个topic里面的数据:
bin/kafka-console-consumer.sh --zookeeper localhost:2181/kafka --from-beginning --topic logstash
//查看所有的topic列表
bin/kafka-topics.sh --list --zookeeper localhost:2181/kafka
//查看topic的详细信息
bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic




参考文章:

官网文档:
http://kafka.apache.org/documentation.html#quickstart
kafka实战例子1
http://www.mrhaoting.com/?p=152
kafka实战例子2
http://www.lujinhong.com/kafka集群操作指南.html
kafka深度解析
http://www.jasongj.com/2015/01/02/Kafka深度解析/
kafka参数详解
http://debugo.com/kafka-params/
官网参数详解
https://kafka.apache.org/08/configuration.html



有什么问题 可以扫码关注微信公众号:我是攻城师(woshigcs),在后台留言咨询。
本公众号的内容是有关搜索和大数据技术和互联网等方面内容的分享,也是一个温馨的技术互动交流的小家园



  • 大小: 289.1 KB
  • 大小: 4.2 KB
  • 大小: 4.5 KB
  • 大小: 7.6 KB
0
2
分享到:
评论

相关推荐

    kafka集群搭建文档

    本篇文档将详细介绍如何在Linux环境中搭建Kafka集群,同时结合Hadoop和Spark的分布式安装,构建一个完整的数据处理平台。 首先,搭建Kafka集群的基础条件包括: 1. 至少一台Linux服务器,但为了高可用性,推荐多台...

    kafka集群搭建及测试.docx

    【Kafka集群搭建及测试】 Kafka是一种分布式流处理平台,常用于实时数据处理和大数据管道。本文档将详细介绍如何在三台Ubuntu 16虚拟机上搭建Kafka集群,并进行基本的测试,确保其正常运行。 **1. 准备工作** 在...

    kafka集群搭建.pdf

    kafka集群搭建方案 kafka集群搭建是大数据处理和实时数据处理的重要组件。下面是kafka集群搭建的详细方案: 一、准备工作 1. 关闭防火墙 关闭防火墙是kafka集群搭建的前提条件。可以使用systemctl disable ...

    kafka集群搭建与使用

    Kafka 集群搭建与使用 Kafka 是一种高吞吐量的分布式发布订阅消息系统,使用 Scala 编写。Kafka 拥有作为一个消息系统应该具备的功能,但是确有着独特的设计。Kafka 集群的搭建和使用是基于 Kafka 的设计理念和架构...

    kafka集群搭建

    kafka分布式集群多服务器和单机部署,需安装zookeeper环境,

    KAFKA集群搭建参考方案

    【Kafka集群搭建】Kafka是一款高吞吐量的分布式发布订阅消息系统,广泛应用于大数据实时处理和流计算领域。搭建Kafka集群是构建可靠、高效的数据传输平台的关键步骤。根据提供的信息,Kafka集群搭建有两种方式:在多...

    Kafka集群搭建(3台机)

    搭建Kafka集群涉及到对虚拟机的安装配置、JDK环境的搭建、Zookeeper的安装配置等关键步骤。下面详细介绍各个知识点。 首先,虚拟机的安装是搭建Kafka集群的基础。文中提到了使用VMWare来安装三台虚拟机,并分配了...

    Python-kafka集群搭建PythonAPI调用Producer和Consumer

    **Python-Kafka集群搭建与Python API使用指南** Kafka是一种分布式流处理平台,常用于实时数据处理和消息传递。在本教程中,我们将探讨如何搭建一个支持SASL(Simple Authentication and Security Layer)认证的...

    Kafka集群搭建1

    【Kafka集群搭建详解】 Apache Kafka是一个分布式流处理平台,常用于实时数据处理和消息传递。本教程将详细介绍如何在CentOS 6.5环境下搭建Kafka集群,使用的版本为kafka_2.10-0.10.0.0,依赖JDK 1.8.0_172。集群将...

    kafka集群搭建和使用Java写kafka生产者消费者

    ### Kafka集群搭建 1. **安装依赖**: 首先,你需要在服务器上安装Java运行环境(JRE)和ZooKeeper,因为Kafka依赖ZooKeeper进行集群管理。 2. **下载Kafka**: 从Apache Kafka官方网站下载最新稳定版本的Kafka,...

    Zookeeper和kafka集群搭建手册

    ### Zookeeper和Kafka集群搭建知识点详解 #### 一、基础知识概述 - **Zookeeper**:分布式协调服务,主要用于维护和监控共享数据的状态变化,从而达到集群之间进行数据同步的目的。 - **Kafka**:分布式流处理平台...

    docker容器中搭建kafka集群环境.doc

    docker容器中搭建kafka集群环境,kafka集群配置注意事项与优化

    使用sasl的kafka集群的搭建使用

    Kafka集群搭建和使用过程涉及多个技术要点和配置项,包括SASL安全机制、ACL权限设置、Kafka基础概念以及安装配置步骤等。下面将详细介绍这些知识点。 首先,SASL(Simple Authentication and Security Layer)是为C...

    flyleft#tip#本机kafka集群搭建1

    本地kafka集群搭建zookeeper集群的搭建以docker方式搭建,创建docker-compose.yml文件,内容如下,然后运行docker-comp

    搭建kafka集群详细教程

    本教程将详细介绍如何搭建一个Kafka集群。 首先,我们需要理解Kafka集群的基础构成。一个Kafka集群通常包括多个服务器,称为Brokers,它们负责存储和传输消息。每个Broker都有自己的分区(Partitions),这些分区是...

    zookeeper+kafka集群搭建及安装包

    **集群搭建步骤** 1. **安装Java**:Zookeeper和Kafka都需要Java运行环境,首先确保服务器上已经安装了JDK。 2. **下载并解压Zookeeper**:从Apache官方网站下载Zookeeper的最新稳定版本,将其解压到指定目录,...

    kafka+zookeeper高可用集群搭建shell使用脚本

    【标题】"kafka+zookeeper高可用集群搭建shell使用脚本"所涉及的知识点主要集中在构建高可用的Kafka和Zookeeper集群上,以及如何利用Shell脚本来自动化这个过程。Kafka是一个分布式流处理平台,而Zookeeper是Apache...

    快速部署单机kafka集群(win环境)

    本文不讲kafka集群原理,只谈部署步骤。 默认读者已对kafka有最基本的认知,纯粹作为部署笔记,方便回忆。 另外本文是基于Windows部署的,Linux的步骤是基本相同的(只是启动脚本位置不同)。 kafka集群类型: ...

Global site tag (gtag.js) - Google Analytics