`
拓子轩
  • 浏览: 210060 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
社区版块
存档分类
最新评论

Kafka伪分布式环境安装

    博客分类:
  • java
阅读更多
     单节点的伪分布式环境是指集群由一台ZooKeeper服务器和一台Kafka broker服务器组成。

 

4.2.1 安装Java

Oracle官网下载JDK,建议下载JDK8及以上版本,如:

wget --no-check-certificate --no-cookie --header "Cookie:oraclelicense=accept-securebackup-cookie;" http://download.oracle.com/otn-pub/java/jdk/8u162-b12/0da788060d494f5095bf8624735fa2f1/jdk-8u162-linux-x64.rpm

下载完成后执行sudo rpm -ivh jdk-8u162-linux-x64.rpm命令进行安装,默认安装路径是/usr/java/jdk1.8.0_162,在/etc/profile文件中加入如下配置:

export JAVA_HOME=/usr/java/jdk1.8.0_162

export CLASSPATH=.:${JAVA_HOME}/lib

export PATH=${JAVA_HOME}/bin:${PATH}

最后使用java -version命令验证Java是否安装成功。

 

4.2.2 安装ZooKeeper

Zookeeper是安装Kafka集群必要的组件,并且Kafka大量使用ZooKeeper来保存集群的元数据信息以及consumer位移信息(老版本)。虽然在伪分布式集群中直接使用Kafka自带的ZooKeeper可能更方便,但其实单独安装一个外部的ZooKeeper服务器同样很简单。

首先从ZooKeeper下载地址中https://www-us.apache.org/dist/zookeeper/stable/下载ZooKeeper二进制代码压缩包zookeeper-3.4.10.tar.gz,然后依次执行下面的命令进行安装:

tar -zxvf zookeeper-3.4.10.tar.gz

mv zookeeper-3.4.10.tar.gz zookeeper

mkdir -p /home/user/zk

cd zookeeper

之后编辑zookeeper/conf目录下的zoo.cfg文件,写入下列内容,然后保存zoo.cfg文件即可。

tickTime=2000

dataDir=/home/user/zk

clientPort=2181

zookeeper主目录下执行如下命令启动ZooKeeper服务器:

bin/zkServer.sh start

 

4.2.3安装单节点Kafka集群
Apache Kafka官网地址http://kafka.apache/org/downloads.html下载安装包,此处以kafka_2.11-1.0.0.tgz为例。

文件下载完成之后执行解压缩操作并创建保存Kafka数据的文件目录:

tar -zxvf kafka_2.11-1.0.0.tgz

mv kafka_2.11-1.0.0 kafka

mkdir -p /home/work/kafka/data-logs

cd kafka

打开config目录下的server.properties文件,修改下列配置:

log.dirs=/home/work/kafka/data-logs

通过下列命令启动Kafka broker

bin/kafka-server-start.sh config/server.properties

如果想在后台运行Kafka broker,只需要在启动命令中加入-daemon

 

bin/kafka-server-start.sh -daemon config/server.properties

 

分享到:
评论

相关推荐

    kafka伪分布式集群安装压缩包

    需要的环境支持:jdk8,zookeeper端口为2181,然后将此压缩包的module目录解压到/opt下并直接运行cluster-kafka.sh即可。 注意:端口不能被占用 主要相关文档: ...

    kafka自定义伪分布式安装.zip

    在安装Kafka的自定义伪分布式环境时,通常需要执行以下步骤: 1. 解压下载的Kafka二进制包。 2. 修改`server.properties`文件,为每个broker配置不同的id和端口,并配置其他必要的参数。 3. 配置ZooKeeper,确保...

    windows下kafka_2.12-2.9.0.rar(含单机伪分布式配置)

    在分布式环境中,通常需要多台服务器来运行Kafka集群,但为了测试或学习目的,可以使用单机上的伪分布式设置,这使得开发者能够在本地环境中快速搭建Kafka实例,而无需复杂的网络配置。 标签中的“kafka”、...

    window 伪分布式kafka集群

    环境:window7 64位,zookeeper3.4.6 kafka版本:kafka_2.8.0-0.8.0 window 搭建开发kafka集群:我的集群目录:F:\liuzhiwen\cluster\tech\kafka_cluster 需要切换到指定的目录:命令行切换cd F:\liuzhiwen\cluster\...

    Kafka集群调优实战+分布式集群搭建,分布式集群搭建与调优实战,Kafka专家之路!课程内容全程实战,没有拖泥带水

    内容涵盖Kafka集群的核心组件讲解、集群架构设计、分布式集群搭建与伪集群配置,帮助读者快速上手Kafka环境部署。 通过实战案例,深入解析Java Consumer与Producer的高级用法,包括手动提交Offset、数据回溯、...

    hbase安装和基本介绍

    - **Hadoop**: HBase 需要在 Hadoop 分布式文件系统 (HDFS) 上运行,因此需预先安装配置好 Hadoop。 ##### 2. 下载与解压 - 下载 HBase 的最新版本或者特定版本。 - 将下载好的 HBase 包解压到合适的目录下。 ####...

    分布式集群技术.pdf

    综合案例:构建互联网高并发分布式服务器集群是分布式集群技术的实践经验,Hadoop 生态圈简介、Hadoop 伪分布式环境搭建、Hadoop 计算模型 MapReduce 例子说明等内容将为读者提供了分布式集群技术的实践经验。...

    深入理解Apache Kafka-初稿.pdf

    本章节详细介绍了如何设置运行环境,搭建单机broker,以及单机多broker的伪集群模式。同时,还涉及到搭建真正的多机多broker模式集群,这是在生产环境中推荐的模式。此外,本章还介绍了Kafka的基本使用方法以及一些...

    大数据技术开发环境搭建.docx

    伪分布式模式在一个节点上模拟分布式环境,便于测试和学习。启动Hadoop后,可以通过运行Hadoop伪分布式实例来验证配置是否成功。YARN(Yet Another Resource Negotiator)是Hadoop的资源管理系统,也需要启动以支持...

    基于javaScript开发分布式实时日志分析与入侵检测系统+源码+开发文档+运行教程+结果展示(毕业设计&课程设计&项目开发)

    分布式实时日志分析与入侵检测系统+源码+开发文档+...本文下述的使用方法均面向单机伪分布式环境,你可以根据需求进行配置上的调整以适应分布式部署。 本系统各模块由个人独立开发,期间参考了一些有价值的文献与资料

    Hadoop+Hive+Spark+Kafka+Zookeeper+Flume+Sqoop+Azkaban+Scala

    单机伪集群环境搭建 集群环境搭建 常用 Shell 命令 Java API 的使用 基于 Zookeeper 搭建 Hadoop 高可用集群 二、Hive 简介及核心概念 Linux 环境下 Hive 的安装部署 CLI 和 Beeline 命令行的基本使用 常用 DDL 操作...

    大数据学习路线 大数据技术栈思维导图 大数据常用软件安装指南

    Hadoop 单机伪集群环境搭建 Hadoop 集群环境搭建 HDFS 常用 Shell 命令 HDFS Java API 的使用 基于 Zookeeper 搭建 Hadoop 高可用集群 Hive Hive 简介及核心概念 Linux 环境下 Hive 的安装部署 Hive CLI 和 Beeline...

    大数据课程体系 (2).pdf

    Hadoop的集群结构包括独立模式、伪分布式和完全分布式,安装和配置过程需要理解HDFS的工作原理,如DataNode和NameNode的作用,以及BlockSize和副本数的配置。MapReduce作业流程包括Mapper和Reducer的编写,理解...

    hadoop集群以及插件安装

    接着,进行伪分布式或完全分布式部署,配置core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml等配置文件。最后,格式化NameNode,启动Hadoop服务,并通过jps命令检查进程是否正常运行。 【Zookeeper...

    大数据课程体系.pdf

    掌握Hadoop的集群结构,包括独立模式、伪分布式和完全分布式的安装与配置,以及HDFS的工作原理和Hadoop MapReduce作业流程。SSH的安装与配置确保了集群间的通信。 4. **分布式数据库与数据仓库**:Hbase是一个...

    大数据课程体系 (3).docx

    课程将详细讲解Hadoop的集群结构,包括独立模式、伪分布式和完全分布式的安装与配置。同时,学员会深入了解HDFS的工作原理,如DataNode和NameNode,以及如何使用HDFS的Shell和Java API。MapReduce的作业流程、编程...

    hadoop完整安装流程

    5. 修改Hadoop的配置文件,如`core-site.xml`、`hdfs-site.xml`、`mapred-site.xml`和`yarn-site.xml`,设定集群模式或伪分布式模式的相关参数。 6. 初始化HDFS,格式化NameNode。 7. 启动Hadoop服务,包括DataNode...

    大数据课程体系

    - **Hadoop伪分布式和完全分布式安装配置**:分别演示伪分布式和完全分布式环境下的Hadoop安装配置过程。 - **HDFS底层工作原理**:深入探究HDFS的数据存储机制。 - **HDFSdatanode,namenode详解**:详细讲解...

Global site tag (gtag.js) - Google Analytics