单节点的伪分布式环境是指集群由一台ZooKeeper服务器和一台Kafka broker服务器组成。
4.2.1 安装Java
从Oracle官网下载JDK,建议下载JDK8及以上版本,如:
wget --no-check-certificate --no-cookie --header "Cookie:oraclelicense=accept-securebackup-cookie;" http://download.oracle.com/otn-pub/java/jdk/8u162-b12/0da788060d494f5095bf8624735fa2f1/jdk-8u162-linux-x64.rpm
下载完成后执行sudo rpm -ivh jdk-8u162-linux-x64.rpm命令进行安装,默认安装路径是/usr/java/jdk1.8.0_162,在/etc/profile文件中加入如下配置:
export JAVA_HOME=/usr/java/jdk1.8.0_162
export CLASSPATH=.:${JAVA_HOME}/lib
export PATH=${JAVA_HOME}/bin:${PATH}
|
最后使用java -version命令验证Java是否安装成功。
4.2.2 安装ZooKeeper
Zookeeper是安装Kafka集群必要的组件,并且Kafka大量使用ZooKeeper来保存集群的元数据信息以及consumer位移信息(老版本)。虽然在伪分布式集群中直接使用Kafka自带的ZooKeeper可能更方便,但其实单独安装一个外部的ZooKeeper服务器同样很简单。
首先从ZooKeeper下载地址中https://www-us.apache.org/dist/zookeeper/stable/下载ZooKeeper二进制代码压缩包zookeeper-3.4.10.tar.gz,然后依次执行下面的命令进行安装:
tar -zxvf zookeeper-3.4.10.tar.gz
mv zookeeper-3.4.10.tar.gz zookeeper
mkdir -p /home/user/zk
cd zookeeper
|
之后编辑zookeeper/conf目录下的zoo.cfg文件,写入下列内容,然后保存zoo.cfg文件即可。
tickTime=2000
dataDir=/home/user/zk
clientPort=2181
|
在zookeeper主目录下执行如下命令启动ZooKeeper服务器:
4.2.3安装单节点Kafka集群
从Apache Kafka官网地址http://kafka.apache/org/downloads.html下载安装包,此处以kafka_2.11-1.0.0.tgz为例。
文件下载完成之后执行解压缩操作并创建保存Kafka数据的文件目录:
tar -zxvf kafka_2.11-1.0.0.tgz
mv kafka_2.11-1.0.0 kafka
mkdir -p /home/work/kafka/data-logs
cd kafka
|
打开config目录下的server.properties文件,修改下列配置:
log.dirs=/home/work/kafka/data-logs
|
通过下列命令启动Kafka broker:
bin/kafka-server-start.sh config/server.properties
|
如果想在后台运行Kafka broker,只需要在启动命令中加入-daemon:
bin/kafka-server-start.sh -daemon config/server.properties
|
分享到:
相关推荐
需要的环境支持:jdk8,zookeeper端口为2181,然后将此压缩包的module目录解压到/opt下并直接运行cluster-kafka.sh即可。 注意:端口不能被占用 主要相关文档: ...
在安装Kafka的自定义伪分布式环境时,通常需要执行以下步骤: 1. 解压下载的Kafka二进制包。 2. 修改`server.properties`文件,为每个broker配置不同的id和端口,并配置其他必要的参数。 3. 配置ZooKeeper,确保...
在分布式环境中,通常需要多台服务器来运行Kafka集群,但为了测试或学习目的,可以使用单机上的伪分布式设置,这使得开发者能够在本地环境中快速搭建Kafka实例,而无需复杂的网络配置。 标签中的“kafka”、...
环境:window7 64位,zookeeper3.4.6 kafka版本:kafka_2.8.0-0.8.0 window 搭建开发kafka集群:我的集群目录:F:\liuzhiwen\cluster\tech\kafka_cluster 需要切换到指定的目录:命令行切换cd F:\liuzhiwen\cluster\...
内容涵盖Kafka集群的核心组件讲解、集群架构设计、分布式集群搭建与伪集群配置,帮助读者快速上手Kafka环境部署。 通过实战案例,深入解析Java Consumer与Producer的高级用法,包括手动提交Offset、数据回溯、...
- **Hadoop**: HBase 需要在 Hadoop 分布式文件系统 (HDFS) 上运行,因此需预先安装配置好 Hadoop。 ##### 2. 下载与解压 - 下载 HBase 的最新版本或者特定版本。 - 将下载好的 HBase 包解压到合适的目录下。 ####...
综合案例:构建互联网高并发分布式服务器集群是分布式集群技术的实践经验,Hadoop 生态圈简介、Hadoop 伪分布式环境搭建、Hadoop 计算模型 MapReduce 例子说明等内容将为读者提供了分布式集群技术的实践经验。...
本章节详细介绍了如何设置运行环境,搭建单机broker,以及单机多broker的伪集群模式。同时,还涉及到搭建真正的多机多broker模式集群,这是在生产环境中推荐的模式。此外,本章还介绍了Kafka的基本使用方法以及一些...
伪分布式模式在一个节点上模拟分布式环境,便于测试和学习。启动Hadoop后,可以通过运行Hadoop伪分布式实例来验证配置是否成功。YARN(Yet Another Resource Negotiator)是Hadoop的资源管理系统,也需要启动以支持...
分布式实时日志分析与入侵检测系统+源码+开发文档+...本文下述的使用方法均面向单机伪分布式环境,你可以根据需求进行配置上的调整以适应分布式部署。 本系统各模块由个人独立开发,期间参考了一些有价值的文献与资料
单机伪集群环境搭建 集群环境搭建 常用 Shell 命令 Java API 的使用 基于 Zookeeper 搭建 Hadoop 高可用集群 二、Hive 简介及核心概念 Linux 环境下 Hive 的安装部署 CLI 和 Beeline 命令行的基本使用 常用 DDL 操作...
Hadoop 单机伪集群环境搭建 Hadoop 集群环境搭建 HDFS 常用 Shell 命令 HDFS Java API 的使用 基于 Zookeeper 搭建 Hadoop 高可用集群 Hive Hive 简介及核心概念 Linux 环境下 Hive 的安装部署 Hive CLI 和 Beeline...
Hadoop的集群结构包括独立模式、伪分布式和完全分布式,安装和配置过程需要理解HDFS的工作原理,如DataNode和NameNode的作用,以及BlockSize和副本数的配置。MapReduce作业流程包括Mapper和Reducer的编写,理解...
接着,进行伪分布式或完全分布式部署,配置core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml等配置文件。最后,格式化NameNode,启动Hadoop服务,并通过jps命令检查进程是否正常运行。 【Zookeeper...
掌握Hadoop的集群结构,包括独立模式、伪分布式和完全分布式的安装与配置,以及HDFS的工作原理和Hadoop MapReduce作业流程。SSH的安装与配置确保了集群间的通信。 4. **分布式数据库与数据仓库**:Hbase是一个...
课程将详细讲解Hadoop的集群结构,包括独立模式、伪分布式和完全分布式的安装与配置。同时,学员会深入了解HDFS的工作原理,如DataNode和NameNode,以及如何使用HDFS的Shell和Java API。MapReduce的作业流程、编程...
5. 修改Hadoop的配置文件,如`core-site.xml`、`hdfs-site.xml`、`mapred-site.xml`和`yarn-site.xml`,设定集群模式或伪分布式模式的相关参数。 6. 初始化HDFS,格式化NameNode。 7. 启动Hadoop服务,包括DataNode...
- **Hadoop伪分布式和完全分布式安装配置**:分别演示伪分布式和完全分布式环境下的Hadoop安装配置过程。 - **HDFS底层工作原理**:深入探究HDFS的数据存储机制。 - **HDFSdatanode,namenode详解**:详细讲解...