`
it_star
  • 浏览: 7865 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

hadoop学习之zookeeper集群搭建(3.4.8)

阅读更多
版本:zookeeper 3.4.8
下载地址:http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.8/zookeeper-3.4.8.tar.gz
集群规模:3台
环境:Debian 4.7.2-5

一、安装过程:
1、下载zookeeper安装文件到本机
(1)创建下载文件夹:
mkdir -p ~/download/zookeeper
(2)进入下载文件夹,并解压:
cd ~/download/zookeeper
tar zxvf zookeeper-3.4.8.tar.gz
(3)建立软链,方便配置
ln -s ~/download/zookeeper/zookeeper-3.4.8/ ~/zookeeper

2、配置zookeeper配置文件
说明:zookeeper中默认带有一个配置文件示例文件,名为zoo_sample.cfg,可以将zoo_sample.cfg文件mv成zoo.cfg,也可以cp复制一份为zoo.cfg,建议复制的做法。
(1)创建配置文件
cd ~/zookeeper/conf/
cp zoo_sample.cfg zoo.cfg

(2)编辑配置文件
说明:cp后的配置文件中有各项参数的说明,感兴趣的同学可以仔细看看每一项参数代表的含义,在这里觉得有点乱,所以删除了这些繁杂的注释
vi zoo.cfg
配置内容如下:

tickTime=2000
initLimit=10
syncLimit=5
dataDir=~/zookeeper/data
dataLogDir=~/zookeeper/logs

clientPort=2181

server.1=zk-server1:2888:3888

server.2=zk-server2:2888:3888

server.3=zk-server3:2888:3888

(3)编辑hosts文件
vi /etc/hosts
配置:
xxx.xxx.xxx.xx1 zk-server1
xxx.xxx.xxx.xx2 zk-server2
xxx.xxx.xxx.xx3 zk-server2
(xxx.xxx.xxx.xx*为集群各机器ip)

3、添加并修改myid文件
说明:myid默认在zookeeper的data文件夹下
mkdir -p ~/zookeeper/data
echo 1 > myid
(以上的数字要对应zoo.cfg中的server序号)

-----------------以上为安装配置过程-------------------

二、zookeeper的启动:
(集群所有机器依次启动,都是以下过程的重复)
cd ~/zookeeper/bin
./zkServer.sh start
执行jps查看启动情况





启动成功~

三、查看zookeeper运行状态(查看谁是leader,谁是follower):
./zkServer.sh status





额外说明:zookeeper启动后的Mode(身份)并不是按照谁最先启动,谁是leader,这个是集群机器自己选举出来的。例如我部署时,就是server2位leader。

分享到:
评论

相关推荐

    hadoop-2.7.3+zookeeper-3.4.8+hadoop-2.7.3分布式环境搭建整理(王三旗亲试成功安装)

    本文档将指导您如何搭建 Hadoop 分布式环境,包括安装和配置 Hadoop、ZooKeeper 和 HBase。同时,本文档还将介绍相关的网络配置和 Linux 系统安装。 一、准备环境 1.1 安装 Linux 系统 为搭建 Hadoop 分布式环境...

    zookeeper for windows 3.4.8

    《Zookeeper for Windows 3.4.8:在Windows环境下搭建与使用指南》 Apache ZooKeeper是一款分布式的,开放源码的分布式应用程序协调服务,它是集群的管理者,监视着集群中各个节点的状态根据节点提交的反馈进行下...

    linux中zookeeper安装包zookeeper-3.4.8.tar

    在IT领域,Zookeeper是一个非常重要的分布式协调服务,由Apache Hadoop项目开发并维护。它在大规模分布式系统中被广泛用于数据管理、配置共享、命名服务、群组服务以及分布式同步。Zookeeper-3.4.8是其一个稳定版本...

    ( hadoop-2.7.3+zookeeper-3.4.8+hadoop-2.7.3分布式环境搭建整理

    zookeeper-3.4.8源码包

    《深入剖析Zookeeper 3.4.8源码》 Zookeeper作为一个分布式协调服务,是Apache Hadoop项目的重要组成部分,广泛应用于分布式环境中的数据一致性管理。本次我们将聚焦于Zookeeper的3.4.8版本,通过对源码的深度解读...

    zookeeper-3.4.8.zip

    2. Hadoop:Hadoop的HDFS和YARN组件利用Zookeeper进行元数据管理和集群状态监控。 3. Kafka:Kafka使用Zookeeper管理主题分区分配,协调生产者和消费者的连接。 4. 分布式一致性算法:如Paxos、Raft等一致性算法,...

    zookeeper-3.4.8

    Zookeeper是Apache Hadoop项目下的一个子项目,它是一个分布式的,开放源码的分布式应用程序协调服务,是集群的管理者,监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终将简单易用的接口和...

    zookeeper jar包 v3.4.8

    资源列表:zookeeper-3.4.8.jarzkclient-0.9.jarZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的...

    zookeeper数据迁移从单例到集群linux命令过程

    ### Zookeeper 数据迁移从单例到集群 Linux 命令过程详解 #### 一、概述 Zookeeper 是一个分布式协调服务框架,它为分布式应用程序提供了一套完整的协调服务功能,如配置维护、命名服务、集群管理等。在实际生产...

    zookeeper伪集群安装流程

    本篇将详细介绍如何在CentOS 6.2 64位操作系统上安装并配置Zookeeper伪集群,包括三个集群节点的搭建过程。 #### 二、准备工作 在开始安装之前,需要确保已经具备以下条件: 1. **操作系统**: CentOS 6.2 64位 2. ...

    hadoop-Apache2.7.3+Spark2.0集群搭建

    - 列出了在搭建集群过程中可能遇到的错误,例如Mysql、Hbase、HDFS连接集群、NameNode等相关的错误及解决办法。 综上所述,搭建一个包含Hadoop、Spark、Zookeeper、Hive、Hbase、Kafka、Flume的集群,涉及了系统的...

    zookeeper-3.4.6-3.4.8

    zookeeper-3.4.6.tar/zookeeper-3.4.8.tar ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,...

    Hadoop HA集群配置.docx

    在构建Hadoop高可用(HA)集群时,ZooKeeper起着至关重要的作用。Hadoop HA主要关注两个关键组件的高可用性:HDFS(Hadoop分布式文件系统)的HA和YARN...正确配置和管理ZooKeeper集群是实现Hadoop HA的关键步骤之一。

Global site tag (gtag.js) - Google Analytics