`
flylynne
  • 浏览: 374054 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

Zookeeper部署

 
阅读更多

转至元数据起始

 

zookeeper有单机、伪集群、集群三种部署方式,可根据自己对可靠性的需求选择合适的部署方式。

用户wls81账号安装

一、单机安装

1.1 下载

进入要下载的版本的目录,选择.tar.gz文件下载

下载链接:http://archive.apache.org/dist/zookeeper/

 

1.2 安装

使用tar解压要安装的目录即可,以3.4.13版本为例

这里以解压到/home/wls81/applications/,实际安装根据自己的想安装的目录修改(注意如果修改,那后边的命令和配置文件中的路径都要相应修改)

tar -zxvf ~/Downloads/zookeeper-3.4.13.tar.gz -C ~/applications/

 

取别名

ln -s /home/wls81/applications/zookeeper-3.4.13  /usr/local/applications/zookeeper

1.3 配置

在主目录下创建data和logs两个目录用于存储数据和日志:

创建存储数据根目录

ln -s /home/wls81/Data /Data

mkdir -p /wls/log

chmod -R 777 /wls/

创建zookeeper data和logs目录

[root@master wls81]# mkdir -p /wls/log/zk/logs/
[root@master wls81]#  chmod -R 777 /wls/log/zk/
[root@master wls81]# mkdir -p /Data/zk/data
[root@master wls81]#  chmod -R 775 /Data/zk/data

在conf目录下新建zoo.cfg文件,写入以下内容保存:

cp zoo_sample.cfg zoo.cfg

[wls81@master conf]$ cat zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/Data/zk/data
clientPort=2181
dataLogDir=/wls/log/zk/logs

在这个文件中,各个语句的含义:    

tickTime : 服务器与客户端之间交互的基本时间单元(ms)

dataDir : 保存zookeeper数据路径

dataLogDir : 保存zookeeper日志路径,当此配置不存在时默认路径与dataDir一致

clientPort : 客户端访问zookeeper时经过服务器端时的端口号

1.4 启动和停止

进入bin目录,启动、停止、重启分和查看当前节点状态(包括集群中是何角色)别执行:

./zkServer.sh start
./zkServer.sh stop
./zkServer.sh restart
./zkServer.sh status

二、伪集群模式

伪集群模式就是在同一主机启动多个zookeeper并组成集群,下边以在192.168.1.15主机上创3个zookeeper组集群为例。

将通过第一大点安装的zookeeper,复制成zookeeper1/zookeeper2/zookeeper3三份

 前置条件,创建文件夹

[wls81@master applications]$ sudo mkdir -p /wls/log/zk1/logs
[wls81@master applications]$ sudo mkdir -p /wls/log/zk2/logs
[wls81@master applications]$ sudo mkdir -p /wls/log/zk3/logs

[root@master data]# chown -R wls81:wls81 /wls/log/
[root@master data]# chmod -R 777 /wls/log/

[root@master data]# sudo mkdir -p /Data/zk1/data/
[root@master data]# sudo mkdir -p /Data/zk2/data/
[root@master data]# sudo mkdir -p /Data/zk3/data/

[root@master data]# chmod -R 777 /Data/zk1/data/
[root@master data]# chmod -R 777 /Data/zk2/data/
[root@master data]# chmod -R 777 /Data/zk3/data/

若文件权限问题,会无法启动,也无日志信息

2.1 zookeeper1配置

zookeeper1配置文件conf/zoo.cfg修改如下:

tickTime=2000
dataDir=/Data/zk1/data
dataLogDir=/wls/log/zk1/logs
clientPort=2181
initLimit=5
syncLimit=2
server.1=192.168.1.15:2888:3888
server.2=192.168.1.15:4888:5888
server.3=192.168.1.15:6888:7888

zookeeper1的data/myid配置如下:

echo '1' > data/myid

 

2.2 zookeeper2配置

zookeeper2配置文件conf/zoo.cfg修改如下:

tickTime=2000
dataDir=/Data/zk2/data
dataLogDir=/wls/log/zk2/logs
clientPort=3181
initLimit=5
syncLimit=2
server.1=192.168.1.15:2888:3888
server.2=192.168.1.15:4888:5888
server.3=192.168.1.15:6888:7888

zookeeper2的data/myid配置如下:

echo '2' > data/myid

 

2.3 zookeeper3配置

zookeeper3配置文件conf/zoo.cfg修改如下:

tickTime=2000
dataDir=/Data/zk3/data
dataLogDir=/wls/log/zk3/logs
clientPort=4181
initLimit=5
syncLimit=2
server.1=192.168.1.15:2888:3888
server.2=192.168.1.15:4888:5888
server.3=192.168.1.15:6888:7888

 zookeeper3的data/myid配置如下:

echo '3' > data/myid

最后使用1.4的命令把三个zookeeper都启动即可,启动顺序随意没要求。

[wls81@master ~]$ /usr/local/applications/zookeeper1/bin/zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /usr/local/applications/zookeeper1/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[wls81@master ~]$ jps
20755 QuorumPeerMain
20787 Jps
[wls81@master ~]$ /usr/local/applications/zookeeper2/bin/zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /usr/local/applications/zookeeper2/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[wls81@master ~]$ /usr/local/applications/zookeeper3/bin/zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /usr/local/applications/zookeeper3/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[wls81@master ~]$ jps
20755 QuorumPeerMain
20823 QuorumPeerMain
20920 Jps
20877 QuorumPeerMain
[wls81@master ~]$

ZooKeeper JMX enabled by default,产生上述两条Waring信息是因为zookeeper服务的每个实例都拥有全局的配置信息,他们在启动的时候需要随时随地的进行leader选举,此时server1就需要和其他两个zookeeper实例进行通信,但是,另外两个zookeeper实例还没有启动起来,因此将会产生上述所示的提示信息。当我们用同样的方式启动server2和server3后就不会再有这样的警告信息了。

 

验证启动状态,和谁是leader

[wls81@master ~]$ /usr/local/applications/zookeeper2/bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/applications/zookeeper2/bin/../conf/zoo.cfg
Mode: leader
[wls81@master ~]$ /usr/local/applications/zookeeper1/bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/applications/zookeeper1/bin/../conf/zoo.cfg
Mode: follower
[wls81@master ~]$ /usr/local/applications/zookeeper3/bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/applications/zookeeper3/bin/../conf/zoo.cfg
Mode: follower

三、集群模式

集群模式就是在不同主机上安装zookeeper然后组成集群的模式;下边以在192.168.1.15/16/17三台主机为例。

将第1.1到1.3步中安装好的zookeeper打包复制到129和130上,并都解压到同样的目录下。

 

3.1 conf/zoo.cfg文件修改

三个zookeeper的conf/zoo.cfg修改如下:

tickTime=2000
dataDir=/Data/zk/data
dataLogDir=/wls/log/zk/logs
clientPort=2181
initLimit=5
syncLimit=2
server.1=192.168.1.15:2888:3888
server.2=192.168.1.16:2888:3888
server.3=192.168.1.17:2888:3888

对于16和17,由于安装目录都是zookeeper-3.4.13所以dataDir和dataLogDir不需要改变,又由于在不同机器上所以clientPort也不需要改变

所以此时16和17的conf/zoo.cfg的内容与15一样即可。

 

3.2 data/myid文件修改

15data/myid修改如下:

echo '1' > data/myid

16data/myid修改如下:

echo '2' > data/myid

17data/myid修改如下:

echo '3' > data/myid

最后使用1.4的命令把三个zookeeper都启动即可,启动顺序随意没要求。

分享到:
评论

相关推荐

    zookeeper部署所需包

    在“zookeeper部署所需包”中,Zookeeper的安装和配置是核心内容。以下将详细解释Zookeeper的部署步骤和相关知识点: 1. **下载与解压**:首先,你需要从Apache官方网站下载Zookeeper的最新稳定版本,通常是一个....

    大数据技术Hadoop,zookeeper 部署

    【大数据技术Hadoop,Zookeeper部署】 大数据技术是现代信息技术领域的重要组成部分,它涉及数据的收集、存储、处理和分析。Hadoop是大数据处理的核心框架,而Zookeeper则是Hadoop生态系统中的协调服务,用于管理...

    分布式zookeeper部署.docx

    【分布式Zookeeper部署】 Zookeeper,作为一款源自雅虎、由Apache基金会托管的开源分布式协调服务,是Google Chubby的开源实现。它采用Java编写,最初是Hadoop项目的一部分,后来独立成为Apache的一个子项目。...

    zookeeper部署与基本操作.docx

    实验名称:Zookeeper 部署与基本操作 **实验目的与要求:** 1. 掌握Zookeeper分布式部署 2. 掌握使用Shell客户端操作Zookeeper **Zookeeper分布式部署:** Zookeeper是一个分布式协调服务,用于实现集群中的数据...

    zookeeper部署手册

    Zookeeper部署手册主要涵盖如何在单机环境和集群环境中安装并配置Apache ZooKeeper,这是一个分布式协调服务,广泛应用于分布式计算领域,尤其在Java开发中。Zookeeper提供了诸如命名服务、配置管理、组服务、分布式...

    08、 Zookeeper部署及典型应用 作业

    ### Zookeeper 数据模型与 znode #### Zookeeper 数据模型简介 Zookeeper 提供了一种层次化的命名空间,类似于文件系统,但与传统的文件系统不同,它具有以下特点: 1. **节点 (Znode):** Zookeeper 的基本数据...

    Hadoop、HBase、Zookeeper安装部署

    **Zookeeper的安装部署**: 1. **下载Zookeeper**:获取最新稳定版。 2. **配置Zookeeper**:编辑`zoo.cfg`,设置数据目录和集群配置(如果是多节点部署)。 3. **启动Zookeeper**:启动单个或多个服务器,形成集群...

    zookeeper安装部署

    **Zookeeper安装部署详解** Apache ZooKeeper 是一个分布式的,开放源码的分布式应用程序协调服务,它是集群的管理者,监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终将简单易用的接口和...

    zookeeper的部署.pdf

    ### Zookeeper部署详解 #### 一、Zookeeper简介与应用场景 Apache ZooKeeper 是一个高性能的分布式数据管理和协调服务。它为分布式应用提供了一套简单易用的API接口,用于实现诸如配置维护、域名服务、分布式同步...

    Hadoop+Zookeeper+Hbase+Hive部署.doc

    大数据平台搭建之 Hadoop+Zookeeper+Hbase+Hive 部署指南 大数据平台搭建是指通过集成多种大数据处理技术,构建一个功能强大、可靠、高效的数据处理平台。本文档主要介绍如何部署 Hadoop、Zookeeper、Hbase、Hive ...

    ZooKeeper3.4.9 windos和linux

    二、Windows上的ZooKeeper部署 2.1 安装:下载解压Zookeeper-3.4.9压缩包,将解压后的目录添加到系统环境变量PATH中。 2.2 配置:修改conf/zoo.cfg,配置数据存储目录dataDir,以及服务器ID server.id。 2.3 启动...

    zookeeper3.5.5安装部署 3个节点(含安装包).zip

    在提供的`Zookeeper部署日志-2019年6月18日.xlsx`文件中,你可以找到过去部署时的日志记录,这对于排查问题和理解Zookeeper的运行状态非常有帮助。监控Zookeeper的服务状态,确保其健康运行,是运维过程中不可或缺的...

    kafka、Zk 集群部署技术手册v0.1.docx

    kafka 和 Zookeeper 集群部署技术手册 本文档旨在指导读者一步步搭建 Kafka 和 Zookeeper 集群的部署,涵盖了集群搭建、配置、启动等方面的详细信息。通过阅读本文档,读者可以快速搭建起一个功能齐全的 Kafka 和 ...

    spring集成dubbo分布式系统部署流程包含zookeeper redis nginx.docx

    Spring 集成 Dubbo 分布式系统部署流程包含 Zookeeper、Redis、Nginx Spring 集成 Dubbo 分布式系统部署流程是一种常见的微服务架构部署方法,该方法通过结合 Zookeeper、Redis、Nginx 等技术,可以实现高可用、高...

    zookeeper-3.4.12版本

    六、Zookeeper部署与配置 1. **安装**:解压`zookeeper-3.4.12`压缩包到服务器,修改`conf/zoo.cfg`配置文件。 2. **配置文件**:`zoo.cfg`中设置数据目录(dataDir)、服务器列表(server.1, server.2, ...)等参数...

    kubernetes 部署单机版Kafka、zookeeper

    **Kubernetes中的Kafka和ZooKeeper部署** 在Kubernetes中部署Kafka和ZooKeeper,我们需要创建对应的Deployment、Service和ConfigMap资源定义。 1. **创建ZooKeeper Deployment**:首先,我们需要一个ZooKeeper的...

    ssm+maven+dubbo+zookeeper分布式架构

    Maven通过使用一个统一的项目对象模型(POM)来定义项目依赖关系,自动化构建过程,包括编译、测试、打包、部署等。在SSM框架中,Maven可以方便地管理各种库的版本,确保所有开发者在相同的环境中进行开发。 **3. ...

    zookeeper-3.4.9.tar.zip

    **Zookeeper 3.4.9 在 Kafka 2.1 集群部署中的关键知识点** Zookeeper 是一个分布式协调服务,广泛应用于大数据生态系统,包括 Kafka 消息系统的集群管理。在 Kafka 2.1 版本中,Zookeeper 起到了至关重要的角色,...

Global site tag (gtag.js) - Google Analytics