`
weigang.gao
  • 浏览: 490823 次
  • 性别: Icon_minigender_1
  • 来自: 上海
文章分类
社区版块
存档分类
最新评论

Zookeeper安装和配置

 
阅读更多

ZooKeeper是一个分布式开源框架,提供了协调分布式应用的基本服务,它向外部应用暴露一组通用服务——分布式同步(Distributed Synchronization)、命名服务(Naming Service)、集群维护(Group Maintenance)等,简化分布式应用协调及其管理的难度,提供高性能的分布式服务。ZooKeeper本身可以以Standalone模式安装运行,不过它的长处在于通过分布式ZooKeeper集群(一个Leader,多个Follower),基于一定的策略来保证ZooKeeper集群的稳定性和可用性,从而实现分布式应用的可靠性。

有关ZooKeeper的介绍,网上很多,也可以参考文章后面,我整理的一些相关链接。

下面,我们简单说明一下ZooKeeper的配置

ZooKeeper Standalone模式

从Apache网站上(zookeeper.apache.org)下载ZooKeeper软件包,我选择了3.3.6版本的(zookeeper-3.3.6.tar.gz),在一台Linux机器上安装非常容易,只需要解压缩后,简单配置一下即可以启动ZooKeeper服务器进程。

在zookeeper-3.3.6/conf目录下面使用cp zoo_sample.cfg zoo.cfg命令将zoo_sample.cfg复制并更名为zoo.cfg,配置文件内容如下所示:

上面各个配置参数的含义也非常简单,引用如下所示:

tickTime —— 心跳基本时间单位,毫秒级,ZK基本上所有的时间都是这个时间的整数倍。
dataDir —— 内存数据库快照存放地址,如果没有指定事务日志存放地址(dataLogDir),默认也是存放在这个路径下,建议两个地址分开存放到不同的设备上。 

 

下面启动ZooKeeper服务器进程:

通过jps命令可以查看ZooKeeper服务器进程,名称为QuorumPeerMain。

在客户端连接ZooKeeper服务器,执行如下命令:



ZooKeeper Distributed模式

ZooKeeper分布式模式安装(ZooKeeper集群)也比较容易,这里说明一下基本要点。

首先要明确的是,ZooKeeper集群是一个独立的分布式协调服务集群,“独立”的含义就是说,如果想使用ZooKeeper实现分布式应用的协调与管理,简化协调与管理,任何分布式应用都可以使用,这就要归功于Zookeeper的数据模型(Data Model)和层次命名空间(Hierarchical Namespace)结构,详细可以参考http://zookeeper.apache.org/doc/trunk/zookeeperOver.html。在设计你的分布式应用协调服务时,首要的就是考虑如何组织层次命名空间。

下面说明分布式模式的安装配置,过程如下所示:

第一步:主机名称到IP地址映射配置

ZooKeeper集群中具有两个关键的角色:Leader和Follower。集群中所有的结点作为一个整体对分布式应用提供服务,集群中每个结点之间都互相连接,所以,在配置的ZooKeeper集群的时候,每一个结点的host到IP地址的映射都要配置上集群中其它结点的映射信息。

例如,我的ZooKeeper集群中每个结点的配置,以CentOS1为例,/etc/hosts内容如下所示:


 

ZooKeeper采用一种称为Leader election的选举算法。在整个集群运行过程中,只有一个Leader,其他的都是Follower,如果ZooKeeper集群在运行过程中Leader出了问题,系统会采用该算法重新选出一个Leader。因此,各个结点之间要能够保证互相连接,必须配置上述映射。

ZooKeeper集群启动的时候,会首先选出一个Leader,在Leader election过程中,某一个满足选举算的结点就能成为Leader。整个集群的架构可以参考http://zookeeper.apache.org/doc/trunk/zookeeperOver.html#sc_designGoals。

第二步:修改ZooKeeper配置文件

在其中一台机器(CentOS1)上,解压缩zookeeper-3.3.6.tar.gz,修改配置文件conf/zoo.cfg,内容如下所示:

上述配置内容说明,可以参考http://zookeeper.apache.org/doc/trunk/zookeeperStarted.html#sc_RunningReplicatedZooKeeper。

第三步:远程复制分发安装文件

上面已经在一台机器CentOS1上配置完成ZooKeeper,现在可以将该配置好的安装文件远程拷贝到集群中的各个结点对应的目录下:

cd /application/tools/zookeeper-3.3.6  
scp -r /application/tools/zookeeper-3.3.6 root@CentOS2:/application/tools  
scp -r /application/tools/zookeeper-3.3.6 root@CentOS3:/application/tools 

第四步:设置myid

在我们配置的dataDir指定的目录下面,创建一个myid文件,里面内容为一个数字,用来标识当前主机,conf/zoo.cfg文件中配置的server.X中X为什么数字,则myid文件中就输入这个数字

第五步:启动ZooKeeper集群

在ZooKeeper集群的每个结点上,执行启动ZooKeeper的命令zkServer.sh start,启动之后查看启动日志文件zookeeper.out, 如果没报错,说明启动正常

 

可能出现的异常:

处理:关闭CentOS防火墙

 

 

参考:http://blog.csdn.net/shirdrn/article/details/7183503 

  • 大小: 7.4 KB
  • 大小: 8.8 KB
  • 大小: 53.8 KB
  • 大小: 3.3 KB
  • 大小: 1.1 KB
  • 大小: 54.7 KB
分享到:
评论

相关推荐

    Zookeeper 安装和配置

    在 Dubbo 中配置 Zookeeper,需要在服务提供者和服务消费者的应用配置文件中指定注册中心类型(`zookeeper`)和地址(`127.0.0.1:2181`)。这样,Dubbo 就能在启动时自动将服务注册到 Zookeeper,并监听其他服务的...

    Zookeeper_安装和配置

    Zookeeper 是一个分布式的,开放源码的分布式应用程序协调服务,它是集群的管理者,监视着集群中各个节点的状态根据...理解和熟练掌握 Zookeeper 的安装、配置和使用,对于构建和维护大规模分布式系统具有重要意义。

    大数据技术基础实验报告-Zookeeper的安装配置和应用实践.doc

    在实际工作中,掌握Zookeeper的安装配置和基本操作对于理解和管理分布式系统至关重要。通过实验,可以深入理解Zookeeper如何在集群环境中进行数据协调和管理,这对于大数据项目中的任务调度、服务发现和配置共享等...

    ZooKeeper集群安装配置

    ZooKeeper 集群安装配置 ZooKeeper 是一个分布式开源框架,提供了协调分布式应用的基本服务,它向外部应用...通过正确的安装和配置,ZooKeeper 集群可以提供高性能的分布式服务,简化分布式应用协调及其管理的难度。

    第7章 ZooKeeper组件安装配置.pdf

    - 下载和安装ZooKeeper的流程 - 配置ZooKeeper以适应不同的应用场景 - 启动并管理ZooKeeper服务 2. 实验要求 了解ZooKeeper的基础配置选项,并熟悉启动ZooKeeper的过程,是这个实验的核心要求。这不仅要求学习者...

    zookeeper安装与配置

    zookeeper安装与配置

    zookeeper安装与配置.txt

    zookeeper安装与配置

    zookeeper安装与配置.md

    zookeeper安装与配置

    Zookeeper 和kafka的安装和配置1

    安装和配置kafka:1 vim config/ server.properties2 数字改成zookeeper对应的myid数字3 是本机ip,端口不要改4

    centos8安装zookeeper3.8.0详细步骤

    * CentOS 8 安装 ZooKeeper 3.8.0 需要下载安装包、上传安装包并解压、编辑配置文件、配置环境变量、启动 ZooKeeper 服务端和客户端、查看状态等步骤。 * ZooKeeper 集群需要配置集群、创建 `myid` 文件、修改服务器...

    HadoopHA集群部署、ZooKeeper安装与配置教学课件.pptx

    任务二 编辑Zookeeper配置文件;任务三 创建zkdata和zkdatalog文件夹;任务四 设置Zookeeper节点对应的ID(myid);任务五 配置Zookeeper环境变量;任务六 分发Zookeeper到其他Zookeeper节点;任务七 修改其他Zookeeper...

    Windows环境安装zookeeper

    ",说明Zookeeper安装和配置成功。 八、关闭Zookeeper 要停止Zookeeper服务,只需在命令行中执行: ``` zkServer.cmd stop ``` 至此,你已经在Windows环境中成功安装并启动了Zookeeper。为了实现高可用性,可以...

    zookeeper安装步骤和文件.zip

    ZooKeeper是一个分布式协调服务,由...总之,ZooKeeper作为一个关键的分布式协调服务,它的正确安装和配置对于分布式系统的稳定运行至关重要。通过理解上述步骤和深入学习相关文档,你可以有效地管理和利用ZooKeeper。

    Zookeeper的安装和配置

    Zookeeper 的这些基本配置和操作是分布式系统开发和运维人员必备的知识点,理解并熟练掌握它们对于搭建和管理分布式应用至关重要。在实际使用过程中,还需要根据具体环境和需求调整相关配置,以保证 ZooKeeper 服务...

    zookeeper安装及开发笔记

    ZooKeeper是一个重要的分布式应用程序协调服务,源自Apache项目,它为分布式系统提供了高可用和一致性的解决方案。...因此,理解和掌握ZooKeeper的安装和配置对于从事分布式系统开发的工程师来说至关重要。

    ZooKeeper安装配置

    下面是 ZooKeeper 安装配置的详细步骤和知识点: 下载和解压 ZooKeeper 安装包 在安装 ZooKeeper 之前,需要先下载 ZooKeeper 安装包,然后将其解压到指定目录。例如,可以将其解压到 `/home/hadoop` 目录下。 ...

    Zookeeper安装教程.docx

    通过以上步骤,我们可以了解到如何在Linux环境下安装和配置Zookeeper,以及如何启动和检查服务状态的基本流程。对于初学者来说,这是一个很好的起点,后续可以根据实际需求进一步探索Zookeeper的高级功能。

Global site tag (gtag.js) - Google Analytics