`
TableMiao
  • 浏览: 75027 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

Zookeeper(一)伪分布集群搭建

阅读更多

Zookeeper(一)伪分布集群搭建

   zookeeper学习中……

 

1.下载压缩包  http://mirror.bit.edu.cn/apache/zookeeper/

 

2.解压安装,老套路过程不表

 

3.伪分布式集群搭建 3台为例

   3.1 满足单数机器部署(半数以上存活,集群可用)

    2台机器:半数以上 > 1  不允许有机器挂

    3台机器:半数以上 > 1.5 取整为2 只允许1台挂

    4台机器:半数以上 > 2 取整为3 只允许一台挂

    5台机器:半数以上 > 2.5 取整为3 允许2台挂

    6台机器:半数以上 > 3 取整为4 允许2台挂

  34台 效果都是只允许一台挂,

  56台 效果都是只允许2台挂 ,故单数即可

 

4.Zoo.cfg 配置文件修改

 cp 过来 修改不同的端口及log路径myid路径即可

 

#conf1
#zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/zookeeper/data/zk1
clientPort=2181
dataLogDir=/zookeeper/data/zk1/logs
server.1=192.168.117.128:2287:3387
server.2=192.168.117.128:2288:3388
server.3=192.168.117.128:2289:3389


#conf2
#zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/zookeeper/data/zk2
clientPort=2182
dataLogDir=/zookeeper/data/zk2/logs
server.1=192.168.117.128:2287:3387
server.2=192.168.117.128:2288:3388
server.3=192.168.117.128:2289:3389

#conf3
#zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/zookeeper/data/zk3
clientPort=2183
dataLogDir=/zookeeper/data/zk3/logs
server.1=192.168.117.128:2287:3387
server.2=192.168.117.128:2288:3388
server.3=192.168.117.128:2289:3389

 

  参数解析如下

    tickTime

      这个时间是作为zookeeper服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是说每个tickTime时间就会发送一个心跳。

    initLimit

      这个配置项是用来配置zookeeper接受客户端(这里所说的客户端不是用户连接zookeeper服务器的客户端,而是zookeeper服务器集群中连接到leaderfollower 服务器)初始化连接时最长能忍受多少个心跳时间间隔数。

    当已经超过10个心跳的时间(也就是tickTime)长度后 zookeeper 服务器还没有收到客户端的返回信息,那么表明这个客户端连接失败。总的时间长度就是 10*2000=20秒。

    syncLimit

      这个配置项标识leaderfollower之间发送消息,请求和应答时间长度,最长不能超过多少个tickTime的时间长度,总的时间长度就是5*2000=10秒。

    dataDir

      顾名思义就是zookeeper保存数据的目录,默认情况下zookeeper将写数据的日志文件也保存在这个目录里;

              clientPort

      这个端口就是客户端连接Zookeeper服务器的端口,Zookeeper会监听这个端口接受客户端的访问请求;

              server.A=B:C:D

      A是一个数字,表示这个是第几号服务器,B是这个服务器的IP地址,C第一个端口用来集群成员的信息交换,表示这个服务器与集群中的leader服务器交换信息的端口,D是在leader挂掉时专门用来进行选举leader所用的端口。

 

5.指定配置文件启动

      到解压的bin目录下 ./zkServer.sh start + zoo.cfg的路径

  Eg:   ./zkServer.sh start /zookeeper/zks/conf2/zoo.cfg

 

6.查看状态

   到解压的bin目录下 ./zkServer.sh status + zoo.cfg的路径

  Eg:   ./zkServer.sh status /zookeeper/zks/conf2/zoo.cfg

 

7.报错信息

   如果报错检查zoo.cfg 文件 以及 myid(myid的值是zoo.cfg文件里定义的server.AA的值,Zookeeper 启动时会读取这个文件,拿到里面的数据与 zoo.cfg 里面的配置信息比较从而判断到底是那个server,只是一个标识作用)

   myid 会写在zoo.cfg配置文件的dataDir 下面,里面的值和 server.A=B:C:D 的A 对应即可  echo命令写进去即可

  Eg:  echo 3  >  ./myid     (echo + 写的A的值 +  >  + 路径)

 

8.成功结果截图



 

参考:

 https://www.cnblogs.com/linuxprobe/p/5851699.html

 https://www.w3cschool.cn/zookeeper/zookeeper_leader_election.html

 

 

  • 大小: 35 KB
分享到:
评论

相关推荐

    zookeeper伪分布式搭建(1)1

    在本文中,我们将详细介绍如何在单台机器上搭建 Zookeeper 的伪分布式集群。伪分布式集群意味着在同一台机器上运行多个 Zookeeper 实例,它们各自独立并模拟分布式环境的行为。 首先,确保你的服务器已经安装了 JDK...

    hadoop+hbase+zookeeper集群配置流程及文件

    在大数据处理领域,Hadoop、HBase和Zookeeper是三个至关重要的组件,它们共同构建了一个高效、可扩展的数据处理和存储环境。以下是关于这些技术及其集群配置的详细知识。 首先,Hadoop是一个开源的分布式计算框架,...

    面试官:Zookeeper集群怎么搭建?.doc

    * 伪分布模式:在同一台机器上运行多个Zookeeper实例,模拟分布式环境,适用于开发和测试环境。 * 分布式模式:在多台机器上运行Zookeeper实例,适用于生产环境。 二、Zookeeper集群角色 Zookeeper集群中有三种...

    Hadoop2.2.0集群搭建手册

    Hadoop2.2.0版本 - 虚拟机VMWare - Linux(ubuntu) ,多节点伪分布环境搭建详细操作手册,可以直接用于完全分布。每一步都有自己详细操作记录和相关说明,几夜风雨的辛劳搭建和测试。 此操作手册搭建的集群详细说明: ...

    hadoop hbase hive 伪分布安装

    标题和描述均提到了“hadoop hbase hive 伪分布安装”,这涉及到在单台机器上模拟分布式环境来安装和配置Hadoop、HBase和Hive。以下将详细阐述这一过程中的关键步骤和相关知识点。 ### 1. Hadoop安装与配置 - **...

    服务器集群搭建.docx

    总之,服务器集群搭建是提升系统性能和稳定性的关键技术,而Zookeeper作为分布式协调服务,是许多大型分布式应用不可或缺的组件。正确理解和实施集群及Zookeeper集群的搭建,对于构建高效、可靠的分布式系统至关重要...

    Docker(Hadoop-3.3.1+HBase-2.4.16+Zookeeper-3.7.1+Hive-3.1.3)配置文件

    Docker(Hadoop_3.3.1+HBase_2.4.16+Zookeeper_3.7.1+Hive_3.1.3 )配置文件 搭建集群环境

    hadoop2.5.2的本地模式、伪分布式集群、分布式集群和HDFS系统的高可用的环境搭建.docx

    在搭建Hadoop 2.5.2环境的过程中,我们需要经历几个关键步骤,包括本地模式、伪分布式集群和分布式集群的设置,以及HDFS系统的高可用性配置。首先,确保你的系统已经安装了JDK 1.8,因为Hive等组件需要1.7以上的版本...

    VM+CentOS+hadoop2.7搭建hadoop完全分布式集群

    ### 基于VM+CentOS+hadoop2.7搭建Hadoop完全分布式集群的知识点解析 #### 一、概述 本文旨在详细介绍如何使用...通过以上步骤,您可以成功地搭建一个完整的Hadoop 2.7分布式集群,并为进一步的数据分析工作奠定基础。

    大数据学习环境搭建系列(一)大数据集群平台介绍.docx

    在这个案例中,我们将搭建一个包含四个虚拟机的集群:一个用于伪分布式的`single_node`,另外三个`master`、`slave1`和`slave2`用于分布式集群。每个虚拟机都有特定的IP地址和主机名,并安装了必要的软件组件,如...

    Hbase集群部署.pdf

    本知识点将围绕HBase集群部署进行详细阐述,从HBase的基础概念到集群搭建的全过程,以及在部署过程中需要注意的一些关键点。 首先,了解HBase的系统环境是至关重要的。部署HBase集群的前提条件包括:至少需要三台...

    大数据学习环境搭建系列(一)大数据集群平台介绍.pdf

    构建的大数据集群包含两种类型:伪分布集群(single_node)和分布式集群(master、slave1、slave2)。每个虚拟机都有特定的角色,如master节点运行NameNode、ResourceManager等组件,slave节点则作为DataNode和...

    5堂Hadoop必修课,不会这些勿称高手

    1. 搭建Hadoop伪分布集群和高可用(HA)分布式集群,关键步骤包括虚拟机环境配置、Linux环境搭建、Hadoop环境配置等。 2. 在生产环境中搭建CDH5高可用集群,关键配置包括HDFS核心配置文件、文件系统初始化、YARN的HA...

    Linux环境Hadoop2.6+Hbase1.2集群安装部署

    以上步骤涵盖了从环境准备、软件安装到集群配置的全部过程,遵循这些指导可以成功搭建一个完整的Hadoop+HBase集群。在实际操作过程中,可能还会遇到各种问题,比如网络配置、安全策略等,需要根据具体情况灵活调整。...

    solr搭建教程文档

    本教程将指导你在Win7环境下搭建一个单机版的伪分布式SolrCloud环境,利用Tomcat作为应用服务器,以及Zookeeper进行集群协调。 **一、软件工具箱** 1. **Tomcat-7.0.62**:作为Solr的容器,负责部署和运行Solr应用...

    Hadoop伪分布式安装

    2. **伪分布模式**:在单台服务器上模拟完全分布式环境,所有Hadoop守护进程(如NameNode、DataNode、ResourceManager、NodeManager和SecondaryNameNode)在同一台机器上运行。尽管不是真正的分布式,但程序执行逻辑...

    传智7天Hadoop培训视频

    02) 搭建伪分布实验环境;03) 介绍HDFS体系结构及shell、java操作方式;04) 介绍MapReduce体系结构及各种算法;05) 介绍MapReduce体系结构及各种算法;06) 介绍Hadoop集群;07) 介绍zookeeper操作;08) 介绍HBase体系结构...

    Hadoop简介及Apache Hadoop三种搭建方式

    在Apache Hadoop的环境中,Zookeeper 是一个重要的协调服务,它负责管理配置信息、命名服务、集群状态等,保证分布式系统的一致性和可靠性。 现在我们来看看Hadoop的三种搭建方式: 1. **本地模式(Local Mode)**...

Global site tag (gtag.js) - Google Analytics