Zookeeper(一)伪分布集群搭建
zookeeper学习中……
1.下载压缩包 http://mirror.bit.edu.cn/apache/zookeeper/
2.解压安装,老套路过程不表
3.伪分布式集群搭建 3台为例
3.1 满足单数机器部署(半数以上存活,集群可用)
2台机器:半数以上 > 1 不允许有机器挂
3台机器:半数以上 > 1.5 取整为2 只允许1台挂
4台机器:半数以上 > 2 取整为3 只允许一台挂
5台机器:半数以上 > 2.5 取整为3 允许2台挂
6台机器:半数以上 > 3 取整为4 允许2台挂
3台4台 效果都是只允许一台挂,
5台6台 效果都是只允许2台挂 ,故单数即可
4.Zoo.cfg 配置文件修改
cp 过来 修改不同的端口及log路径myid路径即可
#conf1 #zoo.cfg tickTime=2000 initLimit=10 syncLimit=5 dataDir=/zookeeper/data/zk1 clientPort=2181 dataLogDir=/zookeeper/data/zk1/logs server.1=192.168.117.128:2287:3387 server.2=192.168.117.128:2288:3388 server.3=192.168.117.128:2289:3389 #conf2 #zoo.cfg tickTime=2000 initLimit=10 syncLimit=5 dataDir=/zookeeper/data/zk2 clientPort=2182 dataLogDir=/zookeeper/data/zk2/logs server.1=192.168.117.128:2287:3387 server.2=192.168.117.128:2288:3388 server.3=192.168.117.128:2289:3389 #conf3 #zoo.cfg tickTime=2000 initLimit=10 syncLimit=5 dataDir=/zookeeper/data/zk3 clientPort=2183 dataLogDir=/zookeeper/data/zk3/logs server.1=192.168.117.128:2287:3387 server.2=192.168.117.128:2288:3388 server.3=192.168.117.128:2289:3389
参数解析如下
tickTime
这个时间是作为zookeeper服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是说每个tickTime时间就会发送一个心跳。
initLimit
这个配置项是用来配置zookeeper接受客户端(这里所说的客户端不是用户连接zookeeper服务器的客户端,而是zookeeper服务器集群中连接到leader的follower 服务器)初始化连接时最长能忍受多少个心跳时间间隔数。
当已经超过10个心跳的时间(也就是tickTime)长度后 zookeeper 服务器还没有收到客户端的返回信息,那么表明这个客户端连接失败。总的时间长度就是 10*2000=20秒。
syncLimit
这个配置项标识leader与follower之间发送消息,请求和应答时间长度,最长不能超过多少个tickTime的时间长度,总的时间长度就是5*2000=10秒。
dataDir
顾名思义就是zookeeper保存数据的目录,默认情况下zookeeper将写数据的日志文件也保存在这个目录里;
clientPort
这个端口就是客户端连接Zookeeper服务器的端口,Zookeeper会监听这个端口接受客户端的访问请求;
server.A=B:C:D
A是一个数字,表示这个是第几号服务器,B是这个服务器的IP地址,C第一个端口用来集群成员的信息交换,表示这个服务器与集群中的leader服务器交换信息的端口,D是在leader挂掉时专门用来进行选举leader所用的端口。
5.指定配置文件启动
到解压的bin目录下 ./zkServer.sh start + zoo.cfg的路径
Eg: ./zkServer.sh start /zookeeper/zks/conf2/zoo.cfg
6.查看状态
到解压的bin目录下 ./zkServer.sh status + zoo.cfg的路径
Eg: ./zkServer.sh status /zookeeper/zks/conf2/zoo.cfg
7.报错信息
如果报错检查zoo.cfg 文件 以及 myid(myid的值是zoo.cfg文件里定义的server.A项A的值,Zookeeper 启动时会读取这个文件,拿到里面的数据与 zoo.cfg 里面的配置信息比较从而判断到底是那个server,只是一个标识作用),
myid 会写在zoo.cfg配置文件的dataDir 下面,里面的值和 server.A=B:C:D 的A 对应即可 echo命令写进去即可
Eg: echo 3 > ./myid (echo + 写的A的值 + > + 路径)
8.成功结果截图
参考:
https://www.cnblogs.com/linuxprobe/p/5851699.html
https://www.w3cschool.cn/zookeeper/zookeeper_leader_election.html
相关推荐
在本文中,我们将详细介绍如何在单台机器上搭建 Zookeeper 的伪分布式集群。伪分布式集群意味着在同一台机器上运行多个 Zookeeper 实例,它们各自独立并模拟分布式环境的行为。 首先,确保你的服务器已经安装了 JDK...
在大数据处理领域,Hadoop、HBase和Zookeeper是三个至关重要的组件,它们共同构建了一个高效、可扩展的数据处理和存储环境。以下是关于这些技术及其集群配置的详细知识。 首先,Hadoop是一个开源的分布式计算框架,...
* 伪分布模式:在同一台机器上运行多个Zookeeper实例,模拟分布式环境,适用于开发和测试环境。 * 分布式模式:在多台机器上运行Zookeeper实例,适用于生产环境。 二、Zookeeper集群角色 Zookeeper集群中有三种...
Hadoop2.2.0版本 - 虚拟机VMWare - Linux(ubuntu) ,多节点伪分布环境搭建详细操作手册,可以直接用于完全分布。每一步都有自己详细操作记录和相关说明,几夜风雨的辛劳搭建和测试。 此操作手册搭建的集群详细说明: ...
标题和描述均提到了“hadoop hbase hive 伪分布安装”,这涉及到在单台机器上模拟分布式环境来安装和配置Hadoop、HBase和Hive。以下将详细阐述这一过程中的关键步骤和相关知识点。 ### 1. Hadoop安装与配置 - **...
总之,服务器集群搭建是提升系统性能和稳定性的关键技术,而Zookeeper作为分布式协调服务,是许多大型分布式应用不可或缺的组件。正确理解和实施集群及Zookeeper集群的搭建,对于构建高效、可靠的分布式系统至关重要...
Docker(Hadoop_3.3.1+HBase_2.4.16+Zookeeper_3.7.1+Hive_3.1.3 )配置文件 搭建集群环境
在搭建Hadoop 2.5.2环境的过程中,我们需要经历几个关键步骤,包括本地模式、伪分布式集群和分布式集群的设置,以及HDFS系统的高可用性配置。首先,确保你的系统已经安装了JDK 1.8,因为Hive等组件需要1.7以上的版本...
### 基于VM+CentOS+hadoop2.7搭建Hadoop完全分布式集群的知识点解析 #### 一、概述 本文旨在详细介绍如何使用...通过以上步骤,您可以成功地搭建一个完整的Hadoop 2.7分布式集群,并为进一步的数据分析工作奠定基础。
在这个案例中,我们将搭建一个包含四个虚拟机的集群:一个用于伪分布式的`single_node`,另外三个`master`、`slave1`和`slave2`用于分布式集群。每个虚拟机都有特定的IP地址和主机名,并安装了必要的软件组件,如...
本知识点将围绕HBase集群部署进行详细阐述,从HBase的基础概念到集群搭建的全过程,以及在部署过程中需要注意的一些关键点。 首先,了解HBase的系统环境是至关重要的。部署HBase集群的前提条件包括:至少需要三台...
构建的大数据集群包含两种类型:伪分布集群(single_node)和分布式集群(master、slave1、slave2)。每个虚拟机都有特定的角色,如master节点运行NameNode、ResourceManager等组件,slave节点则作为DataNode和...
1. 搭建Hadoop伪分布集群和高可用(HA)分布式集群,关键步骤包括虚拟机环境配置、Linux环境搭建、Hadoop环境配置等。 2. 在生产环境中搭建CDH5高可用集群,关键配置包括HDFS核心配置文件、文件系统初始化、YARN的HA...
以上步骤涵盖了从环境准备、软件安装到集群配置的全部过程,遵循这些指导可以成功搭建一个完整的Hadoop+HBase集群。在实际操作过程中,可能还会遇到各种问题,比如网络配置、安全策略等,需要根据具体情况灵活调整。...
本教程将指导你在Win7环境下搭建一个单机版的伪分布式SolrCloud环境,利用Tomcat作为应用服务器,以及Zookeeper进行集群协调。 **一、软件工具箱** 1. **Tomcat-7.0.62**:作为Solr的容器,负责部署和运行Solr应用...
2. **伪分布模式**:在单台服务器上模拟完全分布式环境,所有Hadoop守护进程(如NameNode、DataNode、ResourceManager、NodeManager和SecondaryNameNode)在同一台机器上运行。尽管不是真正的分布式,但程序执行逻辑...
02) 搭建伪分布实验环境;03) 介绍HDFS体系结构及shell、java操作方式;04) 介绍MapReduce体系结构及各种算法;05) 介绍MapReduce体系结构及各种算法;06) 介绍Hadoop集群;07) 介绍zookeeper操作;08) 介绍HBase体系结构...
在Apache Hadoop的环境中,Zookeeper 是一个重要的协调服务,它负责管理配置信息、命名服务、集群状态等,保证分布式系统的一致性和可靠性。 现在我们来看看Hadoop的三种搭建方式: 1. **本地模式(Local Mode)**...