ZooKeeper是Hadoop的正式子项目,它是一个针对大型分布式系统的可靠协调系统,提供的功能包括:配置维护、名字服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户。
以上内容摘自baidu百科!
下面我们一起来看看zookeeper的安装和一些简单的配置。
1、单机环境下zookeeper的配置
下载zookeeper的软件包:
地址: http://www.apache.org/dyn/closer.cgi/zookeeper/
下面以zookeeper-3.3.5为例进行讲述。
下载后的安装包为:zookeeper-3.3.5.tar.gz
解压:tar zxf zookeeper-3.3.5.tar.gz
把解压后的目录zookeeper-3.3.5移动到/data下(这里随个人喜好,无特殊意义)
进入配置目录:cd /data/zookeeper-3.3.5/conf
conf目录中的内容如下:
root@ubuntu:/data/zookeeper-3.3.5/conf # ll
total 20
drwxr-xr-x 2 qichao qichao 4096 Mar 16 2012 ./
drwxr-xr-x 10 qichao qichao 4096 Mar 16 2012 ../
-rw-rw-r-- 1 qichao qichao 535 Mar 16 2012 configuration.xsl
-rw-rw-r-- 1 qichao qichao 1698 Mar 16 2012 log4j.properties
-rw-rw-r-- 1 qichao qichao 380 Mar 16 2012 zoo_sample.cfg
在此目录中存在一个配置文件的例子zoo_sample.cfg,我们可以直接把该文件重命名为zoo.cfg,因为zookeeper默认加载的配置文件为zoo.cfg。可以从bin/zkEnv.sh中看出,详细代码如下:
if [ "x$ZOOCFG" = "x" ]
then
ZOOCFG="zoo.cfg"
fi
再将配置文件改为zoo.cfg后,我们不需要对配置项进行任何的修改,直接启动zookeeper的服务。
启动信息如下:
root@ubuntu:/data/zookeeper-3.3.5 # ./bin/zkServer.sh start
JMX enabled by default
Using config: /data/zookeeper-3.3.5/bin/../conf/zoo.cfg
Starting zookeeper ... ./bin/zkServer.sh: 103: ./bin/zkServer.sh: cannot create /tmp/zookeeper/zookeeper_server.pid: Directory nonexistent
FAILED TO WRITE PID
以上的启动过程发生了一个错误,说是无法创建/tmp/zookeeper/zookeeper_server.pid,zookeeper启动后,该文件中保存进程id,我们可以手动创建该目录。
mkdir -p /tmp/zookeeper
创建完成后,我们启动zk服务:
root@ubuntu:/data/zookeeper-3.3.5 # ./bin/zkServer.sh start
JMX enabled by default
Using config: /data/zookeeper-3.3.5/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
root@ubuntu:/data/zookeeper-3.3.5 # ps aux | grep zookeeper
root 3767 0.4 0.5 1187488 23492 pts/2 Sl 15:44 0:00 /usr/local/jdk1.6.0_33/bin/java -Dzookeeper.log.dir=. -Dzookeeper.root.logger=INFO,CONSOLE -cp /data/zookeeper-3.3.5/bin/../build/classes:/data/zookeeper-3.3.5/bin/../build/lib/*.jar:/data/zookeeper-3.3.5/bin/../zookeeper-3.3.5.jar:/data/zookeeper-3.3.5/bin/../lib/log4j-1.2.15.jar:/data/zookeeper-3.3.5/bin/../lib/jline-0.9.94.jar:/data/zookeeper-3.3.5/bin/../src/java/lib/*.jar:/data/zookeeper-3.3.5/bin/../conf: -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.local.only=false org.apache.zookeeper.server.quorum.QuorumPeerMain /data/zookeeper-3.3.5/bin/../conf/zoo.cfg
root 3839 0.0 0.0 4368 832 pts/2 S+ 15:46 0:00 grep --color=auto zookeeper
root@ubuntu:/data/zookeeper-3.3.5 #
启动完成后,我们使用ps aux | grep zookeeper来查看zookeeper的进程信息,可以看到zookeeper的服务已经启动了。
启动完成后,我们可以使用zookeeper自带的客户端连接服务,进行简单的测试。
启动zookeeper客户端:
root@ubuntu:/data/zookeeper-3.3.5 # ./bin/zkCli.sh -server localhost:2181
如果启动过程中没有发生错误信息,则连接服务器成功。然后我们可以使用简单的命令和服务器进行交互。
[zk: localhost:2181(CONNECTED) 0] ls /
[zookeeper]
[zk: localhost:2181(CONNECTED) 1]
上面使用了ls /来查看zk根目录的的结构,可以看到默认情况下只有一个zookeeper的目录存在。推出和服务器的链接可以使用quit命令。
这里主要讲zookeeper的安装和配置,至于zk命令稍后讲解.....
2、集群环境下的zookeeper配置
此处本人使用了三台虚拟机,IP地址分别为:192.168.1.108,192.168.1.109,192.168.1.111。
注:由于zookeeper的选择策略,所以一个zookeeper集群最好使用级数个节点。
集群下的配置和单机下的配置略有不同,我们需要在zoo.cfg中配置集群的详细信息,还在标注每台服务器的集群编号myid。
详细的配置信息如下:
# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
dataDir=/var/lib/zookeeper
logDir=/var/lib/zookeeper/log.log
# the port at which the clients will connect
clientPort=2181
server.1=192.168.1.108:2888:3888
server.2=192.168.1.109:2888:3888
server.3=192.168.1.111:2888:3888
从上面的配置文件中可以看到集群中总共有三台服务器,第一台服务器为:192.168.1.108,第二台为109,第三台为111,其中dataDir和logDir分别表示zookeeper数据文件的目录和log目录。
注:此时数据文件(包括zookeeper_server.pid)保存的目录为/var/lib/zookeeper,首先需要确定该目录存在,如果不存在,需要创建:
mkdir -p /var/lib/zookeeper
然后需要保存每台服务器的编号(myid),进入数据文件目录cd /var/lib/zookeeper
创建文件myid,并写入唯一数值1,在109和111机器上进行同样的操作,只是myid的值分别为2和3。该值和zoo.cfg中的配置信息一致。
配置完成后,分别启动三台机器上的zk服务:
./bin/zkServer.sh start
这样一个简单的zookeeper服务集群就配置完成了!
相关推荐
总结,Zookeeper 的安装和部署涉及多个步骤,包括网络配置、用户创建、软件安装、配置文件调整以及启动和验证。理解并熟练掌握这些步骤对于管理和维护一个稳定、高效的 Zookeeper 集群至关重要。在实际生产环境中,...
这个过程涉及到多个步骤,包括系统设置、软件安装、配置以及服务启动。 首先,为了进行分布式安装,我们需要确保所有节点间能够无障碍通信。这通常通过关闭防火墙(iptables)和同步时间来实现。在CentOS-6.4中,...
根据给出的集群规划,以下是 IP 地址和安装软件的分配: - hadoop01: JDK, Hadoop, DFSZKFailoverController (ZKFC) - hadoop02: JDK, Hadoop, DFSZKFailoverController (ZKFC) - hadoop03: JDK, Hadoop - hadoop04...
- **Zookeeper安装目录**:/usr/local/zookeeper - **Zookeeper数据目录**:/data/zookeeper/data - **Zookeeper日志目录**:/data/zookeeper/log - **Kafka版本**:kafka_2.8.0-0.8.1.tgz - **Kafka安装目录**...
ZooKeeper是Apache软件基金会的一个开源项目,提供了一个分布式应用程序的协调服务。它可以提供可靠的分布式配置管理、命名服务、分布式同步和提供组服务等功能。下面是ZooKeeper集群的安装、配置、高可用测试的...
- 解压zookeeper文件并建立相应目录:进行Zookeeper安装。 - 添加环境变量:设置Zookeeper运行的环境变量。 - 配置zoo.cfg文件:配置Zookeeper集群信息。 - 创建myid文件:在Zookeeper集群中每个节点上创建myid...
在这个例子中,我们有三台服务器,IP地址分别为192.168.114.102、103和104,主机名为yz-yf-zookeeper01、02和03。为了运行Zookeeper,每台服务器都需要安装JDK 6或更高版本,因为Zookeeper依赖于Java环境。在配置...
1. SAAS(Software as a Service):软件即服务,是云计算的一种模式,用户通过网络访问并使用提供商提供的应用程序,无需在本地安装软件。 2. PAAS(Platform as a Service):平台即服务,为开发者提供开发、测试...
【Kafka 3.1.0 安装与维护指南:Zookeeper与Kraft模式】 Apache Kafka 是一个高性能、分布式的消息中间件,常用于构建实时数据管道和流处理应用程序。在 Kafka 3.0 版本中引入了 KRaft 模式,这标志着 Kafka 可以...
总结,Oracle GoldenGate的部署涉及多个步骤,包括环境准备、软件下载、JDK安装、Oracle数据库安装以及OGG源端和目标端的配置。整个过程需要细心操作,确保每个组件都能正常工作,以实现Oracle数据库到Kafka的实时...
* Linux系统需安装编译工具软件gcc,gcc-c++(g++),make。 * 在路径/home/tyzfUser下,新建文件夹applications、bin、data目录,分别为对应存放安装文件、启停脚本、数据文件及配置文件。 * 关闭iptables或者...
安装集群环境 使用三台机器 shizhan01 shizhan02 shizhan03 1、上传jar,解压缩 tar -zxvf zookeeper-3.4.5.tar.gz -C apps/ 2、进入配置文件所在文件夹,拷贝一份zoo_sample.cfg,重命名为zoo.cfg cd /root/apps/...
1. 安装ZooKeeper集群:这一步骤在文档中略过,假设已有相关文档指导如何安装ZooKeeper。 2. 安装Hadoop集群: - 上传安装包并解压到指定目录。 - 修改配置文件,包括: - 修改`hadoop-env.sh`文件,设置Java环境...
"ActiveMQ高可用集群(ZooKeeper+LevelDB)安装、配置(伪集群)" 本文将详细介绍ActiveMQ高可用集群的安装和配置过程,该集群使用ZooKeeper和LevelDB实现高可用性。 ActiveMQ高可用集群规划 在部署ActiveMQ高可用...
在开始安装前,你需要确保所有服务器之间的主机名(如nd-01.hdp、nd-02.hdp、nd-03.hdp)已配置正确,并且可以实现SSH免密码访问。这一步骤对于Ambari能顺利管理集群至关重要,因为Ambari Agent会通过SSH在各个节点...
**Kafka 2.12.0.11.01 版本在Linux环境下的安装与配置** Kafka是一款高吞吐量的分布式消息系统,由LinkedIn开发并开源,现在已经成为Apache软件基金会的顶级项目。它设计目标是提供一个低延迟、高吞吐量、持久化的...
- **安装插件**:为了允许NameNode的热切换,需要在Master和Slave01上安装psmisc。 - **配置Core-Site.xml**:在Master节点上编辑`core-site.xml`,设置`fs.defaultFS`为HDFS的nameservice(如`hdfs://ns`),`...
本文将详细介绍如何搭建一个完整的Hadoop 2.x集群,包括必要的系统配置、软件安装与配置等步骤。 #### 二、环境准备与配置 ##### 2.1 Linux环境准备 - **操作系统选择**:由于Hadoop 2.x支持64位操作系统,建议...
在IT行业中,Linux开发环境是软件工程师们进行项目开发、测试和运维的重要平台。这个学习部署手册涵盖了四个关键组件:Git、Zookeeper、Redis和Supervisor,这些都是现代分布式系统中的重要工具。以下是对这些组件的...