`
q_chaochao
  • 浏览: 23179 次
  • 性别: Icon_minigender_1
  • 来自: 武汉
社区版块
存档分类
最新评论

zookeeper-01:软件的安装

 
阅读更多

    ZooKeeper是Hadoop的正式子项目,它是一个针对大型分布式系统的可靠协调系统,提供的功能包括:配置维护、名字服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户。

   以上内容摘自baidu百科!

   下面我们一起来看看zookeeper的安装和一些简单的配置。

1、单机环境下zookeeper的配置

下载zookeeper的软件包:
地址:
http://www.apache.org/dyn/closer.cgi/zookeeper/

下面以zookeeper-3.3.5为例进行讲述。

下载后的安装包为:zookeeper-3.3.5.tar.gz

解压:tar zxf zookeeper-3.3.5.tar.gz

把解压后的目录zookeeper-3.3.5移动到/data下(这里随个人喜好,无特殊意义)

进入配置目录:cd /data/zookeeper-3.3.5/conf

conf目录中的内容如下:

root@ubuntu:/data/zookeeper-3.3.5/conf # ll
total 20
drwxr-xr-x  2 qichao qichao 4096 Mar 16  2012 ./
drwxr-xr-x 10 qichao qichao 4096 Mar 16  2012 ../
-rw-rw-r--  1 qichao qichao  535 Mar 16  2012 configuration.xsl
-rw-rw-r--  1 qichao qichao 1698 Mar 16  2012 log4j.properties
-rw-rw-r--  1 qichao qichao  380 Mar 16  2012 zoo_sample.cfg


在此目录中存在一个配置文件的例子zoo_sample.cfg,我们可以直接把该文件重命名为zoo.cfg,因为zookeeper默认加载的配置文件为zoo.cfg。可以从bin/zkEnv.sh中看出,详细代码如下:

if [ "x$ZOOCFG" = "x" ]
then
    ZOOCFG="zoo.cfg"
fi
再将配置文件改为zoo.cfg后,我们不需要对配置项进行任何的修改,直接启动zookeeper的服务。

启动信息如下:

root@ubuntu:/data/zookeeper-3.3.5 # ./bin/zkServer.sh start
JMX enabled by default
Using config: /data/zookeeper-3.3.5/bin/../conf/zoo.cfg
Starting zookeeper ... ./bin/zkServer.sh: 103: ./bin/zkServer.sh: cannot create /tmp/zookeeper/zookeeper_server.pid: Directory nonexistent
FAILED TO WRITE PID

以上的启动过程发生了一个错误,说是无法创建/tmp/zookeeper/zookeeper_server.pid,zookeeper启动后,该文件中保存进程id,我们可以手动创建该目录。

mkdir -p /tmp/zookeeper

创建完成后,我们启动zk服务:

root@ubuntu:/data/zookeeper-3.3.5 # ./bin/zkServer.sh  start
JMX enabled by default
Using config: /data/zookeeper-3.3.5/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
root@ubuntu:/data/zookeeper-3.3.5 # ps aux | grep zookeeper
root      3767  0.4  0.5 1187488 23492 pts/2   Sl   15:44   0:00 /usr/local/jdk1.6.0_33/bin/java -Dzookeeper.log.dir=. -Dzookeeper.root.logger=INFO,CONSOLE -cp /data/zookeeper-3.3.5/bin/../build/classes:/data/zookeeper-3.3.5/bin/../build/lib/*.jar:/data/zookeeper-3.3.5/bin/../zookeeper-3.3.5.jar:/data/zookeeper-3.3.5/bin/../lib/log4j-1.2.15.jar:/data/zookeeper-3.3.5/bin/../lib/jline-0.9.94.jar:/data/zookeeper-3.3.5/bin/../src/java/lib/*.jar:/data/zookeeper-3.3.5/bin/../conf: -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.local.only=false org.apache.zookeeper.server.quorum.QuorumPeerMain /data/zookeeper-3.3.5/bin/../conf/zoo.cfg
root      3839  0.0  0.0   4368   832 pts/2    S+   15:46   0:00 grep --color=auto zookeeper
root@ubuntu:/data/zookeeper-3.3.5 #

启动完成后,我们使用ps aux | grep zookeeper来查看zookeeper的进程信息,可以看到zookeeper的服务已经启动了。

启动完成后,我们可以使用zookeeper自带的客户端连接服务,进行简单的测试。

启动zookeeper客户端:

root@ubuntu:/data/zookeeper-3.3.5 # ./bin/zkCli.sh -server localhost:2181

如果启动过程中没有发生错误信息,则连接服务器成功。然后我们可以使用简单的命令和服务器进行交互。

[zk: localhost:2181(CONNECTED) 0] ls /
[zookeeper]
[zk: localhost:2181(CONNECTED) 1]

上面使用了ls /来查看zk根目录的的结构,可以看到默认情况下只有一个zookeeper的目录存在。推出和服务器的链接可以使用quit命令。


这里主要讲zookeeper的安装和配置,至于zk命令稍后讲解.....


2、集群环境下的zookeeper配置

此处本人使用了三台虚拟机,IP地址分别为:192.168.1.108,192.168.1.109,192.168.1.111。

注:由于zookeeper的选择策略,所以一个zookeeper集群最好使用级数个节点。

集群下的配置和单机下的配置略有不同,我们需要在zoo.cfg中配置集群的详细信息,还在标注每台服务器的集群编号myid。

详细的配置信息如下:

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
dataDir=/var/lib/zookeeper
logDir=/var/lib/zookeeper/log.log
# the port at which the clients will connect
clientPort=2181
server.1=192.168.1.108:2888:3888
server.2=192.168.1.109:2888:3888
server.3=192.168.1.111:2888:3888

从上面的配置文件中可以看到集群中总共有三台服务器,第一台服务器为:192.168.1.108,第二台为109,第三台为111,其中dataDir和logDir分别表示zookeeper数据文件的目录和log目录。

注:此时数据文件(包括zookeeper_server.pid)保存的目录为/var/lib/zookeeper,首先需要确定该目录存在,如果不存在,需要创建:

mkdir -p /var/lib/zookeeper

然后需要保存每台服务器的编号(myid),进入数据文件目录cd /var/lib/zookeeper

创建文件myid,并写入唯一数值1,在109和111机器上进行同样的操作,只是myid的值分别为2和3。该值和zoo.cfg中的配置信息一致。

配置完成后,分别启动三台机器上的zk服务:

./bin/zkServer.sh start

这样一个简单的zookeeper服务集群就配置完成了!


 

分享到:
评论

相关推荐

    zookeeper搭建文档.docx

    总结,Zookeeper 的安装和部署涉及多个步骤,包括网络配置、用户创建、软件安装、配置文件调整以及启动和验证。理解并熟练掌握这些步骤对于管理和维护一个稳定、高效的 Zookeeper 集群至关重要。在实际生产环境中,...

    CentOS-6.4 64位系统下hadoop-2.2.0+hbase-0.96+zookeeper-3.4.5 分布式安装配置

    这个过程涉及到多个步骤,包括系统设置、软件安装、配置以及服务启动。 首先,为了进行分布式安装,我们需要确保所有节点间能够无障碍通信。这通常通过关闭防火墙(iptables)和同步时间来实现。在CentOS-6.4中,...

    hadoop2.7.1安装手册.docx

    根据给出的集群规划,以下是 IP 地址和安装软件的分配: - hadoop01: JDK, Hadoop, DFSZKFailoverController (ZKFC) - hadoop02: JDK, Hadoop, DFSZKFailoverController (ZKFC) - hadoop03: JDK, Hadoop - hadoop04...

    Zookeeper和kafka集群搭建手册

    - **Zookeeper安装目录**:/usr/local/zookeeper - **Zookeeper数据目录**:/data/zookeeper/data - **Zookeeper日志目录**:/data/zookeeper/log - **Kafka版本**:kafka_2.8.0-0.8.1.tgz - **Kafka安装目录**...

    ZooKeeper集群的安装、配置、高可用测试.docx

    ZooKeeper是Apache软件基金会的一个开源项目,提供了一个分布式应用程序的协调服务。它可以提供可靠的分布式配置管理、命名服务、分布式同步和提供组服务等功能。下面是ZooKeeper集群的安装、配置、高可用测试的...

    HA集群部署手册

    - 解压zookeeper文件并建立相应目录:进行Zookeeper安装。 - 添加环境变量:设置Zookeeper运行的环境变量。 - 配置zoo.cfg文件:配置Zookeeper集群信息。 - 创建myid文件:在Zookeeper集群中每个节点上创建myid...

    zookeeper集群安装文档.docx

    在这个例子中,我们有三台服务器,IP地址分别为192.168.114.102、103和104,主机名为yz-yf-zookeeper01、02和03。为了运行Zookeeper,每台服务器都需要安装JDK 6或更高版本,因为Zookeeper依赖于Java环境。在配置...

    java大数据作业_1云计算、大数据、hadoop

    1. SAAS(Software as a Service):软件即服务,是云计算的一种模式,用户通过网络访问并使用提供商提供的应用程序,无需在本地安装软件。 2. PAAS(Platform as a Service):平台即服务,为开发者提供开发、测试...

    kafka最新版本3.1.0版本安装(使用zookeeper及使用kraft)两种安装及日常维护命令,kafka 3.0

    【Kafka 3.1.0 安装与维护指南:Zookeeper与Kraft模式】 Apache Kafka 是一个高性能、分布式的消息中间件,常用于构建实时数据管道和流处理应用程序。在 Kafka 3.0 版本中引入了 KRaft 模式,这标志着 Kafka 可以...

    Oracle采集工具Ogg部署使用文档-V1.1.doc

    总结,Oracle GoldenGate的部署涉及多个步骤,包括环境准备、软件下载、JDK安装、Oracle数据库安装以及OGG源端和目标端的配置。整个过程需要细心操作,确保每个组件都能正常工作,以实现Oracle数据库到Kafka的实时...

    redis,zookeeper,kafka中间件集群安装部署手册

    * Linux系统需安装编译工具软件gcc,gcc-c++(g++),make。 * 在路径/home/tyzfUser下,新建文件夹applications、bin、data目录,分别为对应存放安装文件、启停脚本、数据文件及配置文件。 * 关闭iptables或者...

    二、zookeeper笔记

    安装集群环境 使用三台机器 shizhan01 shizhan02 shizhan03 1、上传jar,解压缩 tar -zxvf zookeeper-3.4.5.tar.gz -C apps/ 2、进入配置文件所在文件夹,拷贝一份zoo_sample.cfg,重命名为zoo.cfg cd /root/apps/...

    hadoop集群高可用搭建

    1. 安装ZooKeeper集群:这一步骤在文档中略过,假设已有相关文档指导如何安装ZooKeeper。 2. 安装Hadoop集群: - 上传安装包并解压到指定目录。 - 修改配置文件,包括: - 修改`hadoop-env.sh`文件,设置Java环境...

    ActiveMQ高可用集群(ZooKeeper+LevelDB)安装、配置(伪集群).docx

    "ActiveMQ高可用集群(ZooKeeper+LevelDB)安装、配置(伪集群)" 本文将详细介绍ActiveMQ高可用集群的安装和配置过程,该集群使用ZooKeeper和LevelDB实现高可用性。 ActiveMQ高可用集群规划 在部署ActiveMQ高可用...

    大数据集群管控台ambari安装

    在开始安装前,你需要确保所有服务器之间的主机名(如nd-01.hdp、nd-02.hdp、nd-03.hdp)已配置正确,并且可以实现SSH免密码访问。这一步骤对于Ambari能顺利管理集群至关重要,因为Ambari Agent会通过SSH在各个节点...

    kafka-2.12.0.11.01版本

    **Kafka 2.12.0.11.01 版本在Linux环境下的安装与配置** Kafka是一款高吞吐量的分布式消息系统,由LinkedIn开发并开源,现在已经成为Apache软件基金会的顶级项目。它设计目标是提供一个低延迟、高吞吐量、持久化的...

    hadoop搭建.docx

    - **安装插件**:为了允许NameNode的热切换,需要在Master和Slave01上安装psmisc。 - **配置Core-Site.xml**:在Master节点上编辑`core-site.xml`,设置`fs.defaultFS`为HDFS的nameservice(如`hdfs://ns`),`...

    hadoop2.x集群搭建(1.0).txt

    本文将详细介绍如何搭建一个完整的Hadoop 2.x集群,包括必要的系统配置、软件安装与配置等步骤。 #### 二、环境准备与配置 ##### 2.1 Linux环境准备 - **操作系统选择**:由于Hadoop 2.x支持64位操作系统,建议...

    Linux开发环境Git Zookeeper Redis Supervisor学习部署手册

    在IT行业中,Linux开发环境是软件工程师们进行项目开发、测试和运维的重要平台。这个学习部署手册涵盖了四个关键组件:Git、Zookeeper、Redis和Supervisor,这些都是现代分布式系统中的重要工具。以下是对这些组件的...

Global site tag (gtag.js) - Google Analytics