+------------------------------------------------------------------
下载zookeeper:
hadoop@hadoopMaster:~$ sudo wget http://www.us.apache.org
/dist/zookeeper/zookeeper-3.4.5/zookeeper-3.4.5.tar.gz
解压:
hadoop@hadoopMaster:/opt/hn/hadoop_family$ sudo tar -xvf
zookeeper-3.4.5.tar.gz
移动到安装目录:
hadoop@hadoopMaster:/opt/hn/hadoop_family$ mv zookeeper-3.4.5
/usr/local/
改为当前用户权限:
hadoop@hadoopMaster:/usr/local$ sudo chown hadoop:hadoop
zookeeper/ -R
+======================配置==============================
环境变量配置etc/profile
hadoop@hadoopMaster:~$ sudo vim /etc/profile
最后面添加如下配置:
#zookeeper
export ZOOKEEPER_HOME=/usr/local/zookeeper
export PATH=$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf:$PATH
----------------------------------------------------------
配置文件配置
hadoop@hadoopMaster:/usr/local/zookeeper/conf$ mv
zoo_sample.cfg zoo.cfg
修改配置文件, 配置如下:
+----------------------------------------------------------------------
hadoop@hadoopMaster:/usr/local/zookeeper/conf$ vim zoo.cfg
# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes.
dataDir=/opt/zookeeper
# the port at which the clients will connect
clientPort=2181
#
# Be sure to read the maintenance section of the
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1
server.1=hadoopMaster:2888:3888
server.2=hadoopSlave1:2888:3888
server.3=hadoopSlave2:2888:3888
+---------------------------------------------------------------------
创建dataDir参数指定的目录
hadoop@hadoopMaster:~$ mkdir -p /opt/zookeeper
进入到/opt/zookeeper目录下,创建文件:
touch myid 创建文本myid,在这个文本内写入相应的数值(zoo.cfg配置中server.1或者server.2的点后的值,需要与机器对应)
hadoopMaster配置完成后, 拷贝到所有的从节点上(记得修改/etc/profile, /opt/zookeeper/myid)
hadoop@hadoopMaster:~$ sudo scp -rv /usr/local/zookeeper/ root@hadoopSlave1:/usr/local/
hadoop@hadoopMaster:~$ sudo scp -rv /usr/local/zookeeper/ root@hadoopSlave2:/usr/local/
启动zookeeper(需要先hadoop集群启动), 启动是主机从机都要输入启动命令
hadoop@hadoopMaster:/usr/local/zookeeper/bin$ ./zkServer.sh start
JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
----------------------------------
hadoop@hadoopSlave1:/usr/local/zookeeper/bin$ ./zkServer.sh start
JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
----------------------------------
hadoop@hadoopSlave2:/usr/local/zookeeper/bin$ ./zkServer.sh start
JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
hadoop@hadoopSlave1:/usr/local/zookeeper/bin$ ./zkServer.sh status
JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Mode: leader
---------------------------------------------------------
hadoop@hadoopMaster:/usr/local/zookeeper/bin$ ./zkServer.sh status
JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Mode: follower
---------------------------------------------------------
hadoop@hadoopSlave2:/usr/local/zookeeper/bin$ ./zkServer.sh status
JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Mode: follower
分享到:
相关推荐
用户在下载hadoop-2.2.0.tar.gz后,可以通过`tar -zxfv hadoop-2.2.0.tar.gz`命令进行解压缩,然后配置环境变量,启动Hadoop集群,进行数据的存储和计算。 接下来是Zookeeper 3.4.5。这个版本是Zookeeper的一个经典...
在本文中,我们将深入探讨如何在CentOS-6.4 64位操作系统上配置一个基于Hadoop 2.2.0、HBase 0.96和Zookeeper 3.4.5的分布式环境。这个过程涉及到多个步骤,包括系统设置、软件安装、配置以及服务启动。 首先,为了...
4. 配置集群环境,以便Hadoop、Zookeeper和HBase可以正常工作 总结 Hadoop2.2+Zookeeper3.4.5+HBase0.96集群环境搭建是一个复杂的过程,需要用户具备一定的Linux和大数据处理知识。但是,通过本文档的指导,用户...
本文详细介绍了如何搭建 Hadoop 2.2.0 的集群,包括前期的环境准备、节点角色分配、Hadoop 和 ZooKeeper 的安装配置等关键步骤。通过这些步骤,用户可以成功地部署一个功能完备的 Hadoop 集群,支持大数据处理的各项...
6. **Zookeeper**:Hadoop依赖Zookeeper进行分布式协调,所以`zookeeper-3.4.5.jar`也是必需的。 7. **Java序列化和protobuf**:Hadoop使用Java序列化和Google的Protocol Buffers进行数据交换,因此`libthrift-...
本文将详细讲解如何搭建一个Hadoop集群,包括虚拟机安装、环境配置、Hadoop和Zookeeper的安装及集群验证。以下是对每个步骤的详细说明: 一、虚拟机安装与配置 在搭建Hadoop集群之前,首先需要准备多台虚拟机。可以...
一、Hadoop2.2.0、ZooKeeper3.4.5、HBase0.96.2、Hive0.13.1是什么? Hadoop2.2.0是一个大数据处理框架,具有许多新特性,如支持Windows平台、改进了安全性、提高了性能等。 ZooKeeper3.4.5是一个分布式应用程序...
避免流式传输前言:使用scala和java混编完成,其中也涉及到python脚本来自动生成日志,linux crontab调度工具来定时执行...hadoop-2.6.0-cdh5.7.0 hbase-1.2.0-cdh5.7.0 zookeeper-3.4.5-cdh5.7.0 spark-2.2.0-bin-2.6
- ZooKeeper(版本3.4.5):协调服务,管理Hadoop集群。 - Sqoop(版本1.99.3):数据迁移工具,用于在Hadoop和关系型数据库间传输数据。 **2. 平台搭建步骤** 2.1 安装虚拟机软件 首先,在4台物理主机上安装...
6. **Zookeeper 3.4.5** - Hadoop集群的可靠协调系统,管理配置和服务发现。 7. **Sqoop 1.99.3** - 数据迁移工具,用于在Hadoop和关系型数据库间传输数据。 **平台搭建流程** 1. **创建master节点** - 首先在...
Zookeeper-3.4.5是分布式协调服务,确保集群中的节点能够正确通信。Sqoop-1.99.3则用于在Hadoop和传统数据库之间迁移数据。 搭建流程主要包括以下步骤: 1. 在master节点上安装VMware Workstation,然后安装Linux...
2. **配置 ZooKeeper**:修改 `/itcast/zookeeper-3.4.5/conf/` 目录下的 `zoo.cfg` 文件,设置数据目录并定义集群成员信息。 3. **复制配置到其他节点**:使用 `scp` 命令将配置文件复制到其他节点上,并分别设置每...
3. **ZooKeeper**: ZooKeeper是一个分布式协调服务,用于管理Hadoop和其他分布式应用程序的配置信息、命名服务、集群状态等。ZooKeeper的安装目录为`/opt/zookeeper-3.4.5`,可以通过`zkServer.sh`启动。 4. **...
4,Hadoop2.2.0 5,Hbase0.96.2 6,Zookeeper3.4.5 7,Hive0.13.13 全是Java有关的框架,主要目的在于安装Hadoop,其他的都是附带的基本配置 本脚本能够快速在Linux上安装JAVA环境,并部署hadoop,其中关于hadoop,...