zookeeper来实现namenode的高可用(HA)(第一篇,此篇讲解搭建zookeeper环境)
机器设备:为了叙述方面 采用nodeX的形式来表示主机名
192.168.159.31(node1) Namenode
192.168.159.32(node2) zookeeper Datanode JN(JournalNode)
192.168.159.33(node3) zookeeper Datanode JN
192.168.159.34(node4) zookeeper Datanode JN
192.168.159.35(node5) Namenode
搭建zookeeper的环境
第一步:
利用node2来配置,配置完成之后scp到node3,node4上,然后稍作修改即可
解压zookeeper包,我解压到了/usr/hadoop/下
然后在/usr/hadoop/zookeeper-3.4.6/conf路径下创建文件:zoo.cfg(一定要是这个名字)
vim zoo.cfg 然后写一下内容
tickTime=2000
dataDir=/opt/zookeeper
clientPort=2181
initLimit=5
syncLimit=2
server.2=node2:2888:3888
server.3=node3:2888:3888
server.4=node4:2888:3888
第二步:
dataDir为zookeeper的数据存在地址,因为zookeeper是采用内存数据的
mkdir /opt/zookeeper
在zookeeper下创建myid(一定要是这个名字)
vim myid
2 (在这只需要写一个数字,但是这个数字需要跟在zoo.cfg中使用的数字一直 上述node2对应的是server.2,故此处写2)
第三步:
把配置好的zookeeper scp到node3 node4上 然后修改myid里面的数字
第四步:配置环境变量
vim /root/.bash_profile
export ZOOKEEPER_HOME=/usr/hadoop/zookeeper-3.4.6/
export PATH=$PATH:$ZOOKEEPER_HOME
然后source /root/.bash_profile
第四步:
启动试验下 在node2,node3,node4上 zkServer.sh start 最好在三台主机上连续的敲,这样可以防止两两之间连接不上报错(报错也没关系)
相关推荐
搭建Hadoop集群环境的第一步是准备硬件资源。至少需要两台或多台服务器,每台服务器都应配置足够的内存和磁盘空间。当然,更多的节点可以提供更高的可用性和容错性。 接着,我们需要下载Hadoop的源码或预编译版本。...
- 实现HA的关键在于配置主备NameNode以及Zookeeper集群。 - 需要对Hadoop配置文件进行细致调整,确保在故障发生时能够迅速切换到备用节点。 #### 四、总结 通过上述步骤,我们不仅完成了Hadoop环境的搭建,还...
12. 搭建Hadoop HA集群需要预先部署Zookeeper集群,以实现高可用协调。 13. 在Hadoop HA集群中,SecondaryNameNode的功能被整合到了Active/Standby NameNode架构中。 14. 客户端上传文件时确实会将文件切分成多个...
Hadoop HA(High Available)是 Hadoop 2.X 版本及以上的特性,它通过 zookeeper 来实现 namenode 的高可用。实现过程如下: (1)在 hadoop 集群里面搭建了一个 zookeeper 的集群 (2)在另一个机架服务器上已经...
- **步骤2**:配置NameNode的高可用性,包括ZooKeeper集群和JournalNode。 - **步骤3**:配置DataNode和TaskTracker的冗余。 - **步骤4**:启动HA集群,测试故障转移机制。 #### 结语 通过以上步骤,你不仅能够...
为了保证Hadoop集群的稳定性,通常会设置多个NameNode和ResourceManager以实现高可用。这需要配置HA模式,包括设置共享的存储系统(如Quorum Journal Manager),并配置Zookeeper以监控NameNode状态。此外,还需要...
在搭建Hadoop HA高可用性集群时,确保系统在一台NameNode失效的情况下仍能正常运行至关重要。以下步骤展示了如何验证Hadoop HA的高可用性。 1. **启动JobHistoryServer查看历史记录** - 使用`mapred--daemonstart...
- 从Master节点复制JDK环境变量文件以及解压后的安装文件到`slave1`和`slave2`节点,并配置Java环境变量。 - 在Master节点上执行`java`和`javac`命令,验证JDK环境变量配置正确。 2. **Zookeeper配置** - 完成...
**第一章 基本软件介绍** 在安装Hadoop CDH4之前,我们需要了解其核心组件,包括: 1. **HDFS(Hadoop Distributed File System)**:分布式文件系统,是Hadoop的基础,用于存储大规模数据集。 2. **MapReduce**:...