`
youguofu
  • 浏览: 25481 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

zookeeper环境的搭建,来实现namenode的高可用(HA)(第一篇)

阅读更多

zookeeper来实现namenode的高可用(HA)(第一篇,此篇讲解搭建zookeeper环境)

 

机器设备:为了叙述方面 采用nodeX的形式来表示主机名

192.168.159.31(node1)                Namenode

 

192.168.159.32(node2) zookeeper      Datanode     JN(JournalNode)

  

192.168.159.33(node3) zookeeper      Datanode     JN

 

192.168.159.34(node4) zookeeper      Datanode     JN

 

192.168.159.35(node5)                Namenode

 

 

 

搭建zookeeper的环境

 

第一步:

 

利用node2来配置,配置完成之后scp到node3,node4上,然后稍作修改即可

 

解压zookeeper包,我解压到了/usr/hadoop/下

 

然后在/usr/hadoop/zookeeper-3.4.6/conf路径下创建文件:zoo.cfg(一定要是这个名字)

 

vim zoo.cfg 然后写一下内容

 

tickTime=2000

dataDir=/opt/zookeeper

clientPort=2181

initLimit=5

syncLimit=2

server.2=node2:2888:3888

server.3=node3:2888:3888

server.4=node4:2888:3888

 

第二步:

 

dataDir为zookeeper的数据存在地址,因为zookeeper是采用内存数据的

 

mkdir /opt/zookeeper

 

在zookeeper下创建myid(一定要是这个名字)

 

vim myid

 

2 (在这只需要写一个数字,但是这个数字需要跟在zoo.cfg中使用的数字一直 上述node2对应的是server.2,故此处写2)

 

第三步:

 

把配置好的zookeeper scp到node3 node4上  然后修改myid里面的数字

 

第四步:配置环境变量

 

vim /root/.bash_profile

 

export ZOOKEEPER_HOME=/usr/hadoop/zookeeper-3.4.6/

 

export PATH=$PATH:$ZOOKEEPER_HOME

 

 

然后source /root/.bash_profile

 

第四步:

 

启动试验下 在node2,node3,node4上 zkServer.sh start  最好在三台主机上连续的敲,这样可以防止两两之间连接不上报错(报错也没关系)

0
3
分享到:
评论

相关推荐

    Hadoop集群环境搭建

    搭建Hadoop集群环境的第一步是准备硬件资源。至少需要两台或多台服务器,每台服务器都应配置足够的内存和磁盘空间。当然,更多的节点可以提供更高的可用性和容错性。 接着,我们需要下载Hadoop的源码或预编译版本。...

    最详细的Hadoop环境搭建

    - 实现HA的关键在于配置主备NameNode以及Zookeeper集群。 - 需要对Hadoop配置文件进行细致调整,确保在故障发生时能够迅速切换到备用节点。 #### 四、总结 通过上述步骤,我们不仅完成了Hadoop环境的搭建,还...

    《大数据技术原理与操作应用》第6章习题答案.docx

    12. 搭建Hadoop HA集群需要预先部署Zookeeper集群,以实现高可用协调。 13. 在Hadoop HA集群中,SecondaryNameNode的功能被整合到了Active/Standby NameNode架构中。 14. 客户端上传文件时确实会将文件切分成多个...

    大数据面试题

    Hadoop HA(High Available)是 Hadoop 2.X 版本及以上的特性,它通过 zookeeper 来实现 namenode 的高可用。实现过程如下: (1)在 hadoop 集群里面搭建了一个 zookeeper 的集群 (2)在另一个机架服务器上已经...

    hadoop环境配置与搭建

    - **步骤2**:配置NameNode的高可用性,包括ZooKeeper集群和JournalNode。 - **步骤3**:配置DataNode和TaskTracker的冗余。 - **步骤4**:启动HA集群,测试故障转移机制。 #### 结语 通过以上步骤,你不仅能够...

    hadoop大数据生态圈工具配置与应用.pdf

    为了保证Hadoop集群的稳定性,通常会设置多个NameNode和ResourceManager以实现高可用。这需要配置HA模式,包括设置共享的存储系统(如Quorum Journal Manager),并配置Zookeeper以监控NameNode状态。此外,还需要...

    Hbase与Hive的安装参照手册.pdf

    在搭建Hadoop HA高可用性集群时,确保系统在一台NameNode失效的情况下仍能正常运行至关重要。以下步骤展示了如何验证Hadoop HA的高可用性。 1. **启动JobHistoryServer查看历史记录** - 使用`mapred--daemonstart...

    2022年全国职业院校技能大赛高职组大数据技术与应用赛项赛题任务书5.docx

    - 从Master节点复制JDK环境变量文件以及解压后的安装文件到`slave1`和`slave2`节点,并配置Java环境变量。 - 在Master节点上执行`java`和`javac`命令,验证JDK环境变量配置正确。 2. **Zookeeper配置** - 完成...

    hadoop-cdh4.3安装文档

    **第一章 基本软件介绍** 在安装Hadoop CDH4之前,我们需要了解其核心组件,包括: 1. **HDFS(Hadoop Distributed File System)**:分布式文件系统,是Hadoop的基础,用于存储大规模数据集。 2. **MapReduce**:...

Global site tag (gtag.js) - Google Analytics