`

Hadoop HA

 
阅读更多

1 Hadoop HA架构详解

1.1 HDFS HA背景

HDFS集群中NameNode 存在单点故障（SPOF）。对于只有一个NameNode的集群，如果NameNode机器出现意外情况，将导致整个集群无法使用，直到NameNode 重新启动。

影响HDFS集群不可用主要包括以下两种情况：一是NameNode机器宕机，将导致集群不可用，重启NameNode之后才可使用；二是计划内的NameNode节点软件或硬件升级，导致集群在短时间内不可用。

为了解决上述问题，Hadoop给出了HDFS的高可用HA方案：HDFS通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外提供服务，比如处理来自客户端的RPC请求，而Standby NameNode则不对外提供服务，仅同步Active NameNode的状态，以便能够在它失败时快速进行切换。

1.2 HDFS HA架构

一个典型的HA集群，NameNode会被配置在两台独立的机器上，在任何时间上，一个NameNode处于活动状态，而另一个NameNode处于备份状态，活动状态的NameNode会响应集群中所有的客户端，备份状态的NameNode只是作为一个副本，保证在必要的时候提供一个快速的转移。

为了让Standby Node与Active Node保持同步，这两个Node都与一组称为JNS的互相独立的进程保持通信(Journal Nodes)。当Active Node上更新了namespace，它将记录修改日志发送给JNS的多数派。Standby noes将会从JNS中读取这些edits，并持续关注它们对日志的变更。Standby Node将日志变更应用在自己的namespace中，当failover发生时，Standby将会在提升自己为Active之前，确保能够从JNS中读取所有的edits，即在failover发生之前Standy持有的namespace应该与Active保持完全同步。

为了支持快速failover，Standby node持有集群中blocks的最新位置是非常必要的。为了达到这一目的，DataNodes上需要同时配置这两个Namenode的地址，同时和它们都建立心跳链接，并把block位置发送给它们。

任何时刻，只有一个Active NameNode是非常重要的，否则将会导致集群操作的混乱，那么两个NameNode将会分别有两种不同的数据状态，可能会导致数据丢失，或者状态异常，这种情况通常称为“split-brain”（脑裂，三节点通讯阻断，即集群中不同的Datanodes却看到了两个Active NameNodes）。对于JNS而言，任何时候只允许一个NameNode作为writer；在failover期间，原来的Standby Node将会接管Active的所有职能，并负责向JNS写入日志记录，这就阻止了其他NameNode基于处于Active状态的问题。

 

基于QJM的HDFS HA方案如上图所示，其处理流程为：集群启动后一个NameNode处于Active状态，并提供服务，处理客户端和DataNode的请求，并把editlog写到本地和share editlog（这里是QJM）中。另外一个NameNode处于Standby状态，它启动的时候加载fsimage，然后周期性的从share editlog中获取editlog，保持与Active节点的状态同步。为了实现Standby在Active挂掉后迅速提供服务，需要DataNode同时向两个NameNode汇报，使得Stadnby保存block to DataNode信息，因为NameNode启动中最费时的工作是处理所有DataNode的blockreport。为了实现热备，增加FailoverController和Zookeeper，FailoverController与Zookeeper通信，通过Zookeeper选举机制，FailoverController通过RPC让NameNode转换为Active或Standby。

1.3 HDFS HA配置要素

NameNode机器：两台配置对等的物理机器，它们分别运行Active和Standby Node。

JouralNode机器：运行JouralNodes的机器。JouralNode守护进程相当的轻量级，可以和Hadoop的其他进程部署在一起，比如NameNode、DataNode、ResourceManager等，至少需要3个且为奇数，如果你运行了N个JNS，那么它可以允许(N-1)/2个JNS进程失效并且不影响工作。

在HA集群中，Standby NameNode还会对namespace进行checkpoint操作（继承Backup Namenode的特性），因此不需要在HA集群中运行SecondaryNameNode、CheckpointNode或者BackupNode。

1.4 HDFS HA配置参数

需要在hdfs.xml中配置如下参数：

dfs.nameservices：HDFS NN的逻辑名称，例如myhdfs。

dfs.ha.namenodes.myhdfs：给定服务逻辑名称myhdfs的节点列表，如nn1、nn2。

dfs.namenode.rpc-address.myhdfs.nn1：myhdfs中nn1对外服务的RPC地址。

dfs.namenode.http-address.myhdfs.nn1：myhdfs中nn1对外服务http地址。

dfs.namenode.shared.edits.dir：JournalNode的服务地址。

dfs.journalnode.edits.dir：JournalNode在本地磁盘存放数据的位置。

dfs.ha.automatic-failover.enabled：是否开启NameNode失败自动切换。

dfs.ha.fencing.methods ：配置隔离机制，通常为sshfence。

1.5 HDFS自动故障转移

HDFS的自动故障转移主要由Zookeeper和ZKFC两个组件组成。

Zookeeper集群作用主要有：一是故障监控。每个NameNode将会和Zookeeper建立一个持久session，如果NameNode失效，那么此session将会过期失效，此后Zookeeper将会通知另一个Namenode，然后触发Failover；二是NameNode选举。ZooKeeper提供了简单的机制来实现Acitve Node选举，如果当前Active失效，Standby将会获取一个特定的排他锁，那么获取锁的Node接下来将会成为Active。

ZKFC是一个Zookeeper的客户端，它主要用来监测和管理NameNodes的状态，每个NameNode机器上都会运行一个ZKFC程序，它的职责主要有：一是健康监控。ZKFC间歇性的ping NameNode，得到NameNode返回状态，如果NameNode失效或者不健康，那么ZKFS将会标记其为不健康；二是Zookeeper会话管理。当本地NaneNode运行良好时，ZKFC将会持有一个Zookeeper session，如果本地NameNode为Active，它同时也持有一个“排他锁”znode，如果session过期，那么次lock所对应的znode也将被删除；三是选举。当集群中其中一个NameNode宕机，Zookeeper会自动将另一个激活。

1.6 YARN HA架构

YARN的HA架构和HDFSHA类似，需要启动两个ResourceManager，这两个ResourceManager会向ZooKeeper集群注册，通过ZooKeeper管理它们的状态（Active或Standby）并进行自动故障转移。

 

2 高可用集群规划

2.1 集群规划

 

根据Hadoop的HA架构分析，规划整个集群由5台主机组成，具体情况如下表所示：

主机名

IP地址

安装的软件

JPS

hadoop-master1

172.16.20.81

Jdk/hadoop

Namenode/zkfc/resourcemanager/

JobHistoryServer

hadoop-master2

172.16.20.82

Jdk/hadoop

Namenode/zkfc/resourcemanager/

WebProxyServer

hadoop-slave1

172.16.20.83

Jkd/hadoop/zookeepe

Datanode/journalnode/nodemanager/

quorumPeerMain

hadoop-slave2

172.16.20.84

Jkd/hadoop/zookeeper

Datanode/journalnode/nodemanager/

quorumPeerMain

hadoop-slave3

172.16.20.85

Jkd/hadoop/zookeeper

Datanode/journalnode/nodemanager/

quorumPeerMain

需要说明以下几点：

HDFS HA通常由两个NameNode组成，一个处于Active状态，另一个处于Standby状态。Active NameNode对外提供服务，而Standby NameNode则不对外提供服务，仅同步Active NameNode的状态，以便能够在它失败时快速进行切换。

Hadoop 2.0官方提供了两种HDFS HA的解决方案，一种是NFS，另一种是QJM。这里我们使用简单的QJM。在该方案中，主备NameNode之间通过一组JournalNode同步元数据信息，一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode，这里还配置了一个Zookeeper集群，用于ZKFC故障转移，当Active NameNode挂掉了，会自动切换Standby NameNode为Active状态。

YARN的ResourceManager也存在单点故障问题，这个问题在hadoop-2.4.1得到了解决：有两个ResourceManager，一个是Active，一个是Standby，状态由zookeeper进行协调。

YARN框架下的MapReduce可以开启JobHistoryServer来记录历史任务信息，否则只能查看当前正在执行的任务信息。

Zookeeper的作用是负责HDFS中NameNode主备节点的选举，和YARN框架下ResourceManaer主备节点的选举。

2.2 软件版本

操作系统：CentOS Linux release 7.0.1406

JDK：Java(TM)SE Runtime Environment (build 1.7.0_79-b15)

Hadoop：Hadoop 2.6.0-cdh5.7.1

ZooKeeper：zookeeper-3.4.5-cdh5.7.1

3 Linux环境准备

集群各节点进行如下修改配置：

 

3.1 创建用户并添加权限

 

// 切换root用户

$ su root

// 创建hadoop用户组

# groupadd hadoop

// 在hadoop用户组中创建hadoop用户

# useradd -g hadoop hadoop

// 修改用户hadoop密码

# passwd hadoop

// 修改sudoers配置文件给hadoop用户添加sudo权限

# vim /etc/sudoers

hadoop    ALL=(ALL)       ALL

// 测试是否添加权限成功

# exit

$ sudo ls /root

3.2 修改IP地址和主机名

// 切换root用户

$ su root

// 修改本机IP地址

# vim /etc/sysconfig/network-scripts/ifcfg-eth0

// 重启网络服务

# service network restart

// 修改主机名

# hostnamectl set-hostname 主机名

// 查看主机名

# hostnamectl status

3.3 设置IP地址与主机名映射

// 切换root用户

$ su root

// 编辑hosts文件

# vim /etc/hosts

172.16.20.81    hadoop-master1

172.16.20.82    hadoop-master2

172.16.20.83    hadoop-slave1

172.16.20.84    hadoop-slave2

172.16.20.85    hadoop-slave3

3.4 关闭防火墙和Selinux

// 切换root用户

$ su root

// 停止firewall防火墙

# systemctl stop firewalld.service

// 禁止firewall开机启动

# systemctl disable firewalld.service

// 开机关闭Selinux

# vim /etc/selinux/config

SELINUX=disabled

// 重启机器后root用户查看Selinux状态

# getenforce

3.5 配置SSH免密码登录

// 在hadoop-master1节点生成SSH密钥对

$ ssh-keygen -t rsa

// 将公钥复制到集群所有节点机器上

$ ssh-copy-id hadoop-master1

$ ssh-copy-id hadoop-master2

$ ssh-copy-id hadoop-slave1

$ ssh-copy-id hadoop-slave2

$ ssh-copy-id hadoop-slave3

// 通过ssh登录各节点测试是否免密码登录成功

$ ssh hadoop-master2

备注：在其余节点上执行同样的操作，确保集群中任意节点都可以ssh免密码登录到其它各节点。

3.6 安装JDK

// 卸载系统自带的openjdk

$ suroot

# rpm-qa | grep java

# rpm-e --nodeps java-1.7.0-openjdk-1.7.0.75-2.5.4.2.el7_0.x86_64

# rpm-e --nodeps java-1.7.0-openjdk-headless-1.7.0.75-2.5.4.2.el7_0.x86_64

# rpm-e --nodeps tzdata-java-2015a-1.el7_0.noarch

# exit

// 解压jdk安装包

$ tar-xvf jdk-7u79-linux-x64.tar.gz

// 删除安装包

$ rmjdk-7u79-linux-x64.tar.gz

// 修改用户环境变量

$ cd ~

$ vim.bash_profile

exportJAVA_HOME=/home/hadoop/app/jdk1.7.0_79

exportPATH=$PATH:$JAVA_HOME/bin

// 使修改的环境变量生效

$ source.bash_profile

// 测试jdk是否安装成功

$ java-version

4 集群时间同步

如果集群节点时间不同步，可能会出现节点宕机或引发其它异常问题，所以在生产环境中一般通过配置NTP服务器实现集群时间同步。本集群在hadoop-master1节点设置ntp服务器，具体方法如下：

// 切换root用户

$ su root

// 查看是否安装ntp

# rpm -qa | grep ntp

// 安装ntp

# yum install -y ntp

// 配置时间服务器

# vim /etc/ntp.conf

# 禁止所有机器连接ntp服务器

restrict default ignore

# 允许局域网内的所有机器连接ntp服务器

restrict 172.16.20.0 mask 255.255.255.0 nomodify notrap

# 使用本机作为时间服务器

server 127.127.1.0

// 启动ntp服务器

# service ntpd start

// 设置ntp服务器开机自动启动

# chkconfig ntpd on

集群其它节点通过执行crontab定时任务，每天在指定时间向ntp服务器进行时间同步，方法如下：

// 切换root用户

$ su root

// 执行定时任务，每天00:00向服务器同步时间，并写入日志

# crontab -e

0       0       *      *       *       /usr/sbin/ntpdate hadoop-master1>> /home/hadoop/ntpd.log

// 查看任务

# crontab -l

5 Zookeeper集群安装

Zookeeper是一个开源分布式协调服务，其独特的Leader-Follower集群结构，很好的解决了分布式单点问题。目前主要用于诸如：统一命名服务、配置管理、锁服务、集群管理等场景。大数据应用中主要使用Zookeeper的集群管理功能。

本集群使用zookeeper-3.4.5-cdh5.7.1版本。首先在hadoop-slave1节点安装Zookeeper，方法如下：

// 新建目录

$ mkdir app/cdh

// 解压zookeeper安装包

$ tar -xvf zookeeper-3.4.5-cdh5.7.1.tar.gz -C app/cdh/

// 删除安装包

$ rm -rf zookeeper-3.4.5-cdh5.7.1.tar.gz

// 配置用户环境变量

$ vim .bash_profile

export ZOOKEEPER_HOME=/home/hadoop/app/cdh/zookeeper-3.4.5-cdh5.7.1

export PATH=$PATH:$ZOOKEEPER_HOME/bin

// 使修改的环境变量生效

$ source.bash_profile

// 修改zookeeper的配置文件

$ cd app/cdh/zookeeper-3.4.5-cdh5.7.1/conf/

$ cp zoo_sample.cfg zoo.cfg

$ vim zoo.cfg

# 客户端心跳时间(毫秒)

tickTime=2000

# 允许心跳间隔的最大时间

initLimit=10

# 同步时限

syncLimit=5

# 数据存储目录

dataDir=/home/hadoop/app/cdh/zookeeper-3.4.5-cdh5.7.1/data

# 数据日志存储目录

dataLogDir=/home/hadoop/app/cdh/zookeeper-3.4.5-cdh5.7.1/data/log

# 端口号

clientPort=2181

# 集群节点和服务端口配置

server.1=hadoop-slave1:2888:3888

server.2=hadoop-slave2:2888:3888

server.3=hadoop-slave3:2888:3888

# 以下为优化配置

# 服务器最大连接数，默认为10，改为0表示无限制

maxClientCnxns=0

# 快照数

autopurge.snapRetainCount=3

# 快照清理时间，默认为0

autopurge.purgeInterval=1

// 创建zookeeper的数据存储目录和日志存储目录

$ cd ..

$ mkdir -p data/log

// 在data目录中创建一个文件myid，输入内容为1

$ echo "1" >> data/myid

// 修改zookeeper的日志输出路径(注意CDH版与原生版配置文件不同)

$ vim libexec/zkEnv.sh

if [ "x${ZOO_LOG_DIR}" = "x" ]

then

   ZOO_LOG_DIR="$ZOOKEEPER_HOME/logs"

fi

if [ "x${ZOO_LOG4J_PROP}" = "x" ]

then

   ZOO_LOG4J_PROP="INFO,ROLLINGFILE"

fi

// 修改zookeeper的日志配置文件

$ vim conf/log4j.properties

zookeeper.root.logger=INFO,ROLLINGFILE

// 创建日志目录

$ mkdir logs

将hadoop-slave1节点上的Zookeeper目录同步到hadoop-slave2和hadoop-slave3节点，并修改Zookeeper的数据文件。此外，不要忘记设置用户环境变量。

// 在hadoop-slave1中将zookeeper目录复制到其它节点

$ cd ~

$ scp -r app/cdh/zookeeper-3.4.5-cdh5.7.1hadoop-slave2:/home/hadoop/app/cdh

$ scp -r app/cdh/zookeeper-3.4.5-cdh5.7.1 hadoop-slave3:/home/hadoop/app/cdh

//在hadoop-slave2中修改data目录中的myid文件

$ echo "2" >app/cdh/zookeeper-3.4.5-cdh5.7.1/data/myid

//在hadoop-slave3中修改data目录中的myid文件

$ echo "3" >app/cdh/zookeeper-3.4.5-cdh5.7.1/data/myid

最后，在安装了Zookeeper的各节点上启动Zookeeper，并查看节点状态，方法如下：

// 启动

$ zkServer.sh start

// 查看状态

$ zkServer.sh status

// 关闭

$ zkServer.sh stop

6 Hadoop HA配置

// 在hadoop-master1节点解压hadoop安装包

$ tar-xvf hadoop-2.6.0-cdh5.7.1.tar.gz -C /home/hadoop/app/cdh/

// 删除安装包

$ rmhadoop-2.6.0-cdh5.7.1.tar.gz

// 修改hadoop-env.sh文件

$ cd/home/hadoop/app/cdh/hadoop-2.6.0-cdh5.7.1/etc/hadoop

$ vimhadoop-env.sh

exportJAVA_HOME=/home/hadoop/app/jdk1.7.0_79

// 配置core-site.xml文件

$ vim core-site.xml

 

[html] view plain copy
 
  1. <configuration>  
  2.   <!-- 指定hdfs的nameservices名称为mycluster，与hdfs-site.xml的HA配置相同 -->  
  3.   <property>  
  4.     <name>fs.defaultFS</name>  
  5.     <value>hdfs://mycluster</value>  
  6.   </property>  
  7.       
  8.   <!-- 指定缓存文件存储的路径 -->  
  9.   <property>  
  10.     <name>hadoop.tmp.dir</name>  
  11.     <value>/home/hadoop/app/cdh/hadoop-2.6.0-cdh5.7.1/data/tmp</value>  
  12.   </property>  
  13.   
  14.   <!-- 配置hdfs文件被永久删除前保留的时间（单位：分钟），默认值为0表明垃圾回收站功能关闭 -->  
  15.   <property>  
  16.     <name>fs.trash.interval</name>  
  17.     <value>1440</value>  
  18.   </property>  
  19.     
  20.   <!-- 指定zookeeper地址，配置HA时需要 -->  
  21.   <property>  
  22.     <name>ha.zookeeper.quorum</name>  
  23.     <value>hadoop-slave1:2181,hadoop-slave2:2181,hadoop-slave3:2181</value>  
  24.   </property>  
  25. </configuration>  

 

 

// 配置hdfs-site.xml文件

$ vim hdfs-site.xml

 

[html] view plain copy
 
  1. <configuration>  
  2.   <!-- 指定hdfs元数据存储的路径 -->  
  3.   <property>  
  4.     <name>dfs.namenode.name.dir</name>  
  5.     <value>/home/hadoop/app/cdh/hadoop-2.6.0-cdh5.7.1/data/namenode</value>  
  6.   </property>  
  7.   
  8.   <!-- 指定hdfs数据存储的路径 -->  
  9.   <property>  
  10.     <name>dfs.datanode.data.dir</name>  
  11.     <value>/home/hadoop/app/cdh/hadoop-2.6.0-cdh5.7.1/data/datanode</value>  
  12.   </property>  
  13.     
  14.   <!-- 数据备份的个数 -->  
  15.   <property>  
  16.     <name>dfs.replication</name>  
  17.     <value>3</value>  
  18.   </property>  
  19.   
  20.   <!-- 关闭权限验证 -->  
  21.   <property>  
  22.     <name>dfs.permissions.enabled</name>  
  23.     <value>false</value>  
  24.   </property>  
  25.     
  26.   <!-- 开启WebHDFS功能（基于REST的接口服务） -->  
  27.   <property>  
  28.     <name>dfs.webhdfs.enabled</name>  
  29.     <value>true</value>  
  30.   </property>  
  31.     
  32.   <!-- //////////////以下为HDFS HA的配置////////////// -->  
  33.   <!-- 指定hdfs的nameservices名称为mycluster -->  
  34.   <property>  
  35.     <name>dfs.nameservices</name>  
  36.     <value>mycluster</value>  
  37.   </property>  
  38.   
  39.   <!-- 指定mycluster的两个namenode的名称分别为nn1,nn2 -->  
  40.   <property>  
  41.     <name>dfs.ha.namenodes.mycluster</name>  
  42.     <value>nn1,nn2</value>  
  43.   </property>  
  44.   
  45.   <!-- 配置nn1,nn2的rpc通信端口 -->  
  46.   <property>  
  47.     <name>dfs.namenode.rpc-address.mycluster.nn1</name>  
  48.     <value>hadoop-master1:8020</value>  
  49.   </property>  
  50.   <property>  
  51.     <name>dfs.namenode.rpc-address.mycluster.nn2</name>  
  52.     <value>hadoop-master2:8020</value>  
  53.   </property>  
  54.   
  55.   <!-- 配置nn1,nn2的http通信端口 -->  
  56.   <property>  
  57.     <name>dfs.namenode.http-address.mycluster.nn1</name>  
  58.     <value>hadoop-master1:50070</value>  
  59.   </property>  
  60.   <property>  
  61.     <name>dfs.namenode.http-address.mycluster.nn2</name>  
  62.     <value>hadoop-master2:50070</value>  
  63.   </property>  
  64.   
  65.   <!-- 指定namenode元数据存储在journalnode中的路径 -->  
  66.   <property>  
  67.     <name>dfs.namenode.shared.edits.dir</name>  
  68.     <value>qjournal://hadoop-slave1:8485;hadoop-slave2:8485;hadoop-slave3:8485/mycluster</value>  
  69.   </property>  
  70.     
  71.   <!-- 指定journalnode日志文件存储的路径 -->  
  72.   <property>  
  73.     <name>dfs.journalnode.edits.dir</name>  
  74.     <value>/home/hadoop/app/cdh/hadoop-2.6.0-cdh5.7.1/data/journal</value>  
  75.   </property>  
  76.   
  77.   <!-- 指定HDFS客户端连接active namenode的java类 -->  
  78.   <property>  
  79.     <name>dfs.client.failover.proxy.provider.mycluster</name>  
  80.     <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>  
  81.   </property>  
  82.   
  83.   <!-- 配置隔离机制为ssh -->  
  84.   <property>  
  85.     <name>dfs.ha.fencing.methods</name>  
  86.     <value>sshfence</value>  
  87.   </property>  
  88.   
  89.   <!-- 指定秘钥的位置 -->  
  90.   <property>  
  91.     <name>dfs.ha.fencing.ssh.private-key-files</name>  
  92.     <value>/home/hadoop/.ssh/id_rsa</value>  
  93.   </property>  
  94.     
  95.   <!-- 开启自动故障转移 -->  
  96.   <property>  
  97.     <name>dfs.ha.automatic-failover.enabled</name>  
  98.     <value>true</value>  
  99.   </property>  
  100. </configuration>  

 

 

// 配置mapred-site.xml文件

$ vim mapred-site.xml

 

[html] view plain copy
 
  1. <configuration>  
  2.   <!-- 指定MapReduce计算框架使用YARN -->  
  3.   <property>  
  4.     <name>mapreduce.framework.name</name>  
  5.     <value>yarn</value>  
  6.   </property>  
  7.   
  8.   <!-- 指定jobhistory server的rpc地址 -->  
  9.   <property>  
  10.     <name>mapreduce.jobhistory.address</name>  
  11.     <value>hadoop-master1:10020</value>  
  12.   </property>  
  13.   
  14.   <!-- 指定jobhistory server的http地址 -->  
  15.   <property>  
  16.     <name>mapreduce.jobhistory.webapp.address</name>  
  17.     <value>hadoop-master1:19888</value>  
  18.   </property>  
  19.   
  20.   <!-- 开启uber模式（针对小作业的优化） -->  
  21.   <property>  
  22.     <name>mapreduce.job.ubertask.enable</name>  
  23.     <value>true</value>  
  24.   </property>  
  25.   
  26.   <!-- 配置启动uber模式的最大map数 -->  
  27.   <property>  
  28.     <name>mapreduce.job.ubertask.maxmaps</name>  
  29.     <value>9</value>  
  30.   </property>  
  31.   
  32.   <!-- 配置启动uber模式的最大reduce数 -->  
  33.   <property>  
  34.     <name>mapreduce.job.ubertask.maxreduces</name>  
  35.     <value>1</value>  
  36.   </property>  
  37. </configuration>  

 

 

// 配置yarn-site.xml文件

$ vim yarn-site.xml

[html] view plain copy
 
  1. <configuration>  
  2.   <!-- NodeManager上运行的附属服务，需配置成mapreduce_shuffle才可运行MapReduce程序 -->  
  3.   <property>  
  4.     <name>yarn.nodemanager.aux-services</name>  
  5.     <value>mapreduce_shuffle</value>  
  6.   </property>  
  7.   
  8.   <!-- 配置Web Application Proxy安全代理（防止yarn被攻击） -->  
  9.   <property>  
  10.     <name>yarn.web-proxy.address</name>  
  11.     <value>hadoop-master2:8888</value>  
  12.   </property>  
  13.     
  14.   <!-- 开启日志 -->  
  15.   <property>  
  16.     <name>yarn.log-aggregation-enable</name>  
  17.     <value>true</value>  
  18.   </property>  
  19.   
  20.   <!-- 配置日志删除时间为7天，-1为禁用，单位为秒 -->  
  21.   <property>  
  22.     <name>yarn.log-aggregation.retain-seconds</name>  
  23.     <value>604800</value>  
  24.   </property>  
  25.   
  26.   <!-- 修改日志目录 -->  
  27.   <property>  
  28.     <name>yarn.nodemanager.remote-app-log-dir</name>  
  29.     <value>/logs</value>  
  30.   </property>  
  31.   
  32.   <!-- 配置nodemanager可用的资源内存 -->  
  33.   <property>  
  34.     <name>yarn.nodemanager.resource.memory-mb</name>  
  35.     <value>2048</value>  
  36.   </property>  
  37.   
  38.   <!-- 配置nodemanager可用的资源CPU -->  
  39.   <property>  
  40.     <name>yarn.nodemanager.resource.cpu-vcores</name>  
  41.     <value>2</value>  
  42.   </property>  
  43.     
  44.   <!-- //////////////以下为YARN HA的配置////////////// -->  
  45.   <!-- 开启YARN HA -->  
  46.   <property>  
  47.     <name>yarn.resourcemanager.ha.enabled</name>  
  48.     <value>true</value>  
  49.   </property>  
  50.   
  51.   <!-- 启用自动故障转移 -->  
  52.   <property>  
  53.     <name>yarn.resourcemanager.ha.automatic-failover.enabled</name>  
  54.     <value>true</value>  
  55.   </property>  
  56.   
  57.   <!-- 指定YARN HA的名称 -->  
  58.   <property>  
  59.     <name>yarn.resourcemanager.cluster-id</name>  
  60.     <value>yarncluster</value>  
  61.   </property>  
  62.   
  63.   <!-- 指定两个resourcemanager的名称 -->  
  64.   <property>  
  65.     <name>yarn.resourcemanager.ha.rm-ids</name>  
  66.     <value>rm1,rm2</value>  
  67.   </property>  
  68.   
  69.   <!-- 配置rm1，rm2的主机 -->  
  70.   <property>  
  71.     <name>yarn.resourcemanager.hostname.rm1</name>  
  72.     <value>hadoop-master1</value>  
  73.   </property>  
  74.   <property>  
  75.     <name>yarn.resourcemanager.hostname.rm2</name>  
  76.     <value>hadoop-master2</value>  
  77.   </property>  
  78.   
  79.   <!-- 配置YARN的http端口 -->  
  80.   <property>  
  81.     <name>yarn.resourcemanager.webapp.address.rm1</name>  
  82.     <value>hadoop-master1:8088</value>  
  83.   </property>   
  84.   <property>  
  85.     <name>yarn.resourcemanager.webapp.address.rm2</name>  
  86.     <value>hadoop-master2:8088</value>  
  87.   </property>  
  88.   
  89.   <!-- 配置zookeeper的地址 -->  
  90.   <property>  
  91.     <name>yarn.resourcemanager.zk-address</name>  
  92.     <value>hadoop-slave1:2181,hadoop-slave2:2181,hadoop-slave3:2181</value>  
  93.   </property>  
  94.   
  95.   <!-- 配置zookeeper的存储位置 -->  
  96.   <property>  
  97.     <name>yarn.resourcemanager.zk-state-store.parent-path</name>  
  98.     <value>/rmstore</value>  
  99.   </property>  
  100.   
  101.   <!-- 开启yarn resourcemanager restart -->  
  102.   <property>  
  103.     <name>yarn.resourcemanager.recovery.enabled</name>  
  104.     <value>true</value>  
  105.   </property>  
  106.   
  107.   <!-- 配置resourcemanager的状态存储到zookeeper中 -->  
  108.   <property>  
  109.     <name>yarn.resourcemanager.store.class</name>  
  110.     <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>  
  111.   </property>  
  112.   
  113.   <!-- 开启yarn nodemanager restart -->  
  114.   <property>  
  115.     <name>yarn.nodemanager.recovery.enabled</name>  
  116.     <value>true</value>  
  117.   </property>  
  118.   
  119.   <!-- 配置nodemanager IPC的通信端口 -->  
  120.   <property>  
  121.     <name>yarn.nodemanager.address</name>  
  122.     <value>0.0.0.0:45454</value>  
  123.   </property>  
  124. </configuration>  

// 配置slaves文件

$ vimslaves

hadoop-slave1

hadoop-slave2

hadoop-slave3

// 创建配置文件中涉及的目录

$ cd/home/hadoop/app/cdh/hadoop-2.6.0-cdh5.7.1/

$ mkdir-p data/tmp

$ mkdir-p data/journal

$ mkdir-p data/namenode

$ mkdir-p data/datanode

// 将hadoop工作目录同步到集群其它节点

$ scp-r /home/hadoop/app/cdh/hadoop-2.6.0-cdh5.7.1/hadoop-master2:/home/hadoop/app/cdh/

scp -r/home/hadoop/app/cdh/hadoop-2.6.0-cdh5.7.1/ hadoop-slave1:/home/hadoop/app/cdh/

scp -r/home/hadoop/app/cdh/hadoop-2.6.0-cdh5.7.1/ hadoop-slave2:/home/hadoop/app/cdh/

scp -r/home/hadoop/app/cdh/hadoop-2.6.0-cdh5.7.1/ hadoop-slave3:/home/hadoop/app/cdh/

// 在集群各节点上修改用户环境变量

$ vim .bash_profile

export HADOOP_HOME=/home/hadoop/app/cdh/hadoop-2.6.0-cdh5.7.1

export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

// 使修改的环境变量生效

$ source.bash_profile

// 解决本地库文件不存在的问题

在apache官网下载hadoop-2.6.0.tar.gz，解压后将lib/native下所有文件复制到$HADOOP_HOME/lib/native中。

7 Hadoop集群的初始化

// 启动zookeeper集群（分别在slave1、slave2和slave3上执行）

$ zkServer.shstart

// 格式化ZKFC（在master1上执行）

$ hdfszkfc -formatZK

// 启动journalnode（分别在slave1、slave2和slave3上执行）

$ hadoop-daemon.shstart journalnode

// 格式化HDFS（在master1上执行）

$ hdfsnamenode -format

// 将格式化后master1节点hadoop工作目录中的元数据目录复制到master2节点

$ scp-r app/cdh/hadoop-2.6.0-cdh5.7.1/data/namenode/*hadoop-master2:/home/hadoop/app/cdh/hadoop-2.6.0-cdh5.7.1/data/namenode/

// 初始化完毕后可关闭journalnode（分别在slave1、slave2和slave3上执行）

$ hadoop-daemon.shstop journalnode

8 Hadoop集群的启动

8.1 集群启动步骤

// 启动zookeeper集群（分别在slave1、slave2和slave3执行）

$ zkServer.shstart

// 启动HDFS（在master1执行）

$ start-dfs.sh

备注：此命令分别在master1/master2节点启动了NameNode和ZKFC，分别在slave1/slave2/slave3节点启动了DataNode和JournalNode，如下图所示。

 

// 启动YARN（在master2执行）

$ start-yarn.sh

备注：此命令在master2节点启动了ResourceManager，分别在slave1/slave2/slave3节点启动了NodeManager。

 

// 启动YARN的另一个ResourceManager（在master1执行，用于容灾）

$ yarn-daemon.sh start resourcemanager

// 启动YARN的安全代理（在master2执行）

$ yarn-daemon.sh start proxyserver

备注：proxyserver充当防火墙的角色，可以提高访问集群的安全性

// 启动YARN的历史任务服务（在master1执行）

$ mr-jobhistory-daemon.sh starthistoryserver

备注：yarn-daemon.sh start historyserver已被弃用；CDH版本似乎有个问题，即mapred-site.xml配置的mapreduce.jobhistory.address和mapreduce.jobhistory.webapp.address参数似乎不起作用，实际对应的端口号是10200和8188，而且部需要配置就可以在任意节点上开启历史任务服务。

8.2 集群启动截图

hadoop-master1开启了NameNode、ResourceManager、HistoryServer和ZKFC，如下图所示：

 

hadoop-master2开启了NameNode、ResourceManager、ProxyServer和ZKFC，如下图所示：

 

hadoop-slave1、hadoop-slave2和hadoop-slave3分别开启了DataNode、JournalNode、NodeManager和ZooKeeper，如下图所示：

 

 

8.3 Web UI

下图为http://hadoop-master1:50070，可看到NameNode为active状态：

 

下图为http://hadoop-master2:50070，可看到NameNode为standby状态：

 

HDFS还有一个隐藏的UI页面http://hadoop-master1:50070/dfshealth.jsp比较好用：

 

下图为http://hadoop-master2:8088，可看到ResourceManager为active状态：

 

下图为http://hadoop-master1:8088，可看到ResourceManager为standby状态，它会自动跳转到http://hadoop-master2:8088：

 

下图为http://hadoop-master1:19888，可查看历史任务信息：

 

9 功能测试

// 向HDFS上传数据

$ hadoopfs -put webcount.txt /input

// 查看HDFS上的数据

$ hadoopfs -ls /input

$ hadoopfs -cat /input/webcount.txt

 

 

// 向YARN提交MapReduce任务，该任务用于分析网站日志文件webcount.txt统计每小时的点击次数

$ hadoopjar mr-webcount-0.0.1-SNAPSHOT.jar com.mr.demo.WebCountDriver/input/webcount.txt /output/webcount 1 1

 

// 在HDFS查看结果

$ hadoopfs -ls /output/webcount

$ hadoopfs -cat /output/webcount/part-r-00000

 

// 通过Web UI查看任务信息和历史任务信息

 

 

 

分享到：
| Json Web Token(JWT)简介
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    HadoopHA集群配置文件

    本文将深入探讨Hadoop HA（高可用性）集群的配置文件，包括`core-site.xml`、`hdfs-site.xml`、`mapred-site.xml`、`yarn-site.xml`以及`slaves`文件，这些都是确保Hadoop集群稳定运行的基础。 1. `core-site.xml`:...

    基于zookeeper的hadoop ha集群安装过程

    基于ZooKeeper的Hadoop HA集群安装过程 在大数据时代，Hadoop作为大数据处理的核心技术，高可用性(HA)是企业对其进行部署和维护的必备条件。基于ZooKeeper的Hadoop HA集群可以提供高可用性和可扩展性，满足企业对大...

    hadoopHA搭建资源包

    在IT行业中，Hadoop HA（高可用性）是大数据处理领域的一个重要概念，它确保了Hadoop集群在主节点故障时能够无缝切换到备份节点，从而保持服务的连续性和数据的完整性。本资源包提供了搭建Hadoop HA所需的关键组件，...

    配hadoopHA最怕就是配置文件错了

    在Hadoop分布式计算环境中，高可用性(High Availability, HA)是确保系统稳定运行的关键特性。标题提到的“配Hadoop HA最怕就是配置文件错了”，意味着配置Hadoop HA时，配置文件的正确性至关重要。这里我们将深入...

    自己总结的hadoop HA安装流程

    而Hadoop HA（High Availability）则是为了确保系统在面临单点故障时仍能保持高可用性。以下是我根据自身经验总结的Hadoop HA安装流程，这个流程已经在实际工作中得到验证，可以确保稳定运行。 一、环境准备 1. ...

    Hadoop HA搭建笔记和配置文件

    为了提高系统的可用性和可靠性，Hadoop引入了High Availability（HA）特性，允许NameNode和ResourceManager等关键服务在主备之间无缝切换。本笔记将深入探讨如何搭建Hadoop HA环境，并分享配置文件及其详细解读。 ...

    HadoopHA集群部署、YARNHA配置、启动与验证教学课件.pptx

    【Hadoop HA集群部署】是高可用(High Availability)配置的一种，主要目的是为了确保Hadoop分布式文件系统在遇到单点故障时，能够自动切换到备用节点，保证服务不间断。这通常涉及到NameNode HA，Secondary NameNode...

    HadoopHA配置文件.rar

    本文件"**HadoopHA配置文件.rar**"包含了实现Hadoop HA所需的一些核心配置，主要包括`core-site.xml`、`hdfs-site.xml`、`mapred-site.xml`和`yarn-site.xml`，以及`slaves`文件。以下将详细解析这些配置文件中的...

    Hadoop HA(QJM)高可集群性配置

    Hadoop高可用性(HA)集群配置是一种为了应对Hadoop分布式文件系统(HDFS)中单点故障问题而设计的高可靠配置方案。在该方案中，原本单一的NameNode被两个或多个NameNode替代，以实现热备和故障自动切换的功能，以确保在...

    HadoopHA集群部署、规划HadoopHA集群教学课件.pptx

    【Hadoop HA 集群部署详解】 在大数据领域，Hadoop HA（高可用性）是确保服务持续可用的关键技术，特别是在生产环境中。HA通过在出现故障时将工作负载自动转移到备份节点，来保证系统的稳定性。本文将深入探讨...

    Hadoop HA.pdf

    Hadoop HA Hadoop HA（High Availability）是指在Hadoop集群中，通过部署多个NameNode来实现高可用性，避免单点故障对系统的影响。HA机制可以使得Hadoop集群在NameNode故障时，自动切换到备用的NameNode，以确保...

    Hadoop HA高可用集群搭建（Hadoop+Zookeeper+HBase）

    Hadoop HA高可用集群搭建（Hadoop+Zookeeper+HBase） 一、Hadoop HA高可用集群概述 在大数据处理中，高可用集群是非常重要的，Hadoop HA高可用集群可以提供高可靠性和高可用性，确保数据处理不中断。该集群由...

    HadoopHA集群部署、YARNHA测试Job教学课件.pptx

    【Hadoop HA 集群部署与 YARN HA 测试Job 教学】 在大数据处理领域，Hadoop 是一个至关重要的分布式计算框架，它提供了高可用性（HA）的特性来确保服务的连续性和稳定性。Hadoop HA 主要指的是 HDFS（Hadoop ...

    hadoop HA高可用性完全分布式集群安装

    ### hadoop HA高可用性完全分布式集群安装 在大数据处理领域，Hadoop作为一个开源软件框架，主要用于分布式存储和处理大规模数据集。为了提高系统的稳定性和可靠性，Hadoop提供了高可用性（High Availability，简称...

    第5章-Hadoop HA集群配置.pdf

    Hadoop HA 集群配置 本章节将详细介绍 Hadoop HA 集群配置的实验步骤，包括高可用 ZooKeeper 集群的部署、配置和启动。整个实验过程共分为三个部分：实验一：高可用 ZooKeeper 集群部署、实验二：Hadoop HA 集群...

    hadoop HA安装文档详解

    ### Hadoop高可用（HA）集群搭建详解 #### 一、前言 Hadoop HA（High Availability）集群是指在一个Hadoop集群中同时运行两个或多个NameNode实例，并且能够实现故障转移，确保集群的高可用性。本文档将详细介绍如何...

    Hadoop HA搭建脚本资料（必读）

    Hadoop HA（High Availability）是为了解决单点故障问题，确保集群的高可用性。本文将详细阐述如何通过脚本搭建Hadoop HA环境。 首先，理解Hadoop HA的核心组件： 1. **NameNode HA**：Hadoop的元数据管理服务，HA...

    HadoopHA高可用集群配置 core-site.xml

    ### Hadoop HA高可用集群配置核心解析：core-site.xml #### 概述 在搭建Hadoop高可用（High Availability, HA）集群时，`core-site.xml`是其中一个至关重要的配置文件。它主要用于定义Hadoop集群的基本属性，如...

    Hadoop HA集群配置.docx

    在构建Hadoop高可用(HA)集群时，ZooKeeper起着至关重要的作用。Hadoop HA主要关注两个关键组件的高可用性：HDFS（Hadoop分布式文件系统）的HA和YARN（Yet Another Resource Negotiator）的HA。ZooKeeper作为一个...

    Hadoop HA集群启动.docx

    在Hadoop生态系统中，高可用性（High Availability, HA）是确保系统持续稳定运行的关键特性。HA集群的设计目标是消除单点故障，确保7*24小时的服务不间断。Hadoop HA主要关注两个核心组件的高可用性：HDFS（Hadoop...

Magicbox
Global site tag (gtag.js) - Google Analytics