hadoop-2.0-cdh4 HA 解决方案安装文档

 

 

1.安装NFS，配置共享目录

安装配置NFS

NFS是Network File System的简写,即网络文件系统.网络文件系统是FreeBSD支持的文件系统中的一种，也被称为NFS. NFS允许一个系统在网络上与它人共享目录和文件。通过使用NFS，用户和程序可以象访问本地文件一样访问远端系统上的文件。CentOS系统中如何安装和配置nfs呢，下面我们就来学习一下方法。首先我们来介绍一些会用到的CentOS系统命令。

1. 安装

$yum -y install nfs-utils

2. 创建共享目录

$su root (切换到root用户，因为NFS只能被root用户使用)

$mkdir –p /smp/hadoop-cdh4

$chmod –R 777 /smp/hadoop-cdh4 (因为是root用户创建,要给当前用户赋可读写的权限)

3. 配置

$vi /etc/exports

在配置文件中添加你要共享的目录等信息，例如：

/smp/hadoop-cdh4 *(rw,sync,no_root_squash)

内容具体参数说明如下：

[共享的目录] [主机名或IP(参数,参数)]

其中参数是可选的，当不指定参数时，nfs将使用默认选项。默认的共享选项是 sync,ro,root_squash,no_delay。

CentOS系统中，当主机名或IP地址为空时，则代表共享给任意客户机提供服务。

当将同一目录共享给多个客户机，但对每个客户机提供的权限不同时，可以这样：

[共享的目录] [主机名1或IP1(参数1,参数2)] [主机名2或IP2(参数3,参数4)]

下面是一些NFS共享的常用参数：

 

1.	ro          只读访问  
2.	rw          读写访问  
3.	sync        所有数据在请求时写入共享  
4.	async       NFS在写入数据前可以相应请求  
5.	secure      NFS通过1024以下的安全TCP/IP端口发送  
6.	insecure    NFS通过1024以上的端口发送  
7.	wdelay      如果多个用户要写入NFS目录，则归组写入（默认）  
8.	no_wdelay   如果多个用户要写入NFS目录，则立即写入，当使用async时，无需此设置。  
9.	hide        在NFS共享目录中不共享其子目录  
10.	no_hide     共享NFS目录的子目录  
11.	subtree_check           如果共享/usr/bin之类的子目录时，强制NFS检查父目录的权限（默认）  
12.	no_subtree_check        和上面相对，不检查父目录权限  
13.	all_squash  共享文件的UID和GID映射匿名用户anonymous，适合公用目录。  
14.	no_all_squash           保留共享文件的UID和GID（默认）  
15.	root_squash root用户的所有请求映射成如anonymous用户一样的权限（默认）  
16.	no_root_squash          root用户具有根目录的完全管理访问权限  
17.	anonuid=xxx 指定NFS服务器/etc/passwd文件中匿名用户的UID  

 

 

anongid=xxx 指定NFS服务器/etc/passwd文件中匿名用户的GID

4. 启动

$/etc/init.d/nfs restart

在你要共享的机器上同样使用root用户创建同步的目录并赋读写权限，并挂在该目录，具体的命令如下：

 

$mkdir –p /smp/avatarshare
$mount -v -t nfs -o tcp,soft,retry=20,timeo=20,rsize=32768,wsize=32768  hadoop04:/smp/hadoop-cdh4 /smp/hadoop-cdh4	

 

 

到此我们就将NFS配置并启动好了

 

4.安装zookeeper-3.4.2

下载zookeeper-3.4.2.tar.gz http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.2/zookeeper-3.4.2.tar.gz

将tar包解压到指定目录

tar zxvf zookeeper-3.4.2.tar.gz

修改zookeeper配置

将zookeeper安装目录下conf/zoo_sample.cfg重命名为zoo.cfg

修改其中的内容

 

 

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial 
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
dataDir=/home/hadoop/zookeeper
# the port at which the clients will connect
clientPort=2181
server.1=hadoop01:2888:3888
server.2=hadoop02:2888:3888
server.3=hadoop03:2888:3888
#
# Be sure to read the maintenance section of the 
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1

 

 

 

在配置的dataDir目录下创建一个myid文件，里面写入一个0-255之间的一个随意数字，每个zookeeper上这个文件的数字要是不一样的

修改下面的内容变成你自己的服务器地址

server.1=hadoop01:2888:3888

server.2=hadoop02:2888:3888

server.3=hadoop03:2888:3888

分别启动所有的zookeeper

bin/zkServer.sh start

使用客户端连接zookeeper测试是否成功

bin/zkCli.sh -server ip地址:clientPort

 

 

 

 

2.修改hadoop安装目录下etc/hadoop/core-site.xml

加入以下内容

 

<!--fs.default.name for MRV1 ,fs.defaultFS for MRV2(yarn) -->
<property>
     <name>fs.defaultFS</name>
	 <!--这个地方的值要和hdfs-site.xml文件中的dfs.federation.nameservices一致-->
     <value>hdfs://dinglicom</value>
</property>
<property>
  <name>ha.zookeeper.quorum</name>
  <value>hadoop03:2181,hadoop04:2181,hadoop05:2181</value>
</property>

 

 

 

3.修改hdfs-site.xml

 

 

<!--配置dfs.nameservices 这个名称可以随意，如果同时还使用HDFS 的Federation机制，则应该使用逗号分隔nameservices列表-->
<property>
  <name>dfs.federation.nameservices</name>
  <value>dinglicom</value>
</property>

<property>
  <name>dfs.namenode.name.dir</name>
  <value>/home/hadoop/hadoop-cdh4-nn</value>
</property>
<!--配置：dfs.ha.namenodes.[nameservice ID]. 下面的dinglicom是nameservice ID，nn1和nn2是每台namenode的serviceId。-->
<property>
  <name>dfs.ha.namenodes.dinglicom</name>
  <value>nn1,nn2</value> 
</property>
<!--配置rpc通信地址：dfs.namenode.rpc-address.[nameservice ID].-->
<property>
  <name>dfs.namenode.rpc-address.dinglicom.nn1</name>
  <value>hadoop01:8020</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.dinglicom.nn2</name>
  <value>hadoop02:8020</value>
</property>
<!--配置http通信地址：dfs.namenode.http-address.[nameservice ID].-->
<property>
  <name>dfs.namenode.http-address.dinglicom.nn1</name>
  <value>hadoop01:50070</value>
</property>
<property>
  <name>dfs.namenode.http-address.dinglicom.nn2</name>
  <value>hadoop02:50070</value>
</property>

<!--配置 dfs.namenode.shared.edits.dir 是主备namenode共享目录，这里要求主备都可以读写，采用NFS实现共享-->
<property>
  <name>dfs.namenode.shared.edits.dir</name>
  <value>/smp/hadoop-cdh4</value>
</property>
<!--配置客户端failover，解决客户端故障转移-->
<property>
  <name>dfs.client.failover.proxy.provider.dinglicom</name> 
  <value>org.apache.Hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

<!--配置：Fencing，
这里dfs.ha.fencing.methods实现的方法有两种sshfence和shell，我下面实现的是sshfence，dfs.ha.fencing.ssh.private-key-files这个是ssh的key file ,用于在Active 节点切换期间的安全机制，确保在任何时间都只有一个NameNode 处于活跃状态。在故障切换期间，haadmin 命令确保在将其它NameNode 转换为Active 状态之前Active 节点处在Standby 状态，或其进程已被终止。
至少应该配置一个，因为没有默认配置，因此如果配置则HA 机制将会失效。
如果要实现自定义的安全机制，参照org.apache.hadoop.ha.NodeFencer
-->
<property>
  <name>dfs.ha.fencing.methods</name>
  <value>sshfence</value>
</property>
<property>
  <name>dfs.ha.fencing.ssh.private-key-files</name>
  <value>/home/smp/.ssh/id_rsa</value>
</property>
<!--启用失败自动切换-->
<property>
  <name>dfs.ha.automatic-failover.enabled</name>
  <value>true</value>
</property>
<!--配置zk集群信息-->
<property>
  <name>ha.zookeeper.quorum</name>
  <value>hadoop03:2181,hadoop04:2181,hadoop05:2181</value>
</property>
<!--datanode数据存放目录-->
<property>
    <name>dfs.data.dir</name>
    <value>/home/hadoop/hadoop-cdh4-dn</value>
</property>

 

 

4.namenode格式化

bin/hadoop namenode -format -clusterid cluster1

 

5. HDFS (HA) 的初始化

设定所有的必要配置项后，必须首先同步两个NameNode 上的元数据。如果是新建的HDFS 集群，则应首先格式化一个NameNode ，或者想把非HA 集群转换为HA 集群，按照dfs.namenode.name.dir 、dfs.namenode.edits.dir 的配置把当前NameNode 节点的元数据目录复制到另一个NameNode. 还应该确保共享存储目录下(dfs.namenode.shared.edits.dir ) 包含NameNode 所有的元数据

 

6.zk格式化

bin/hdfs zkfc -formatZK

 

7.HDFS(HA) 的管理

sbin/start-dfs.sh

默认以HA 方式启动集群，启动后为Standby 状态，使用如下命令设置Active 节点 (手动方式)

bin/hdfs haadmin –DFSHAadmin –transitionToActive nn1

如果让nn2 成为变为active nn1 变为standby ，则

# bin/hdfs haadmin -DfSHAadmin -failover nn1 nn2

如果失败(is not ready to become active) 则

# bin/hdfs haadmin -DfSHAadmin -failover --forceactive nn1 nn2

具体参照bin/hdfs haadmin命令