hadoop2 ha概念特点 搭建手工切换ha的hdfs集群

 

 

0 ha简介：

 

high availibility: 高可靠，有两个namenode节点在运行，一个是active状态 一个是standby状态，此两个namenode要保持内部数据一致性
通过journalnode集群实现namenode内部数据一致性，active状态的namenode像journalnode集群写入数据，standby状态的namenode从journalnode集群读入数据
当active状态的namenode宕机下，可以自动或者手动方式将standby状态的namenode变成active状态

 

真实环境中如何确认不同机器担任何种角色？
答： namenode适合于大内存机器 datanode适合于大硬盘机器 journalnode对内存和硬盘要求不高无特殊需要

 

 

 

 

1 准备5个节点虚拟机，分配功能如下
namenode：h2master h2master2
datanode：h2sliver112 h2sliver113 h2sliver114
journalnode：h2master h2master2 h2sliver112

 

2 准备初始环境：

将5个节点机器的静态IP,机器别名，IP和别名映射关系(vi /etc/hosts 内写所有节点映射关系)，防火墙关闭设置好

 

3 5台机器各自ssh互通

 

a) 在各自机器中生成各自机器ssh秘钥(ssh-keygen -t rsa),并cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys生成各自公钥
 
b) 分别在其余四台机器中通过命令ssh-copy-id -i h2master 将各自机器公钥拷贝到h2master中，
  后在h2master中，通过scp /root/.ssh/authorized_keys  其余四个机器别名:/root/.ssh 拷贝回去
  这样实现5台机器相互之间无密码下ssh连接
  
4  在h2master内安装jdk,配置环境变量，后拷贝到其余四个节点：

 

scp  /etc/profile  h2master2:/etc/profile
scp -r /usr/local/jdk1.7  h2master2:/usr/local/ 

或者写脚本执行：
# vi mysh.sh
#!/bin/sh
for i in 112 113
do
scp -rq /usr/local/hadoop2.5 h2sliver$i:/usr/local
done

 

5 h2master配置hadoop配置文件，后拷贝到其余四个节点

 

配置文件写法和解释如下：

1.1 配置文件(hadoop-env.sh、core-site.xml、hdfs-site.xml、slaves)
1.1.1 hadoop-env.sh
  export JAVA_HOME=/usr/local/jdk1.7
1.1.2 core-site.xml

	<property>
	<name>fs.defaultFS</name>
	<value>hdfs://cluster1</value>
	</property>

	<property>
	<name>hadoop.tmp.dir</name>
	<value>/usr/local/hadoop2.5/tmp</value>
	</property>

1.1.3 hdfs-site.xml

	<property>
	<name>dfs.replication</name>
	<value>3</value>
	</property>

	<property>
	<name>dfs.nameservices</name>  
	<value>cluster1</value>     ------  ha对应的namenode节点定义
	</property>

	<property>
	<name>dfs.ha.namenodes.cluster1</name>
	<value>h2master,h2master2</value>
	</property>

	<property>
	<name>dfs.namenode.rpc-address.cluster1.h2master</name>  ------  ha对应的namenode节点端口地址
	<value>h2master:9000</value>
	</property>

	<property>
	<name>dfs.namenode.http-address.cluster1.h2master</name> ------  ha对应的namenode节点端口地址
	<value>h2master:50070</value>
	</property>

	<property>
	<name>dfs.namenode.rpc-address.cluster1.h2master2</name> ------  ha对应的namenode节点端口地址
	<value>h2master2:9000</value>
	</property>

	<property>
	<name>dfs.namenode.http-address.cluster1.h2master2</name> ------  ha对应的namenode节点端口地址
	<value>h2master2:50070</value>
	</property>

	<property>
	<name>dfs.ha.automatic-failover.enabled.cluster1</name> ------  ha 上取消自动恢复
	<value>false</value>
	</property>

	<property> -- 节点数最少是3个并且建议使用奇数个
	<name>dfs.namenode.shared.edits.dir</name> ------   定义journalnode集群 /cluster1表示对cluster1对应的namenode集群进行数据共享
	<value>qjournal://h2master:8485;h2master2:8485;h2sliver112:8485/cluster1</value>   
	</property>

	<property>
	<name>dfs.journalnode.edits.dir</name> ------  定义journalnode集群存储namenode集群的数据存放位置
	<value>/usr/local/hadoop2.5/tmp/journal</value>
	</property>

	<property>
	<name>dfs.ha.fencing.methods</name> ------ 指定切换方式用ssh 
	<value>sshfence</value>
	</property>

	<property>
	<name>dfs.ha.fencing.ssh.private-key-files</name> ------ 指定ssh私钥文件路径
	<value>/root/.ssh/id_rsa</value>
	</property>

	<property>
	<name>dfs.client.failover.proxy.provider.cluster1</name> ------ 声明执行切换要使用的代理类
	<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
	</property>

1.1.6 slaves
	h2sliver112
	h2sliver113
	h2sliver114

 

拷贝代码写法如下，其余节点类推写法：

scp -r /usr/local/hadoop2.5  h2master2:/usr/local/ 

 

6 启动hadoop2 hdfs集群

 

a) 先启动journalnode集群:
h2master h2master2 h2sliver112 sbin下上分别执行： hadoop-daemon.sh start journalnode
通过jps可以发现：
[root@h2sliver112 sbin]# jps
5617 Jps
5571 JournalNode   启动成

b) 格式化namenode：
b.1)在h2master格式化后启动：
bin/hdfs namenode -format
sbin/hadoop-daemon.sh start namenode
[root@h2master sbin]# jps
13436 NameNode
13298 JournalNode
13503 Jps

b.2) 在h2master2上格式化并启动：
bin/hdfs namenode -bootstrapStandby   表示从另一个namenode节点上把数据读取过来
sbin/hadoop-daemon.sh start namenode

格式化日志可见，确实是从h2master节点上拷贝文件过来：
15/01/10 23:44:36 INFO namenode.TransferFsImage: Opening connection to http://h2master:50070/imagetransfer?getimage=1&txid=0&storageInfo=-57:1431856901:0:CID-71ea9740-d125-461b-9663-f98bd1a5023d
15/01/10 23:44:36 INFO namenode.TransferFsImage: Image Transfer timeout configured to 60000 milliseconds
15/01/10 23:44:37 INFO namenode.TransferFsImage: Transfer took 0.00s at 0.00 KB/s
15/01/10 23:44:37 INFO namenode.TransferFsImage: Downloaded file fsimage.ckpt_0000000000000000000 size 351 bytes.

[root@h2master2 sbin]# jps
5843 Jps
5775 NameNode
5615 JournalNode

b.3) 
此时访问 http://h2master:50070/dfshealth.html   http://h2master2:50070/dfshealth.html 会发现这两个节点都是standby状态，

在h2master上执行hadoop2.5/bin/hdfs haadmin -failover --forceactive h2master2 h2master
haadmin -failover 命令是ha故障恢复命令，后面两个参数中，最后的参数表示让节点为active 第一个参数设置为standby

如果两个namenode节点都是standy状态 是不能执行hdfs操作的 执行也不会显示任何结果



d) 启动datanode
在datanode节点上分别执行 hadoop2.5/sbin/hadoop-daemons.sh start datanode

 

 

7 手动切换ha：

 

e.1) 上传数据到h2master中,
[root@h2master bin]# hdfs dfs -put /etc/hosts /

e.2) 手动杀死h2master
[root@h2master bin]# jps
13436 NameNode
14108 Jps
13298 JournalNode
[root@h2master bin]# kill -9 13436
[root@h2master bin]# jps
14120 Jps
13298 JournalNode

[root@h2master bin]# hdfs haadmin -failover --forceactive h2master h2master2
...
Failover from h2master to h2master2 successful

此时在访问
	
http://h2master2:50070/dfshealth.html  会发现状态已经为active

再去h2mater2中查看 以前在h2master中上传的数据，会存在  ha保证了数据一致性
[root@h2master2 bin]# hdfs dfs -ls /
-rw-r--r--   3 root supergroup        323 2015-01-11 00:11 /hosts

 

 

8 关闭各节点写法：

 

关闭datanode:
[root@h2master sbin]# hadoop-daemons.sh  stop datanode
h2sliver113: stopping datanode
h2sliver112: stopping datanode
h2sliver114: stopping datanode

两个节点关闭namenode:
[root@h2master sbin]# hadoop-daemon.sh stop namenode
stopping namenode

[root@h2master2 sbin]# hadoop-daemon.sh stop namenode
stopping namenode

注意： 关闭datanode 可以再任何节点关闭  并且使用命令hadoop-daemons.sh 是复数有s
       关闭namenode 只能在namenode节点关闭 使用命令hadoop-daemons.sh 是单数没有s

关闭JournalNode：
直接 kill -9 进程号即可