hadoop CHD4 HA 详细安装和配置

准备：
下载安装hadoop
wget http://archive.cloudera.com/cdh4/cdh/4/hadoop-2.0.0-cdh4.3.0.tar.gz
下载安装zookeeper
wget http://archive.cloudera.com/cdh4/cdh/4/zookeeper-3.4.5-cdh4.3.0.tar.gz

1、当前hadoop集群的情况

10.95.3.61              master   (主NN)
10.95.3.62              slave1   (DN)
10.95.3.63              slave2   (备NN)
10.95.3.64              slave3   (DN)
10.95.3.65              slave4   (DN)
10.95.3.67              slave6   (DN，nfs)

2、安装和配置nfs

    由于节点资源有限，故选择slave6(DN)作为nfs服务器。默认情况下，系统本身自己就安装了nfs，如果没有安装，则：
NFS的安装配置：
centos 5 :
yum -y install nfs-utils portmap
centos 6(在CentOS 6.3当中，portmap服务由rpcbind负责) :
yum -y install nfs-utils rpcbind

以下操作在slave6上进行
1） 创建共享目录：
mkdir /dw/ha_edits (hadoop 用户创建)

2） 切换用户为root  ，
执行：vi /etc/exports，
添加：/dw/ha_edits *(rw,sync,no_root_squash) [遇到的问题：如果*换成10.95.3.*的话，挂载会失败，报拒绝访问的错误]，保存退出。

3） 使保存生效，执行：exportfs -r

4） 启动nfs服务：
对centos6，执行：
# service rpcbind start
# service nfs start
对centos5，执行：
# service portmap start
# service nfs start

以下操作在主备NN上操作
1） 创建要挂载的目录
登录master，用hadoop用户创建/dw/ha_edits目录，执行：
mount -t nfs 10.95.3.67:/dw/ha_edits /dw/ha_edits
登录slave2，用hadoop用户创建/dw/ha_edits 目录，执行：
mount -t nfs 10.95.3.67:/dw/ha_edits  /dw/ha_edits

到此挂载成功
注意，对/etc/exports文件修改，要重启nfs服务，命令：service nfs restart。

2）解除挂载：(root用户操作)
# umount /dw/ha_edits
如果遇到：umount.nfs:  /dw/ha_edits : device is busy，则执行：
# fuser -m -v /dw/ha_edits
用户 进程号 权限 命令
/usr/local/test/: root 2798 ..c.. bash
root 2996 ..c.. su
# kill -9 2798
# kill -9 2996
# umount /usr/local/test
3）查看挂载信息：
# mount

3、配置两个NameNode可以相互无密码ssh

      现在两台NN分别是master和slave2。以hadoop用户登录slave2，进入/home/hadoop目录下，
1)   执行：
      ssh-keygen -t rsa，注意一定不要输入密码，这样，在/home/hadoop/.ssh目录下将会生成id_rsa，id_rsa.pub两个文件。

2)  配置slave2到master的免密码登录:
     执行：ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@master ，这样就把slave2的公钥加入到了master的authorized_keys文件中。

     同理，可以配置master到slave2的免密码登录(此处不再赘述)。

     注意：文件夹的权限
     chmod 755 .ssh/
     chmod 644 .ssh/authorized_keys


4、zookeeper安装和配置

     选定以下作为zookeeper 服务器：
     10.95.3.61    master
     10.95.3.63    slave2
     10.95.3.67    slave6

     zookeeper的详细安装过程此处不在赘述。
     注意以下几点：
           1） 配置zookeeper环境变量。
           2）把/conf 下的zoo_sample.cfg拷贝一份重命名为zoo.cfg，并配置相应选项。

5、hadoop的相关配置

     1)  修改所有节点(NN,DN) 的 hdfs-site.xml
          进入hadoop安装目录下的etc/hadoop目录中，
          执行：vi hdfs-site.xml
          注释掉：

          <!--    <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>slave1:50090</value>
        </property>
         -->

          添加：

        <property>
                <name>dfs.nameservices</name>
                <value>master</value>
                <description>提供服务的NS逻辑名称，与core-site.xml里的对应</description>
        </property>

        <property>
                <name>dfs.ha.namenodes.master</name>
                <value>nn1,nn2</value>
                <description>列出该逻辑名称下的NameNode逻辑名称</description>
        </property>

        <property>
                <name>dfs.namenode.rpc-address.master.nn1</name>
                <value>master:8020</value>
        </property>
        <property>
                <name>dfs.namenode.rpc-address.master.nn2</name>
                <value>slave2:8020</value>
        </property>
        <property>
                <name>dfs.namenode.http-address.master.nn1</name>
                <value>master:50070</value>
        </property>
        <property>
                <name>dfs.namenode.http-address.master.nn2</name>
                <value>slave2:50070</value>
        </property>

        保存，退出。
          最后，把这个文件同步到所有其他的节点上去。

       2） 修改两个NN节点的hdfs-site.xml
              执行：vi hdfs-site.xml
              添加以下配置：

         <property>
                <name>dfs.namenode.shared.edits.dir</name>
                <value>file:///dw/ha_edits</value>
        </property>

        <property>
                <name>dfs.client.failover.proxy.provider.master</name>
                <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
        </property>

        <property>
                <name>dfs.ha.fencing.methods</name>
                <value>sshfence</value>
        </property>
        <property>
                <name>dfs.ha.fencing.ssh.private-key-files</name>
                <value>/home/hadoop/.ssh/id_rsa</value>
        </property>

        <property>
                <name>dfs.ha.automatic-failover.enabled</name>
                <value>true</value>
        </property>

         保存退出。
         把hdfs.xml同步到另一个NN节点上去。

       3） 修改两个NN节点的core-site.xml
              执行：vi core-site.xml
              添加以下配置：

        <property>
                <name>ha.zookeeper.quorum</name>
                <value>master:2181,slave2:2181,slave6:2181</value>
        </property>

        保存退出。
        把core-site.xml文件同步到另一个NN节点上。

        注：

        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://master</value>
        </property>

        这个配置master要和上面的hdfs-site.xml一些配置对应。
ps: 经过测试，以上配置文件在所有NN，DN节点上可以一致，所以可以在一个节点上修改完毕后同步到其他节点上去。
       6） 同步两个HA NameNodes的磁盘元数据(hdfs namenode -format)

            如果你正在建立一个新的HDFS集群，你应该首先在其中的一台namenodes上运行format command(hdfs          namenode -format)。
            如果你已经format了NameNode，把主NN上的整个current复制到备NN上的。此时，你也应该确认共享edits 目录（dfs.namenode.shared.edits.dir配置）包含了你的NameNode 元数据目录最近的所有edits的文件。

      7） 在zookeeper初始化HA的状态

           初始化在zookeeper中需要的状态，你能够在其中一台的NameNode主机上执行下面命令：
           $ hdfs zkfc -formatZK
           这将在zookeeper里面创建一个znode，这样自动failover能够在它里面存储它的数据。

       8 )  用start-dfs.sh启动集群

            # start-dfs.sh
  
             启动后，在挂载的目录下能看到current目录以及下面的元数据。两个NN将会存在两个进程：DFSZKFailoverController   NameNode

             执行：hdfs haadmin -getServiceState nn1/nn2  能返回各个节点的状态

       9 ) 测试

             kill -9 [pid of NN]  检查是否切换到了另一个节点上去了。