Hadoop使用笔记二 -- hadoop2.6.3配置并启动

虚拟机的密码都是root/lijian
虚拟机以4台linux的主机
在你的hosts加入各台虚拟机

192.168.8.129   CentOS1
192.168.8.131   CentOS2
192.168.8.130   CentOS3
192.168.8.132   CentOS4

首先需要编译好的hadoop以及jdk相关的环境
配置步骤
1. 配置HA NameNodes文档
http://hadoop.apache.org/docs/r2.6.4/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html
配置hdfs-site.xml

<configuration>
<property>
  <name>dfs.nameservices</name>
  <value>haserver</value>
</property>
<property>
  <name>dfs.ha.namenodes.haserver</name>
  <value>nn1,nn2</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.haserver.nn1</name>
  <value>centos1:8020</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.haserver.nn2</name>
  <value>centos2:8020</value>
</property>
<property>
  <name>dfs.namenode.http-address.haserver.nn1</name>
  <value>centos1:50070</value>
</property>
<property>
  <name>dfs.namenode.http-address.haserver.nn2</name>
  <value>centos2:50070</value>
</property>
<property>
  <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://centos2:8485;centos3:8485;centos4:8485/haserver</value>
</property>
<property>
  <name>dfs.client.failover.proxy.provider.haserver</name>
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

<property>
  <name>dfs.ha.fencing.methods</name>
  <value>sshfence</value>
</property>
<property>
  <name>dfs.ha.fencing.ssh.private-key-files</name>
  <value>/home/.ssh/id_dsa</value>
</property>


<property>
  <name>dfs.journalnode.edits.dir</name>
  <value>/opt/journal/data</value>
</property>
<property>
   <name>dfs.ha.automatic-failover.enabled</name>
   <value>true</value>
</property>
</configuration>

2. 配置core-site.xml

<configuration>
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://haserver</value>
</property>
<property>
   <name>ha.zookeeper.quorum</name>
   <value>centos1:2181,centos2:2181,centos3:2181</value>
</property>

 <property>
   <name>hadoop.tmp.dir</name>
   <value>/opt/hadoop2</value>
 </property>
</configuration>

3. 安装zookeeper
http://janle.iteye.com/admin/blogs/2298499
4. 配置slavers
在/home/hadoop-2.6.4/etc/hadoop/slavers根据对照表添加相应的slaver服务器
在hadoop2中没有使用secendnameNode，所以不需要配置master
5.启动三个zookeeper：./zkServer.sh start
6.启动3个Journalnode,对照表中的配置我们是在centos2,3,4 所以在对应的服务器上启动
在三台机子目录为/home/hadoop-2.6.3/sbin 执行./hadoop-daemon.sh start journalnode
7.centos1上执行格式化 ./hdfs namenode –format
对照我们设置的namenode的节点是在centos1,2上，所以在该两台服务器上操作。在之前设置的/opt/hadoop2/下查看格式化后的结果。
没有format centos2的namenode节点，首先你要将centos1已经格式化的namenode启动./hadoop-daemon.sh start namenode
在centos2上执行命令./hdfs namenode –bootstrapStandby在centos2上查看format后的结果
8.启动hdfs
a)首先格式化zkfc
  i. 在任何一个namenode上格式化hdfs zkfc –formatZK
  ii. 执行启动start-dfs.sh执行后显示以下结果可以看到详细的服务器的节点分配情况，


Jps一下看看DFSZKFailoverController是不是在列表中

9. 上传一个文件试试
  a) ./hdfs dfs -mkdir -p /usr/file 目录下创建一个目录
  b) ./hdfs dfs –put /root/file /usr/file 上传一个文件
  c) 访问http://centos2:50070/explorer.html#/usr/file看看文件是否已经上传
10. 配置mapreduce
mapred-site.xml配置

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

yarn-site.xml配置

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>centos1</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <property>
        <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

11.这里关闭stop-dfs.sh,重新启动集群，这里我们就可以使用start-all.sh启动了.Jsp后出现你想要的结果。