Yarn（Hadoop-2.1.0beta）集群最简安装

一 安装JDK
#  /etc/profile
export JAVA_HOME=/usr/usr1/java/default
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

source /etc/profile

二 无密码ssh登录（建议本机也弄）
# 本地执行：生成密钥对
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
# 远程服务器执行：用公钥给远程机器授权
# 注意：在namenode上，为Secondarynamenode也需要操作一次本机的无密钥登陆
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
# 远程机器授权全后，可以删除公钥
rm -rf ~/.ssh/id_dsa.pub

三 配置hadoop

1)配置hadoop-env.sh
export JAVA_HOME=//usr/usr1/java/default
可以不配，默认地址为/log，但是为了防止其他地方修改
export HADOOP_LOG_DIR=/usr/usr1/hadoop/hadoop-2.1.0-beta/logs

2)配置conf/core-site.xml
如没有配置hadoop.tmp.dir参数，此时系统默认的临时目录为：/tmp/hadoo-hadoop。而这个目录在每次重启后都会被干掉，必须重新执行format才行，否则会出错

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
            <value>/data0/usr1/hadoop/tmp</value>
            <!--备注：请先在 /data0/usr1/hadoop 目录下建立 tmp 文件夹-->
        <description>A base for other temporary directories.</description>
    </property>

    <!-- file system properties -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://QT-H-0117:9000</value>
    </property>
</configuration>

3)配置hdfs-site.xml
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
        <!--备注：replication 是数据副本数量，例如：设置为3的话，salve少于3台就会报错，副本数量没必要设置太多-->
    </property>
<configuration>

4)配置yarn-site.xml
<configuration>
  <property>
      <description>The hostname of the RM.</description>
      <name>yarn.resourcemanager.hostname</name>
      <value>0.0.0.0</value>
  </property> 
</configuration>
5)配置mapred-site.xml
<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>local</value>
    <description>The runtime framework for executing MapReduce jobs.
    Can be one of local, classic or yarn.
    </description>
  </property>
</configuration>

6)配置slaves  ，namenode特有datanode可以不配置
QT-H-0118
QT-H-0119
..........

四 格式化
/bin/hdfs namenode -format

五 启动
/sbin/start-all.sh


六 验证，在namenode上
http://QT-H-0117:8088/ resourcemanager管理页面
http://QT-H-0117:50070/

tips:
hadoop本地库与系统版本不一致引起的错误解决方法（glibc默认是32位版本）
http://blog.csdn.net/jiedushi/article/details/7496327

Hadoop 新 MapReduce 框架 Yarn 详解
http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/#_3.1_hadoop_0.23.0

评论

1 楼 sina_jerry_chen 2013-09-12