Hadoop-2.7.1安装与配置

Hadoop-2.7.1安装与配置

     前面我们说了，旧版hadoop-1.2.1的安装配置，这也是好几年前的版本了吧。而现在最新版本是hadoop-2.7.1 。虽然，大体上hadoop的安装步骤基本一致，但是最新版本与hadoop-1.2.1不管是目录结构，亦或是脚本什么的都有了个很大的改变。所以，我便有写了一篇关于hadoop-2.7.1的安装配置博客。当然，最好的教程还是在官网，所以本文仅供参考，真正可行的还是在官网： http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-common/SingleCluster.html

一、准备

jdk-7u17-linux-x64.tar.gz

hadoop-2.7.1.tar.gz

二、jdk、ssh安装

      可以参考前面的安装步骤：

http://cyw.iteye.com/blog/2251727

三、安装hadoop-2.7.1

1、将hadoop-2.7.1.tar.gz放在桌面，打开终端，cp到喜欢的目录之下。比如我安装在/home/hadoop/目录下

cp hadoop-2.7.1.tar.gz /home/hadoop/ 

 

 

2、解压安装hadoop-2.7.1

sudo tar -zxvf hadoop-2.7.1.tar.gz 

 

3、进入hadoop-2.7.1文件夹，配置环境变量，打开etc/hadoop/hadoop-env.sh。

sudo gedit etc/hadoop/hadoop-env.sh

 

 在文件里编辑如下JAVA_HOME变量，改为自己的java安装目录：

export JAVA_HOME=/usr/lib/java/jdk1.7.0_17 

 

4、进入hadoop文件夹

bin/hadoop

 

      输出如下：

 

5、如果是单机模式的话，这是便可以使用了：

 

6、如果是伪分布式的话，则还需要配置一些。打开etc/hadoop/core-site.xml

      sudo gedit etc/hadoop/core-site.xml

 

 编辑内容如下：

<configuration>
     <property>
             <name>fs.defaultFS</name>
             <value>hdfs://localhost:9000</value>
      </property>
 </configuration>

 

 

7、打开etc/hadoop/hdfs-site.xml

sudo gedit etc/hadoop/hdfs-site.xml

 

 编辑内容如下：

<configuration>
    <property>
        <name>dfs.replication</name>
         <value>1</value>
     </property>
</configuration>

 

 

8、此时，hdfs的配置已经完成。可以开启namenode 、secondarynomenode、datanode了。此时，hadoop-2.7.1建议我们使用hdfs而不是hadoop脚本，而且部分hdfs的操作放在sbin目录的脚本里面。所以：

 #格式化namenode
 bin/hdfs namenode -format
 #开启hdfs的相关节点
 sbin/start-dfs.sh
 #关闭hdfs节点
 sbin/stop-dfs.sh

 

可以使用浏览器url：localhost:50070进行web查看管理。

 

9、配置yarn计算框架（算是Map/Reduce的升级版）

 打开etc/hadoop/mapred-queues.xml.template

sudo gedit etc/hadoop/mapred-queues.xml.template

 

 编辑内容如下：

<configuration>
    <property>
            <name>mapreduce.framework.name</name>
             <value>yarn</value>
     </property>
 </configuration>

 

 

10、打开etc/hadoop/yarn.site.xml

sudo gedit etc/hadoop/yarn-site.xml

 

 编辑如下：

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

 

 

11、此时，关于yarn计算框架也配置完成了，可以开始使用了。

  #启动yarn
  sbin/start-yarn.sh
  #关闭yarn
  sbin/stop-yarn.sh

 

 

    12、已经配置完成，全部开启之后，输入命令：

 jps

 

出现以上输出，即是说明安装配置完成了。

注意：如果在开启的时候，出现无法创建、打开目录文件的情况时，即是说明，当前用户没有此文件操作权限，所以需要修改权限：

 sudo chmod 777 *

     尤其是修改hadoop-2.7.1目录、logs目录及其中文件、etc目录及其中的hadoop目录及其其中的文件，这些的权限。

      以上，便安装配置完成了。以下链接是所需要的安装包：

http://pan.baidu.com/s/14uFy2

      以及hadoop-1.2.1的安装配置文章： 

http://cyw.iteye.com/blog/2251727