Ubuntu10.10下Hadoop快速安装手册

 

Ubuntu下Hadoop快速安装手册

一、环境

       ubuntu10.10+jdk1.6

二、下载&安装程序

     1.1 Apache Hadoop:

         下载Hadoop Relase:http://hadoop.apache.org/common/releases.html

          解压：tar xzf hadoop-x.y.z.tar.gz

     1.2 安装JDK1.6:sudo apt-get install sun-java6-jdk

三、配置环境变量&配置文件

      1.环境变量

         export HADOOP_INSTALL=/opt/hadoop-0.20.2/ (Hadoop解压目录)

         export PATH=$PATH:$HADOOP_INSTALL/bin

         export HADOOP_COMMON_HOME=$HADOOP_INSTALL

         export HADOOP_CONF_DIR=$HADOOP_INSTALL/conf

         export JAVA_HOME=/usr/lib/jvm/java-6-openjdk(JDK目录)

     2.配置Hadoop

          2.1设置hadoop JAVA_HOME

             打开$HADOOP_INSTALL/conf/hadoop-env.sh,配置JAVA_HOME如下图：

          

               2.2 设置hadoop ,hdfs,mapreduce（伪集群设置，其它参考文档）

              2.2.1设置core-site.xml,如下：

                  <configuration>

                      <property>

                          <name>fs.default.name</name>

                          <value>hdfs://localhost:9000/</value>

                     </property>

                     <property>

                     <!-- 注意：一定要设置此项,dfs,mapreduce,tmp文件都存放此处；

                     否则dfs,mapreduce将默认存放在系统临时目录下(/tmp),

                     系统重启后，以前的所有操作将消失。--!>

                                    <property>

                           <name>hadoop.tmp.dir</name>

                              <value>/home/john/hadoop/</value>

                       </property>

                   </configuration>

               具体配置项参考： hadoopinstal/doc/core-default.html

               2.2.2 设置hdfs-site.xml,如下：

                <configuration>

                     <property>

                          <name>dfs.replication</name>

                          <value>1</value>

                    </property>

                <configuration>

               具体配置项参考： hadoopinstal/doc/hdfs-default.html

               2.2.3设置mapred-site.xml,如下：

               <configuration>

                    <property>

                        <name>mapred.job.tracker</name>

                        <value>localhost:9001</value>

                    </property>

              <configuration>

 

              具体配置项参考： hadoopinstal/doc/mapred-default.html

四、Format Hadoop&Run Hadoop

        控制台执行命令：hadoop namenode -format

        运行：start.all.sh

        验证是否安装成功：

       浏览器：http://localhost:50030

                    (localhost Hadoop Map/Reduce Administration)

                    http://localhost:50070

                    (NameNode'localhost.localdomain:8020')

五、安装Eclipse plugin

        对与不同Hadoop版本，需要不同的plugin,需要自己编译，在0.20.2版本一下，的release包里都有编译好的plugin,位置在(解压目录/contrib/eclipse-plugin/)。编译plugin问题很多，如果需先赌为快，建议安装0.20.2版。直接把hadoop-*-eclipse-plugin.jar，cp到”eclipse安装目录/eclise/plugins”

        注意，一定不要修改hadoop-*-eclipse-plugin.jar名称，然后重新启动eclipse即可，

查看插件如下图：