Hadoop在CentOS上的安装及实现

 

Hadoop在CentOS上的安装及实现分为3部分：

第一，安装jdk以及配置jdk

        安装jdk：

              jdk的下载：

                  jdk的下载网址：http://download.oracle.com/otn-pub/java/jdk/6u29-b11/jdk-6u29-linux-i586.bin

                  这里需要注意的是：安装的jdk需要1.6版本以上的jdk。

                  注意：jdk1.6版本 （因为我安装的时候使用了jdk1.5，导致最后使用的时候出现版本过低的错误。）

              jdk的安装：

                  选择CentOS上的jdk安装目录，我是在home/zhangpuego/下建了的目录，将bin文件解压即可。

        配置jdk：

             1.切换到root用户   su - root

             2.更改环境变量文件

                   在/etc/profile文件中，增加：
                   #add for java enviroment time:2011-11-30

                   #注意此处的路径
                   JAVA_HOME=/home/zhangpuego/software/jdk1.5.0_22
                   CLASSPAT=.:$JAVA_HOME/jre/lib/rt.jar
                   PATH=$JAVA_HOME/bin:$PATH
                   export JAVA_HOME CLASSPATH PATH

             3.切换到zhangpuego用户

                   输入 java -version查看：
                  java version "1.6.0_29"
                  Java(TM) SE Runtime Environment (build 1.6.0_29-b11)
                  Java HotSpot(TM) Client VM (build 20.4-b02, mixed mode, sharing)

              JDK安装成功！

第二，安装hadoop以及配置hadoop

           安装hadoop：

                 hadoop的下载：

                       hadoop的下载地址：http://apache.etoak.com//hadoop/common/hadoop-0.20.203.0/hadoop-0.20.203.0rc1.tar.gz

           hadoop的配置：（在hadoop的安装目录下能找到conf文件夹和下面的几个xml文件）

                 conf/core-site.xml :

<configuration>
     <property>
         <name>fs.default.name</name>
         <value>hdfs://localhost:9000</value>
     </property>
</configuration>

conf/hdfs-site.xml :

<configuration>
     <property>
         <name>dfs.replication</name>
         <value>1</value>
     </property>
</configuration>

conf/mapred-site.xml :

<configuration>
     <property>
         <name>mapred.job.tracker</name>
         <value>localhost:9001</value>
     </property>
</configuration>

第三，启动hadoop及网页测试

         启动hadoop：

              Format a new distributed-filesystem:

              $ ./hadoop namenode -format

              Start the hadoop daemons:
              $ ./start-all.sh(这一步时，注意文件的访问权限问题)

         网页测试：

• NameNode - http://localhost:50070/

• JobTracker - http://localhost:50030/