Hadoop1.2.1 集群安装

        机器配置：win7+i7-3635QM+12G内存，使用Vmware虚拟机，里面安装3台Ubuntu12.04 64位。虚拟机每一个分配CPU2核、内存2G、硬盘40G。使用NAT网络适配模式。

        1、安装Ubuntu

              安装Ubuntu后，运行 

              sudo apt-get update

              sudo apt-get install openssh-server

              安装ssh server

         2、安装JDK，设置CLASSPATH、PATH路径

         3、配置hosts文件

              192.168.222.129  clusterMaster
              192.168.222.130  clusterSlave1
              192.168.222.131  clusterSlave2

        4、配置SSH免密码链接

             进入到用户.ssh目录：/home/sujx/.ssh

             运行ssh-keygen -t rsa生成公钥和密钥。

             再把id_dsa.pub 追加到授权key 里面：cat id_rsa.pub >> authorized_keys

             每台机器都这么做，最后把3个authorized_keys放到一起，再复制到每台机器的.ssh文件夹下。注意，每一个公钥最后的主机名要修改成为前面hosts文件中对应的主机名。

             最后如下：

            
       5、下载解压Hadoop1.2.1包，解压到 /opt 目录下(需要预先给opt目录赋权 chown -R sujx /opt)。

            修改配置文件：

            5.1 core-site.xml

           

            5.2 mapred-site.xml

           

            5.3 hdfs-site.xml

           

            5.4 masters

           

            5.5 slaves

           

           5.6 hadoop-env.sh

           修改JAVA_HOME配置

          

 

          配置完毕时候，使用scp把hadoop-1.2.1文件夹复制到clusterSlave1和clusterSlave2上，路径都在/opt下。

    6、设置环境变量

         下图是我本机的环境变量设置：

         

          三台机器上的环境变量都相同

     7、启动hadoop

          命令：start-all.sh

          查看进程：

          clusterMaster：

         

          clusterSlave：

         

          至此集群安装完毕