Hadoop集群部署

   

#Hadoop集群部署

 

 虚拟机:  VMware Workstation9

 

 操作系统: ubuntu11.04

 

 Jdk版本 : jdk-6u20-linux-i586.bin

 

 Ssh版本 : openssh-client_5.3p1-3ubuntu3_i386.deb

       https://launchpad.net/ubuntu/lucid/i386/openssh-client/1:5.3p1-3ubuntu3

       openssh-server_5.3p1-3ubuntu3_i386.deb

       https://launchpad.net/ubuntu/lucid/i386/openssh-server/1:5.3p1-3ubuntu3

       ssh_5.3p1-3ubuntu3_all.deb

       https://launchpad.net/ubuntu/lucid/i386/ssh/1:5.3p1-3ubuntu3

 

 Hadoop版本: hadoop-0.21.0.tar.gz

 

#1.虚拟机安装配置

（略）

#2.操作系统安装配置

（略）部署时先建立hadoop用户然后使用hadoop用户登录进行配置

#3.java环境安装配置

所有的机器上都要安装JDK，现在就先在Master服务器安装，然后其他服务器按照步骤重复进行即可。安装JDK以及配置环境变量，需要以"root"的身份进行

3.1 将jdk-6u20-linux-i586.bin文件拷贝的系统中，然后将其拷贝到/usr/local/目录下

~$: sudo cp /home/hadoop/Desktop/jdk-6u20-linux-i586.bin /usr/local

3.2 进入文件目录执行安装命令

~$: cd /usr/local

~$: ./jdk-6u20-linux-i586.bin 

3.3 安装完成后进行jdk配置

~$: sudo gedit /etc/environment

3.4 在environment文件中添加配置

PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/jdk1.6.0_20/bin"

CLASSPATH="/usr/local/jdk1.6.0_20/lib"    

JAVA_HOME="/usr/local/jdk1.6.0_20"  

3.5 测试是否安装成功

~$: java -version

3.6修改hosts文件(添加本机192.168.170.43   node1 ，192.168.168.220  master )

~$ Sudo gedit /etc/hosts

 

 

 

 

#4.建立hadoop用户组及用户

所有的机器上都要创建hadoop用户组及hadoop用户，现在就先在Master服务器安装，然后其他服务器按照步骤重复进行即可。需要以"root"的身份进行

4.1 切换到root下 执行创建命令

~$ sudo addgroup hadoop

4.2 为hadoop组添加hadoop用户

~$ sudo adduser -ingroup hadoop hadoop

4.3 为hadoop添加权限

~$ sudo gedit/etc/sudoers

4.4 在sudoers文件里，root下添加信息

Root  ALL=(ALL:ALL) ALL

Hadoop ALL=(ALL:ALL) ALL

4.5 设置可写权限

Chmod -R 755 hadoop

 

 

#5.ssh安装配置

所有的机器上都要安装配置ssh

5.1 将ssh文件放入系统中进行安装，默认目录/etc/ssh

~$ sudo dpkg -i openssh-client_5.3p1-3ubuntu3_i386.deb

~$ sudo dpkg -i openssh-server_5.3p1-3ubuntu3_i386.deb

~$ sudo dpkg -i ssh_5.3p1-3ubuntu3_all.deb

5.2 测试是否安装成功

~$ ssh localhost

5.3 为hadoop用户生成密钥对,先切换到hadoop用户下(默认目录是/home/hadoop/.ssh)

~$ su hadoop

~$ cd /home/hadoop

~$ ssh-keygen -trsa 

~$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

5.4 测试连接是否成功(第一次连接会有提示)

~$ ssh localhost

~$ ssh node1

The authenticity of host ‘node1 (10.64.56.76)’ can’t be established.
RSA key fingerprint is 03:e0:30:cb:6e:13:a8:70:c9:7e:cf:ff:33:2a:67:30.
Are you sure you want to continue connecting (yes/no)?

5.5 将authorized_keys复制到其他子节点中(使用ssh localhost)

~$ cd .ssh 

~$ scp authorized_keys node1:/home/hadoop/.ssh

5.6 修改authorized权限

~$ chmod 644 authorized_keys

 

 

#6.hadoop安装及配置

#切换到hadoop用户下

6.1 将hadoop文件放入系统中 拷贝到/usr/local 目录下

~$ sudo cp /home/hadoop/Desktop/hadoop-0.21.0.tar.gz /usr/local

6.2 执行解压,修改hadoop-0.21.0文件夹名称方便以后操作(权限不够就切换root用户)

~$ cd /usr/local/

~$ sudo tar -zxvf hadoop-0.21.0.tar.gz 

~$ cd /usr/local/

~$ mv hadoop-0.21.0 hadoop

6.3 配置hadoop的conf/hadoop-env.sh文件(将jdk的路径添加上)

~$ sudo gedit /usr/local/hadoop/conf/hadoop-env.sh

  export JAVA_HOME=/usr/local/jdk1.6.0_20

6.4 配置conf/core-site.xml(所有节点相同)

~$ sudo gedit /usr/local/hadoop/conf/core-site.xml

 <property>

     <name>fs.default.name</name>

     <value>hdfs://master:49000</value>

 </property>

 <property>

     <name>hadoop.tmp.dir</name>

     <value>/home/hadoop/hadoop_home/var</value>

 </property>

6.5 配置conf/mapred-site.xml(所有节点相同)

~$ sudo gedit /usr/local/hadoop/conf/mapred-site.xml

 <property>

      <name>mapred.job.tracker</name>

      <value>master:49001</value>

 </property>

 <property>

      <name>mapred.local.dir</name>

      <value>/home/hadoop/hadoop_home/var</value>

 </property>

6.6 配置 conf/hdfs-site.xml(所有节点相同)

~$ sudo gedit /usr/local/hadoop/conf/hdfs-site.xml

 <property>

    <name>dfs.name.dir</name>

<value>/home/hadoop/name1</value>

</property>

<property>

<name>dfs.data.dir</name>

<value>/home/hadoop/data1</value>

</property>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

 

6.7 配置masters和slaves主从结点

~$ sudo gedit /usr/local/hadoop/conf/masters

 master

~$ sudo gedit /usr/local/hadoop/conf/slaves

 node

 

 

 

 

#7.hadoop启动

格式化一个新的分布式文件系统

7.1进行格式化(执行完后可以到master机器上看到/home/hadoop//name1)

~$ cd /usr/local/hadoop

~$ bin/hadoop namenode-format

7.2 启动所有节点

~$ ssh localhost

~$ cd /usr/local/hadoop

~$ bin/start-all.sh

系统输出以下信息

starting namenode, logging to /usr/local/hadoop/logs/hadoop-hadoop-namenode-ubuntu.out

node2: starting datanode, loggingto /usr/local/hadoop/logs/hadoop-hadoop-datanode-ubuntu.out

node3: starting datanode, loggingto /usr/local/hadoop/logs/hadoop-hadoop-datanode-ubuntu.out

node1:starting secondarynamenode,logging to /usr/local/hadoop/logs/hadoop-hadoop-secondarynamenode-ubuntu.out

starting jobtracker, logging to/usr/local/hadoop/logs/hadoop-hadoop-jobtracker-ubuntu.out

node2: starting tasktracker,logging to /usr/local/hadoop/logs/hadoop-hadoop-tasktracker-ubuntu.out

node3: starting tasktracker,logging to /usr/local/hadoop/logs/hadoop-hadoop-tasktracker-ubuntu.out

As you can see in slave's output above, it will automatically format it's storage directory(specified by dfs.data.dir) if it is not formattedalready. It will also create the directory if it does not exist yet. 

7.3 关闭所有节点

~$ ssh localhost

~$ cd /usr/local/hadoop

~$ bin/stop-all.sh

 

 

8.测试

浏览NameNode和JobTracker的网络接口，它们的地址默认为：

NameNode - http://master:50070/

jobTracker - http://master:50030/

 

 

 

 

Hadoop fs -rmr input

 

1 ssh localhost 登录仍然需要密码

Agent admitted failure to sign using the key.

解决办法：cd .ssh 

          Ssh-add ~/.ssh/id_rsa

 

2 如果启动成功 但是页面没有显示连接的node 

 

一定是节点配置问题 hosts