Ubuntu下Hadoop的集群版的安装

Ubuntu下Hadoop的集群版的安装

0,准备两个服务器

机器名    IP        作用

hadoop.main   192.168.1.102    NameNode,JobTracker,DataNode,TaskTracker

hadoop.slave   192.168.1.107    DataNode,TaskTracker

注意:两台主机必须使用相同的用户名运行

1,安装ssh

sudo apt-get install ssh

2,安装rsync

sudo apt-get install rsync

3,配置ssh免密码登录

ssh-keygen -t rsa -p '' -f ~/.ssh/id_rsa

cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys

验证是否成功

ssh localhost

4,配置JDK环境和下载hadoop 1.0.3

JDK 安装路径为~/home/app/jdk1.6.0_30

Hadoop 1.0.3路径为~/hadoop-1.0.3

5,修改hadoop配置文件，指定jdk安装路径

vi conf/hadoop-env.sh

export JAVA_HOME=/home/app/jdk1.6.0_30

6,修改hadoop核心配置文件core-site.xml，配置HDFS的地址和端口号

vi conf/core-site.xml

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>

</property>

</configuration>

7,修改Hadoop中HDFS配置，修改replication

vi conf/hdfs-site.xml

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>

8,修改Hadoop中MapReduce的配置文件，配置的是JobTracker的地址和端口

vi conf/mapred-site.xml

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>localhost:9001</value>

</property>

</configuration>

9,格式化Hadoop的文件系统HDFS

bin/hadoop namenode -format

10,启动Hadoop

bin/start-all.sh

11,最后验证hadoop是否安装完成，打开浏览器分别输入以下网址：

http://127.0.0.1:50030     MapReduce的web界面

http://127.0.0.1:50070   HDFS的web界面

如果能够查看说明Hadoop安装成功

12,当两台主机上都按照1-11步骤安装完成hadoop环境，那么继续13

13,在/etc/hostname中修改主机名

在/etc/hosts中配置主机名和IP地址对应关系

14,将Hadoop.main节点中的~/.ssh/id_rsa.pub文件拷贝到hadoop.slave

的~/.ssh/目录下运行：

cat ./id_rea.pub >> authorized_keys

15,分别修改两台主机中的hadoop配置文件的masters和slaves