Hadoop 集群搭建

Hadoop 集群搭建

集群配置  (用IP配置，不用域名，别名)

（注意：最好2台机器，相同的用户名，相同的安装目录。）

192.168.2.79  主（webdev）：/home/iic/hadoop-0.20.2/

192.168.5.11  副 (TEST-A)：  /home/iic/hadoop-0.20.2/

192.168.5.12  副 (TEST-B)：  /home/iic/hadoop-0.20.2/          （后来新增）

 

 

配置2.79的配置文件在conf/slaves文件中列出所有slave的主机名或者IP地址，一行一个。

webdev
TEST-A

TEST-B

 

5.11,5,12的配置文件conf/masters和conf/slaves在集群配置中没有任何意义。

 

------------------------------------------------------------------------------------

192.168.2.79

 

用root登录2.79，创建用户iic (密码iic),把原本属于root用户的hadoop,转为iic

创建用户：useradd iic

修改密码: passwd  iic  

mv /home/bmb/hadoop-0.20.2/  /home/iic

修改conf/*.xml中原来的bmb目录  (hdfs-site.xml)，地址为5.11

修改目录权限为iic： chown -R  iic:iic /home/iic/hadoop-0.20.2/

su -l iic

cd /home/bmb/hadoop-0.20.2/

chmod 700 bin/*

 

打包hadoop,拷贝到5.11

tar cvf hadoop-0.20.2.tar *

scp hadoop-0.20.2.tar  iic@192.168.5.11:/home/iic/

 

拷贝2.79的JDK6到5.11

cd /home/bmb/jdk1.6.0_16

tar cvf jdk.tar .

scp jdk.tar iic@192.168.5.11:/home/iic/

 

 

---------------------

192.168.5.11

mkdir hadoop-0.20.2

mv hadoop-0.20.2.tar  ./hadoop-0.20.2

tar xvf hadoop-0.20.2.tar

chmod 777 bin/*

 

cd /home/iic

mkdir jdk1.6.0_16

mv jdk.tar jdk1.6.0_16/

cd  jdk1.6.0_16/

chmod 777 /home/iic/jdk1.6.0_16/bin/

/home/iic/jdk1.6.0_16/bin/java -version

 

修改conf/*.xml中原来的bmb目录  (hdfs-site.xml),和IP地址为webdev

修改conf/hadoop-env的JAVA_HOME

export JAVA_HOME=/home/iic/jdk1.6.0_16

 

 

删除目录内容

/home/iic/hadoop-0.20.2/hdfs-data

/home/iic/hadoop-0.20.2/hdfs-name

 

重新格式化不能去掉原来2.79的数据，5.11会出现跟2.79相同的Storage-ID

 

----------------------------------------------------------------------------------

2.79 SSH passwordless 5.11 问题解决

按照正常步骤，没办法SSH passwordless

用root登录5.11,tail  -f /var/log/secure,发现错误日志：error: Bind to port 22 on 0.0.0.0 failed: Address already in use.

vi /etc/ssh/sshd_config，修改ListenAddress 0.0.0.0 为 ListenAddress 192.168.5.11

重启/etc/init.d/sshd restart，日志显示正常。

重新2.79 ssh 5.11,日志显示bad ownership or modes for directory /u/iic

修改chmod 700 /u/iic,再次登录正常。

 

----------------------------------------------------------------------------------

启动集群：

在2.79下运行

cd /home/iic/hadoop-0.20.2

bin/start-dfs.sh

 

启动后，日志出现错误：

node 192.168.5.11:50010 is replaced by 192.168.2.79:50010 with the same storageID DS-596805328-192.168.2.79-50010-1270801220845

解决方法：

删除5.11/home/iic/hadoop-0.20.2/hdfs-data和/home/iic/hadoop-0.20.2/hdfs-name的内容

 

当页面出现“LiveNodes  2”时，才表示启动成功。

http://192.168.2.79:50070/dfshealth.jsp

 

bin/start-mapred.sh

启动后，5.11的hadoop-iic-tasktracker-TEST-A.log日志报错：

2010-04-12 09:59:18,114 ERROR org.apache.hadoop.mapred.TaskTracker: Caught exception: java.net.UnknownHostException: unknown host: webdev

解决方法，在5.11的/etc/hosts里面添加映射

192.168.2.79    webdev

 

移动数据

bin/hadoop fs -mv /user/root/  /user/iic/

 

 

------------------------------------------------------------------------------------------------------------

新增192.168.5.12服务器,从5.11拷贝数据

 

集群中增加机器，而不需要重启集群步骤

1：在2.79的conf/slaves中，新增一行TEST-B

 

2：在5.12上，cd /home/iic/hadoop-0.20.2

bin/hadoop-daemon.sh start datanode 
bin/hadoop-daemon.sh start tasktracker

 

启动后，Hadoop自动识别。

 

此步骤可选

在2.79执行bin/hadoop  balancer