Linux(CentOS) 安装Hadoop问题集锦

问题一：
在对HDFS格式化，执行hadoop namenode -format命令时，出现未知的主机名的问题，查看logs错误信息如下：

引用

2012-08-29 09:59:21,707 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = java.net.UnknownHostException: SC-026.cfind.com: SC-026.cfind.com: 未知的名称或服务
STARTUP_MSG:   args = []
STARTUP_MSG:   version = 1.0.3
STARTUP_MSG:   build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.0 -r 1335192; compiled by 'hortonfo' on Tue May  8 20:31:25 UTC 2012

解决方法：

[root@SC-026 software]# hostname
SC-026.cfind.com

由于hadoop配置的过程中用的是localhost，相当于主机名，但通过命令hostname命令获取到的主机名是SC-026.cfind.com，所以在/etc/hosts文件中进行映射的时候找不到，查看一下/etc/hosts:

[root@SC-026 software]# cat /etc/hosts
# Do not remove the following line, or various programs
# that require network functionality will fail.
192.168.15.45           SC-026.cfind.com		SC-026.cfind.com

再查看一下/etc/sysconfig/network文件：

[root@SC-026 software]# cat /etc/sysconfig/network
NETWORKING=yes
NETWORKING_IPV6=no
HOSTNAME=SC-026.cfind.com

那么可以修改/etc/hosts如下：

[root@SC-026 software]# cat /etc/hosts
# Do not remove the following line, or various programs
# that require network functionality will fail.
192.168.15.45           SC-026.cfind.com        localhost

重启服务

[root@SC-026 software]# /etc/rc.d/init.d/network restart
正在关闭接口 eth0：                                        [确定]
正在关闭接口 eth1：                                        [确定]
关闭环回接口：                                             [确定]
弹出环回接口：                                             [确定]
弹出界面 eth0：                                            [确定]
弹出界面 eth1： 
正在决定 eth1 的 IP 信息...完成。
                                                           [确定]

问题二：
无法正常格式化，在 /tmp/hadoop-root/dfs/name终止：

[root@SC-026 bin]# hadoop namenode -format
12/08/29 12:21:18 INFO namenode.NameNode: STARTUP_MSG: 
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = SC-026.cfind.com/192.168.15.45
STARTUP_MSG:   args = [-format]
STARTUP_MSG:   version = 1.0.3
STARTUP_MSG:   build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.0 -r 1335192; compiled by 'hortonfo' on Tue May  8 20:31:25 UTC 2012
************************************************************/
Re-format filesystem in /tmp/hadoop-root/dfs/name ? (Y or N) y
Format aborted in /tmp/hadoop-root/dfs/name
12/08/29 12:21:20 INFO namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at SC-026.cfind.com/192.168.15.45

解决方法：
在格式化前，删除/tmp/hadoop-root/dfs/name文件夹：

[root@SC-026 bin]# rm -rf /tmp/hadoop-root/dfs/name

再格式化。。。

问题三：
出现启动不完整的情况：

[root@SC-026 bin]# jps
3572 org.eclipse.equinox.launcher_1.2.0.v20110502.jar
5389 Jps
5326 TaskTracker
5202 JobTracker

解决方法：

[root@SC-026 bin]# service iptables stop
[root@SC-026 bin]# /etc/init.d/iptables status
防火墙已停

在Linux下关闭防火墙，再重新格式化，重启服务。

如还有其他错误信息，查看日志中报错信息即可，日志路径：

[root@SC-026 logs]# pwd
/data/software/hadoop-1.0.3/logs

即在你的安装目录下的logs中。