Hadoop 安装时常见问题

本人在安装hadoop2.7.1版本时遇到各种鬼，现在记录一下，以备后面忘记可以再来回顾一下。

 

我的hadoop实在4台虚拟机上安装的，1台master，3台slave

 

192.168.24.128  master

192.168.24.129  slave1

192.168.24.130  slave2

 

192.168.24.131  slave3

 

1. hadoop一个巨坑就是hosts配置，配置的时候需要把localhost，127.0.0.1删掉，不然会有各种数不清的不明问题。

 

[master@master hadoop-2.7.1]$ cat /etc/hosts
192.168.24.128  master
192.168.24.129  slave1
192.168.24.130  slave2
192.168.24.131  slave3

 

 

2. 配置无密码登录SSH的时候记得hostname与hosts配置一致。

3. yarn-site.xml中yarn.nodemanager.resource.memory-mb配置最小为1024，也就是1G内存。

4. 配置hdfs-site.xml时dfs.namenode.checkpoint.dir配置需要加上，不然会报错误：

java.io.IOException: Inconsistent checkpoint fields.

 5. 运行wordcount例子时，抛出org.apache.hadoop.dfs.SafeModeException异常需要执行以下命令：

bin/hadoop dfsadmin -safemode leave 

 6. 当遇到以下类似问题时，可以去查看slave服务器中/home/master/Software/hadoop-2.7.1/logs/userlogs目录下最新的日志，可以看到具体的错误信息。

15/12/14 23:40:55 INFO mapreduce.Job: The url to track the job: http://master:8088/proxy/application_1450165174940_0001/
15/12/14 23:40:55 INFO mapreduce.Job: Running job: job_1450165174940_0001
15/12/14 23:41:03 INFO mapreduce.Job: Job job_1450165174940_0001 running in uber mode : false
15/12/14 23:41:03 INFO mapreduce.Job:  map 0% reduce 0%
15/12/14 23:41:19 INFO mapreduce.Job: Task Id : attempt_1450165174940_0001_m_000000_0, Status : FAILED
15/12/14 23:41:34 INFO mapreduce.Job: Task Id : attempt_1450165174940_0001_m_000000_1, Status : FAILED
15/12/14 23:41:49 INFO mapreduce.Job: Task Id : attempt_1450165174940_0001_m_000000_2, Status : FAILED