Hadoop的Shuffle Error问题的解决。

今天在运行一个简单的mapred任务时， 在reduce到到16的时候老是会出Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing - out.这个错误， 运行几次都不行。 网上google得知需要到hadoop-site.xml加上一个property解决。

 

写道

secondary name node所在的机器没有配置dfs.http.address这个参数，该参数在hadoop-default.xml里的缺省值是0.0.0.0:50070，应改为name node所在机器的ip地址。

 

加上这个property，然后rsync到各个node， 再运行mapred任务。 问题解决。

 

参考：http://www.cnblogs.com/bjzhanghao/archive/2008/11/02/1325113.html

评论

1 楼 calorie520 2010-08-20  

我也遇到和你一样的问题，dfs.http.address已经配置了，但还是报一下错误：
[hadoop@localhost hadoop-0.20.2]$ hadoop jar hadoop-0.20.2-examples.jar pi 2 10
Number of Maps  = 2
Samples per Map = 10
Wrote input for Map #0
Wrote input for Map #1
Starting Job
10/08/20 17:32:09 INFO mapred.FileInputFormat: Total input paths to process : 2
10/08/20 17:32:09 INFO mapred.JobClient: Running job: job_201008111433_0005
10/08/20 17:32:10 INFO mapred.JobClient:  map 0% reduce 0%
10/08/20 17:32:19 INFO mapred.JobClient:  map 100% reduce 0%
10/08/20 17:32:28 INFO mapred.JobClient:  map 100% reduce 16%
10/08/20 17:32:31 INFO mapred.JobClient:  map 100% reduce 0%
10/08/20 17:32:33 INFO mapred.JobClient: Task Id : attempt_201008111433_0005_r_000000_0, Status : FAILED
Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.
10/08/20 17:32:33 WARN mapred.JobClient: Error reading task outputConnection refused
10/08/20 17:32:33 WARN mapred.JobClient: Error reading task outputConnection refused