现象:
12/12/05 17:06:19 INFO mapred.JobClient: Task Id : attempt_201212051618_0002_m_000035_0, Status : FAILED
Too many fetch-failures
12/12/05 17:06:19 INFO mapred.JobClient: Task Id : attempt_201212051618_0002_m_000021_0, Status : FAILED
Too many fetch-failures
12/12/05 17:06:23 INFO mapred.JobClient: map 99% reduce 43%
12/12/05 17:06:25 INFO mapred.JobClient: Task Id : attempt_201212051618_0002_m_000038_0, Status : FAILED
Too many fetch-failures
12/12/05 17:06:26 INFO mapred.JobClient: Task Id : attempt_201212051618_0002_m_000030_0, Status : FAILED
Too many fetch-failures
原因:reduce过程的时候取不到map阶段的结果,namenode工作正常,namenode通知datanode进行reduce操作,但是datanode却取不到,说明它没法和其他一部分datanode进行通信。
解决:1.检查datanode之间能否互相通信,比如配置防火墙,甚至直接关掉防火墙都可以。
2.完善datanode的主机名映射,因为配置hadoop的时候使用的是主机的名字,因此datanode间要进行通信就需要知道其他datanode的主机名和ip地址的映射。将映射表添加在每一个datanode的/etc/hosts文件中。
注明:网上有说什么把/etc/hosts中的127.0.0.1的主机映射去掉,是行不通的。
相关推荐
"Hadoop 使用常见问题以及解决方法" Hadoop 作为一个大数据处理的开源框架,广泛应用于数据存储、处理和分析等领域。但是在使用 Hadoop 时,经常会遇到一些常见的问题,本文将对这些问题进行总结和解决。 Shuffle ...
二、Too many fetch-failures 这个错误主要是由于结点间的连通不够全面。解决方法是:1) 检查 /etc/hosts 文件,确保本机 IP 对应服务器名,包含所有服务器的 IP 和服务器名。2) 检查 .ssh/authorized_keys 文件,...
- **Too many fetch-failures**:同样与网络问题有关,可以调整MapReduce的配置来减少这类错误的发生。 - **能够启动datanode,但无法访问,也无法结束的错误**:可能是由于防火墙或安全策略阻止了访问。 - **java....
- **错误现象3:Too many fetch-failures** - 原因:节点间网络连接不稳定或配置不完整。 - 解决方法:检查并更新/etc/hosts文件,确保所有服务器的IP和主机名对应无误,同时确认.ssh/authorized_keys文件包含了...