`
wbj0110
  • 浏览: 1639099 次
  • 性别: Icon_minigender_1
  • 来自: 上海
文章分类
社区版块
存档分类
最新评论

hadoop常见问题-too many fetch-failures

阅读更多

现象:

12/12/05 17:06:19 INFO mapred.JobClient: Task Id : attempt_201212051618_0002_m_000035_0, Status : FAILED

Too many fetch-failures

12/12/05 17:06:19 INFO mapred.JobClient: Task Id : attempt_201212051618_0002_m_000021_0, Status : FAILED

Too many fetch-failures

12/12/05 17:06:23 INFO mapred.JobClient:  map 99% reduce 43%

12/12/05 17:06:25 INFO mapred.JobClient: Task Id : attempt_201212051618_0002_m_000038_0, Status : FAILED

Too many fetch-failures

12/12/05 17:06:26 INFO mapred.JobClient: Task Id : attempt_201212051618_0002_m_000030_0, Status : FAILED

Too many fetch-failures

 

原因:reduce过程的时候取不到map阶段的结果,namenode工作正常,namenode通知datanode进行reduce操作,但是datanode却取不到,说明它没法和其他一部分datanode进行通信。

 

解决1.检查datanode之间能否互相通信,比如配置防火墙,甚至直接关掉防火墙都可以。

         2.完善datanode的主机名映射,因为配置hadoop的时候使用的是主机的名字,因此datanode间要进行通信就需要知道其他datanode的主机名和ip地址的映射。将映射表添加在每一个datanode/etc/hosts文件中。

 

注明:网上有说什么把/etc/hosts中的127.0.0.1的主机映射去掉,是行不通的。

分享到:
评论

相关推荐

    Hadoop使用常见问题以及解决方法

    "Hadoop 使用常见问题以及解决方法" Hadoop 作为一个大数据处理的开源框架,广泛应用于数据存储、处理和分析等领域。但是在使用 Hadoop 时,经常会遇到一些常见的问题,本文将对这些问题进行总结和解决。 Shuffle ...

    hadoop出错解决方法

    二、Too many fetch-failures 这个错误主要是由于结点间的连通不够全面。解决方法是:1) 检查 /etc/hosts 文件,确保本机 IP 对应服务器名,包含所有服务器的 IP 和服务器名。2) 检查 .ssh/authorized_keys 文件,...

    Hadoop入门实战手册

    - **Too many fetch-failures**:同样与网络问题有关,可以调整MapReduce的配置来减少这类错误的发生。 - **能够启动datanode,但无法访问,也无法结束的错误**:可能是由于防火墙或安全策略阻止了访问。 - **java....

    Hadopp集群运用过程中碰到的问题

    - **错误现象3:Too many fetch-failures** - 原因:节点间网络连接不稳定或配置不完整。 - 解决方法:检查并更新/etc/hosts文件,确保所有服务器的IP和主机名对应无误,同时确认.ssh/authorized_keys文件包含了...

Global site tag (gtag.js) - Google Analytics