`
nlslzf
  • 浏览: 1044748 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

mount盘异常,导致hadoop作业无法发送

 
阅读更多

异常信息

 

2012-10-23 21:10:42,185 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: 127.0.0.1/127.0.0.1:34474. Already tried 5 time(s).

2012-10-23 21:10:43,186 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: 127.0.0.1/127.0.0.1:34474. Already tried 6 time(s).

2012-10-23 21:10:44,186 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: 127.0.0.1/127.0.0.1:34474. Already tried 7 time(s).

2012-10-23 21:10:45,187 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: 127.0.0.1/127.0.0.1:34474. Already tried 8 time(s).

2012-10-23 21:10:46,187 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: 127.0.0.1/127.0.0.1:34474. Already tried 9 time(s).

2012-10-23 21:10:46,188 INFO org.apache.hadoop.mapred.Task: Communication exception: java.net.ConnectException: Call to 127.0.0.1/127.0.0.1:34474 failed on connection exception: java.net.ConnectException: \u62d2\u7edd\u8fde\u63a5

at org.apache.hadoop.ipc.Client.wrapException(Client.java:1099)

at org.apache.hadoop.ipc.Client.call(Client.java:1075)

at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:225)

at $Proxy1.ping(Unknown Source)

at org.apache.hadoop.mapred.Task$TaskReporter.run(Task.java:675)

at java.lang.Thread.run(Thread.java:619)

Caused by: java.net.ConnectException: \u62d2\u7edd\u8fde\u63a5

at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)

at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:574)

at org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:206)

at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:489)

at org.apache.hadoop.ipc.Client$Connection.setupConnection(Client.java:434)

at org.apache.hadoop.ipc.Client$Connection.setupIOstreams(Client.java:560)

at org.apache.hadoop.ipc.Client$Connection.access$2000(Client.java:184)

at org.apache.hadoop.ipc.Client.getConnection(Client.java:1206)

at org.apache.hadoop.ipc.Client.call(Client.java:1050)

... 4 more

原因:
    mount挂了盘,但是该盘已经死掉了,df都无法运行完毕,umount该盘即可成功运行
分享到:
评论

相关推荐

    如何使用eclipse调试Hadoop作业

    确保你的Hadoop作业在运行时记录了足够的日志信息,这可以帮助你追踪作业的执行过程和可能的异常。Eclipse可以整合Log4j或其他日志框架,以便在控制台直接查看日志输出。 最后,不要忽视"build.xml"文件的作用。这...

    Hive及Hadoop作业调优

    标题《Hive及Hadoop作业调优》与描述《阿里巴巴内部hive优化经验文档》指明了本文档的核心内容,它涉及到了在大数据处理领域内,如何针对Hive以及Hadoop作业进行优化的详细方法和经验分享。标签“hive”, “hadoop”...

    Hadoop集群作业的调度算法

    ### Hadoop集群作业的调度算法详解 #### 一、引言 随着大数据技术的发展,Hadoop作为一款开源的大数据处理框架,在数据存储和处理方面扮演着至关重要的角色。Hadoop的核心组件之一是MapReduce,这是一种分布式计算...

    hadoop实验+作业.zip

    这个"hadop实验+作业.zip"文件显然包含了一些与Hadoop相关的实验和作业资料,可能是某个课程或培训项目的材料。以下是对这些知识点的详细解释: 一、Hadoop概述 Hadoop是由Apache软件基金会开发的一个开源框架,它...

    hadoop作业记录档案

    "hadoop作业记录档案"可能指的是在Hadoop生态系统中执行的各种作业(jobs)的详细日志和记录,这些记录对于理解作业的运行状态、诊断问题以及优化性能至关重要。 Hadoop的核心组件包括HDFS(Hadoop Distributed ...

    hadoop作业调度研究

    hadoop作业调度的原理和使用流程 hdfs的原理 mapreduce编程

    Hadoop作业.docx

    "Hadoop作业" Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop 实现了一个分布式文件系统,...

    国科大Hadoop作业.pdf

    国科大Hadoop作业.pdf

    Gi盘——基于hadoop的分布式网盘项目

    "Gi盘——基于hadoop的分布式网盘项目"是一个开源的、基于Hadoop技术实现的分布式文件存储系统,旨在提供类似网盘的功能。Hadoop是一个广泛使用的开源框架,主要用于处理和存储大规模数据集,它利用分布式计算来提高...

    hadoop作业调度

    ### Hadoop作业调度知识点 #### 一、Hadoop概述及应用背景 Hadoop是一个由Apache基金会维护的开源软件框架,用于分布式存储和处理大规模数据集。Hadoop的设计灵感源自Google的MapReduce和Google File System (GFS)...

    Hadoop平台下的作业调度算法研究与改进_夏祎

    Hadoop平台下的作业调度算法研究与改进

    hadoop提交作业分析.doc

    【Hadoop 作业提交流程详解】 在Hadoop生态系统中,提交一个MapReduce作业通常通过执行类似`bin/hadoop jar xxx.jar mainclass args`的命令来完成。这个过程看似简单,实际上涉及到了多个步骤和组件的交互。下面...

    云计算发作业之Hadoop的安装与配置

    在云计算课程中,关于Hadoop的安装和配置是一项目非常重要的实践任务,涉及到搭建云计算系统的关键技术。Hadoop是Apache基金会下一款开源的分布式存储与计算框架,被广泛用于处理大数据。通过安装和配置Hadoop,学生...

    基于节点性能的Hadoop作业调度算法改进.pdf

    然而,随着数据中心规模的不断扩大,由不同性能计算设备组成的Hadoop集群中,节点间的性能差异问题逐渐凸显,导致了资源利用率低下和作业执行效率不高的情况。针对这一问题,文章提出了一种基于节点性能的Hadoop作业...

    hadoop的hadoop.dll和winutils.exe下载

    如果你在Windows上尝试运行Hadoop作业或设置Hadoop开发环境,`hadoop.dll`将是必须的。 接着,我们讨论`winutils.exe`。这个工具集包含了多种命令,如创建HDFS目录、设置HDFS权限、管理Hadoop守护进程等。在Linux上...

    Hadoop MapReduce作业卡死问题的解决方法.docx

    这类问题的出现不仅导致了Hadoop集群资源的长期占用,还使得其他作业因资源不足而无法正常启动,进而影响到了数据预处理的整体时效性。 #### 二、问题描述 在实际应用中,我们通过编写Hadoop MapReduce程序对上游...

Global site tag (gtag.js) - Google Analytics