0 0

hadoop异常5


===========jobstarttime:2014-09–25 15:13:13
14/09/25 15:13:17 INFO client.RMProxy: Connecting to ResourceManager at ddp-nn-002/10.5.25.3:8032
14/09/25 15:13:17 INFO hdfs.DFSClient: Created HDFS_DELEGATION_TOKEN token 688459 for tag_bonc on ha-hdfs:ns1
14/09/25 15:13:17 INFO security.TokenCache: Got dt for hdfs://ns1; Kind: HDFS_DELEGATION_TOKEN, Service: ha-hdfs:ns1, Ident: (HDFS_DELEGATION_TOKEN token 688459 for tag_bonc)
14/09/25 15:13:18 INFO input.FileInputFormat: Total input paths to process : 1429
14/09/25 15:13:18 INFO lzo.GPLNativeCodeLoader: Loaded native gpl library
14/09/25 15:13:18 INFO lzo.LzoCodec: Successfully loaded & initialized native-lzo library [hadoop-lzo rev 8e266e052e423af592871e2dfe09d54c03f6a0e8]
14/09/25 15:13:20 INFO mapreduce.JobSubmitter: number of splits:7244
14/09/25 15:13:20 INFO Configuration.deprecation: mapred.job.queue.name is deprecated. Instead, use mapreduce.job.queuename
14/09/25 15:13:20 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1409126717340_61477
14/09/25 15:13:20 INFO mapreduce.JobSubmitter: Kind: HDFS_DELEGATION_TOKEN, Service: ha-hdfs:ns1, Ident: (HDFS_DELEGATION_TOKEN token 688459 for tag_bonc)
14/09/25 15:13:21 INFO impl.YarnClientImpl: Submitted application application_1409126717340_61477
14/09/25 15:13:21 INFO mapreduce.Job: The url to track the job: http://DDP-NN-002:23188/proxy/application_1409126717340_61477/
14/09/25 15:13:21 INFO mapreduce.Job: Running job: job_1409126717340_61477
14/09/25 15:13:30 INFO mapreduce.Job: Job job_1409126717340_61477 running in uber mode : false
14/09/25 15:13:30 INFO mapreduce.Job:  map 0% reduce 0%
14/09/25 15:14:29 INFO mapreduce.Job: Task Id : attempt_1409126717340_61477_m_000111_0, Status : FAILED
Error: java.io.IOException: Spill failed
	at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.checkSpillException(MapTask.java:1535)
	at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.flush(MapTask.java:1444)
	at org.apache.hadoop.mapred.MapTask$NewOutputCollector.close(MapTask.java:700)
	at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:770)
	at org.apache.hadoop.mapred.MapTask.run(MapTask.java:340)
	at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:168)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:415)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1548)
	at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:163)
Caused by: org.apache.hadoop.fs.FileAlreadyExistsException: failed to create file /user/tag_bonc/private/gdpi/tag/20140923/_temporary/1/_temporary/attempt_1409126717340_61477_m_000111_0/match/ordinal-m-00111.gz on client 10.5.25.86 because the file exists
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFileInternal(FSNamesystem.java:2270)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFileInt(FSNamesystem.java:2198)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFile(FSNamesystem.java:2151)
	at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.create(NameNodeRpcServer.java:505)
	at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.create(ClientNamenodeProtocolServerSideTranslatorPB.java:354)
	at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
	at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:585)
	at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1026)
	at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1986)
	at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1982)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:415)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1548)
	at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1980)

	at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
	at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)
	at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
	at java.lang.reflect.Constructor.newInstance(Constructor.java:526)
	at org.apache.hadoop.ipc.RemoteException.instantiateException(RemoteException.java:106)
	at org.apache.hadoop.ipc.RemoteException.unwrapRemoteException(RemoteException.java:73)
	at org.apache.hadoop.hdfs.DFSOutputStream.newStreamForCreate(DFSOutputStream.java:1603)
	at org.apache.hadoop.hdfs.DFSClient.create(DFSClient.java:1465)
	at org.apache.hadoop.hdfs.DFSClient.create(DFSClient.java:1390)
	at org.apache.hadoop.hdfs.DistributedFileSystem$9.doCall(DistributedFileSystem.java:631)
	at org.apache.hadoop.hdfs.DistributedFileSystem$9.doCall(DistributedFileSystem.java:627)
	at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81)
	at org.apache.hadoop.hdfs.DistributedFileSystem.create(DistributedFileSystem.java:627)
	at org.apache.hadoop.hdfs.DistributedFileSystem.create(DistributedFileSystem.java:431)
	at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:906)
	at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:887)
	at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:784)
	at org.apache.hadoop.mapreduce.lib.output.TextOutputFormat.getRecordWriter(TextOutputFormat.java:135)
	at org.apache.hadoop.mapreduce.lib.output.LazyOutputFormat$LazyRecordWriter.write(LazyOutputFormat.java:113)
	at org.apache.hadoop.mapreduce.lib.output.MultipleOutputs.write(MultipleOutputs.java:457)
	at com.bonc.mapred.tool.BrandurlTool$DataCleanReducer.reduce(BrandurlTool.java:998)
	at com.bonc.mapred.tool.BrandurlTool$DataCleanReducer.reduce(BrandurlTool.java:1)
	at org.apache.hadoop.mapreduce.Reducer.run(Reducer.java:171)
	at org.apache.hadoop.mapred.Task$NewCombinerRunner.combine(Task.java:1645)
	at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.sortAndSpill(MapTask.java:1611)
	at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.access$900(MapTask.java:853)
	at org.apache.hadoop.mapred.MapTask$MapOutputBuffer$SpillThread.run(MapTask.java:1505)
Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.fs.FileAlreadyExistsException): failed to create file /user/tag_bonc/private/gdpi/tag/20140923/_temporary/1/_temporary/attempt_1409126717340_61477_m_000111_0/match/ordinal-m-00111.gz on client 10.5.25.86 because the file exists
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFileInternal(FSNamesystem.java:2270)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFileInt(FSNamesystem.java:2198)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFile(FSNamesystem.java:2151)
	at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.create(NameNodeRpcServer.java:505)
	at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.create(ClientNamenodeProtocolServerSideTranslatorPB.java:354)
	at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
	at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:585)
	at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1026)
	at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1986)
	at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1982)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:415)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1548)
	at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1980)

	at org.apache.hadoop.ipc.Client.call(Client.java:1409)
	at org.apache.hadoop.ipc.Client.call(Client.java:1362)
	at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:206)
	at com.sun.proxy.$Proxy10.create(Unknown Source)
	at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.create(ClientNamenodeProtocolTranslatorPB.java:258)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:606)
	at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:186)
	at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:102)
	at com.sun.proxy.$Proxy11.create(Unknown Source)
	at org.apache.hadoop.hdfs.DFSOutputStream.newStreamForCreate(DFSOutputStream.java:1599)
	... 20 more

。。。。。反复的上面的错错误......
14/09/25 15:17:49 INFO mapreduce.Job:  map 100% reduce 100%
14/09/25 15:18:12 INFO mapreduce.Job: Job job_1409126717340_61477 failed with state FAILED due to: Task failed task_1409126717340_61477_m_000213
Job failed as tasks failed. failedMaps:1 failedReduces:0

14/09/25 15:18:12 INFO mapreduce.Job: Counters: 14
	Job Counters 
		Failed map tasks=1171
		Killed map tasks=480
		Launched map tasks=1651
		Other local map tasks=1107
		Data-local map tasks=644
		Rack-local map tasks=3
		Total time spent by all maps in occupied slots (ms)=470559560
		Total time spent by all reduces in occupied slots (ms)=0
		Total time spent by all map tasks (ms)=117639890
		Total vcore-seconds taken by all map tasks=117639890
		Total megabyte-seconds taken by all map tasks=481852989440
	Map-Reduce Framework
		CPU time spent (ms)=0
		Physical memory (bytes) snapshot=0
		Virtual memory (bytes) snapshot=0
===========jobendtime:2014-09–25 15:18:12

 

 


问题补充:这个问题肿么解决啊,急求
2014年9月25日 18:21
目前还没有答案

相关推荐

    云计算Hadoop平台的异常数据检测算法研究.pdf

    然而,在处理海量数据时,Hadoop平台常会遇到异常数据的挑战,这包括数据逻辑错误、数据链完整性缺失以及数据失效等问题。这些问题的出现严重干扰了云计算平台的数据运算准确性。 面对这些挑战,研究者们提出了针对...

    hadoop安装以及常见异常处理.docx

    Hadoop安装及常见异常处理,记录了在Hadoop安装中可能出现的几类常见异常及其解决方案

    Windows + Hadoop2.7 + winutils.exe + hadoop.dll

    Windows 搭建 hadoop2.7 环境,必备 winutils.exe + hadoop.dll,否则不能正常使用 hadoop.dll防止报nativeio异常、winutils.exe没有的话报空指针异常

    hadoop-common-2.7.3-bin-master包含hadoop.dll、winutils.exe

    配置好这些文件后,用户可以在Eclipse中顺利地运行和调试Hadoop MapReduce或YARN应用,避免因缺少依赖而导致的编译错误或运行时异常。同时,这对于本地开发和测试Hadoop应用程序,尤其是那些利用Hadoop生态系统组件...

    hadoop大数据课程设计

    在实际操作中,学生们可能会遇到数据清洗、去重、异常处理等问题,需要运用Python的pandas库进行数据预处理。然后,他们将在Hadoop环境中运行MapReduce程序,对数据进行分布式处理,比如统计、分析等操作。通过这些...

    hadoop-common.zip

    在开发过程中,将"hadoop-common.zip"解压后放入正确的目录,可以确保开发环境正确识别并使用Hadoop的相关组件,解决可能出现的异常。 当在IDE中使用Hadoop时,需要配置Hadoop的环境变量,包括HADOOP_HOME和PATH,...

    hadoop.dll 文件

    这时,`hadoop.dll`文件就显得尤为重要,因为它能够帮助我们避免出现"nativeio异常"以及"winutils.exe空指针异常"。这两个异常是由于系统找不到必要的本地库或者执行文件导致的,直接影响到Hadoop在Windows平台上的...

    hadoop-commond(hadoop.dll)各个版本.rar

    在本地运行Spark时,如果Hadoop版本不匹配,可能会导致各种错误,例如类找不到异常、版本冲突等问题。因此,确保`hadoop.dll`与Spark和Hadoop的其他组件版本匹配至关重要。 4. **版本管理**:在处理多个版本的`...

    Hadoop-NativeIO.java

    在Windows环境中,NativeIO 使用特定的方法如 `access0` 来处理这些操作,但可能会遇到异常,表明本地系统与Hadoop的交互出现了问题。 描述中的异常 "org.apache.hadoop.io.nativeio.NativeIO$Windows.access0...

    hadoop.dllV2.6

    下载hadoop.dll放到HADOOP_HOME的bin目录下和windows系统的c:/window/system32/ 注意如果这个hadoop.dll的版本要和hadoop的一致,可以稍微高一点,低了可能就会报异常

    Hadoop 源码编译所需软件

    它能够帮助开发者在编译阶段发现潜在的问题,比如空指针异常、资源泄漏等,从而提高代码质量和可维护性。使用FindBugs进行源码检查,可以确保Hadoop CDH的稳定性,并降低未来出现运行时错误的可能性。 编译Hadoop ...

    windows连接Hadoop需要的文件winutils和hadoop_dll

    没有这个文件,Windows系统上的Java应用程序将无法正确调用Hadoop的相关API,导致连接失败或运行异常。 在提供的压缩包文件中,有两个不同版本的文件: 1. winutils-hadoopdll2-7.rar:这个文件可能包含了适用于...

    hadoop核心技术

    比如,在日志分析案例中,Hadoop可以从大量服务器日志中提取关键信息,如用户行为、系统状态等,然后通过MapReduce进行统计分析,找出访问热点或异常行为,帮助运营者优化服务。 总之,“Hadoop核心技术”涵盖了从...

    Hadoop汇总整理.doc

    2. 异常二:执行命令 hadoop fs -mkdir -p /lsy_test/test/就是同时创建多个文件夹出现异常,不能创建;解决方法:因为 HADOOP_INSTALL 环境变量指定的文件路径即 hadoop 安装文件解压后的文件夹中 bin/*.cmd 文件中...

    Hadoop之外卖订单数据分析系统

    此外,还可以使用机器学习算法预测订单趋势、识别异常行为或进行用户聚类。 数据可视化是让非技术团队理解分析结果的关键步骤。我们可以借助工具如Tableau、Echarts或Hadoop生态内的Hue来创建直观的图表和仪表盘。...

    基于Hadoop的网络异常流量分布式检测研究.docx

    ### 基于Hadoop的网络异常流量分布式检测研究 #### 内容概要与研究背景 本研究针对当前网络安全领域中的一个重要问题——网络异常流量检测进行了深入探讨。随着互联网技术的飞速发展,网络环境变得越来越复杂,...

    hadoop_hadoop-2.7.2-hbase-jar.rar linux下包

    标题 "hadoop_hadoop-2.7.2-hbase-jar.rar" 提供的信息表明,这是一个与Hadoop相关的压缩文件,具体来说是Hadoop 2.7.2版本的HBase JAR文件。Hadoop是一个开源框架,主要用于分布式存储和处理大数据。而HBase是建立...

    elasticsearch与hadoop比较

    在正常的集群运行状态下,所有节点对于集群中master节点的选择应该是一致的,但在网络不稳定时,就可能出现所谓的“脑裂”现象,即不同的节点对master节点的选择出现异常,导致集群状态信息的不一致。因此,如果数据...

Global site tag (gtag.js) - Google Analytics