问答首页 → 编程语言技术
0 0

hadoop异常5



===========jobstarttime:2014-09–25 15:13:13
14/09/25 15:13:17 INFO client.RMProxy: Connecting to ResourceManager at ddp-nn-002/10.5.25.3:8032
14/09/25 15:13:17 INFO hdfs.DFSClient: Created HDFS_DELEGATION_TOKEN token 688459 for tag_bonc on ha-hdfs:ns1
14/09/25 15:13:17 INFO security.TokenCache: Got dt for hdfs://ns1; Kind: HDFS_DELEGATION_TOKEN, Service: ha-hdfs:ns1, Ident: (HDFS_DELEGATION_TOKEN token 688459 for tag_bonc)
14/09/25 15:13:18 INFO input.FileInputFormat: Total input paths to process : 1429
14/09/25 15:13:18 INFO lzo.GPLNativeCodeLoader: Loaded native gpl library
14/09/25 15:13:18 INFO lzo.LzoCodec: Successfully loaded & initialized native-lzo library [hadoop-lzo rev 8e266e052e423af592871e2dfe09d54c03f6a0e8]
14/09/25 15:13:20 INFO mapreduce.JobSubmitter: number of splits:7244
14/09/25 15:13:20 INFO Configuration.deprecation: mapred.job.queue.name is deprecated. Instead, use mapreduce.job.queuename
14/09/25 15:13:20 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1409126717340_61477
14/09/25 15:13:20 INFO mapreduce.JobSubmitter: Kind: HDFS_DELEGATION_TOKEN, Service: ha-hdfs:ns1, Ident: (HDFS_DELEGATION_TOKEN token 688459 for tag_bonc)
14/09/25 15:13:21 INFO impl.YarnClientImpl: Submitted application application_1409126717340_61477
14/09/25 15:13:21 INFO mapreduce.Job: The url to track the job: http://DDP-NN-002:23188/proxy/application_1409126717340_61477/
14/09/25 15:13:21 INFO mapreduce.Job: Running job: job_1409126717340_61477
14/09/25 15:13:30 INFO mapreduce.Job: Job job_1409126717340_61477 running in uber mode : false
14/09/25 15:13:30 INFO mapreduce.Job:  map 0% reduce 0%
14/09/25 15:14:29 INFO mapreduce.Job: Task Id : attempt_1409126717340_61477_m_000111_0, Status : FAILED
Error: java.io.IOException: Spill failed
	at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.checkSpillException(MapTask.java:1535)
	at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.flush(MapTask.java:1444)
	at org.apache.hadoop.mapred.MapTask$NewOutputCollector.close(MapTask.java:700)
	at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:770)
	at org.apache.hadoop.mapred.MapTask.run(MapTask.java:340)
	at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:168)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:415)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1548)
	at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:163)
Caused by: org.apache.hadoop.fs.FileAlreadyExistsException: failed to create file /user/tag_bonc/private/gdpi/tag/20140923/_temporary/1/_temporary/attempt_1409126717340_61477_m_000111_0/match/ordinal-m-00111.gz on client 10.5.25.86 because the file exists
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFileInternal(FSNamesystem.java:2270)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFileInt(FSNamesystem.java:2198)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFile(FSNamesystem.java:2151)
	at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.create(NameNodeRpcServer.java:505)
	at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.create(ClientNamenodeProtocolServerSideTranslatorPB.java:354)
	at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
	at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:585)
	at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1026)
	at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1986)
	at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1982)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:415)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1548)
	at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1980)

	at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
	at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)
	at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
	at java.lang.reflect.Constructor.newInstance(Constructor.java:526)
	at org.apache.hadoop.ipc.RemoteException.instantiateException(RemoteException.java:106)
	at org.apache.hadoop.ipc.RemoteException.unwrapRemoteException(RemoteException.java:73)
	at org.apache.hadoop.hdfs.DFSOutputStream.newStreamForCreate(DFSOutputStream.java:1603)
	at org.apache.hadoop.hdfs.DFSClient.create(DFSClient.java:1465)
	at org.apache.hadoop.hdfs.DFSClient.create(DFSClient.java:1390)
	at org.apache.hadoop.hdfs.DistributedFileSystem$9.doCall(DistributedFileSystem.java:631)
	at org.apache.hadoop.hdfs.DistributedFileSystem$9.doCall(DistributedFileSystem.java:627)
	at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81)
	at org.apache.hadoop.hdfs.DistributedFileSystem.create(DistributedFileSystem.java:627)
	at org.apache.hadoop.hdfs.DistributedFileSystem.create(DistributedFileSystem.java:431)
	at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:906)
	at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:887)
	at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:784)
	at org.apache.hadoop.mapreduce.lib.output.TextOutputFormat.getRecordWriter(TextOutputFormat.java:135)
	at org.apache.hadoop.mapreduce.lib.output.LazyOutputFormat$LazyRecordWriter.write(LazyOutputFormat.java:113)
	at org.apache.hadoop.mapreduce.lib.output.MultipleOutputs.write(MultipleOutputs.java:457)
	at com.bonc.mapred.tool.BrandurlTool$DataCleanReducer.reduce(BrandurlTool.java:998)
	at com.bonc.mapred.tool.BrandurlTool$DataCleanReducer.reduce(BrandurlTool.java:1)
	at org.apache.hadoop.mapreduce.Reducer.run(Reducer.java:171)
	at org.apache.hadoop.mapred.Task$NewCombinerRunner.combine(Task.java:1645)
	at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.sortAndSpill(MapTask.java:1611)
	at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.access$900(MapTask.java:853)
	at org.apache.hadoop.mapred.MapTask$MapOutputBuffer$SpillThread.run(MapTask.java:1505)
Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.fs.FileAlreadyExistsException): failed to create file /user/tag_bonc/private/gdpi/tag/20140923/_temporary/1/_temporary/attempt_1409126717340_61477_m_000111_0/match/ordinal-m-00111.gz on client 10.5.25.86 because the file exists
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFileInternal(FSNamesystem.java:2270)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFileInt(FSNamesystem.java:2198)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFile(FSNamesystem.java:2151)
	at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.create(NameNodeRpcServer.java:505)
	at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.create(ClientNamenodeProtocolServerSideTranslatorPB.java:354)
	at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
	at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:585)
	at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1026)
	at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1986)
	at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1982)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:415)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1548)
	at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1980)

	at org.apache.hadoop.ipc.Client.call(Client.java:1409)
	at org.apache.hadoop.ipc.Client.call(Client.java:1362)
	at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:206)
	at com.sun.proxy.$Proxy10.create(Unknown Source)
	at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.create(ClientNamenodeProtocolTranslatorPB.java:258)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:606)
	at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:186)
	at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:102)
	at com.sun.proxy.$Proxy11.create(Unknown Source)
	at org.apache.hadoop.hdfs.DFSOutputStream.newStreamForCreate(DFSOutputStream.java:1599)
	... 20 more

。。。。。反复的上面的错错误......
14/09/25 15:17:49 INFO mapreduce.Job:  map 100% reduce 100%
14/09/25 15:18:12 INFO mapreduce.Job: Job job_1409126717340_61477 failed with state FAILED due to: Task failed task_1409126717340_61477_m_000213
Job failed as tasks failed. failedMaps:1 failedReduces:0

14/09/25 15:18:12 INFO mapreduce.Job: Counters: 14
	Job Counters 
		Failed map tasks=1171
		Killed map tasks=480
		Launched map tasks=1651
		Other local map tasks=1107
		Data-local map tasks=644
		Rack-local map tasks=3
		Total time spent by all maps in occupied slots (ms)=470559560
		Total time spent by all reduces in occupied slots (ms)=0
		Total time spent by all map tasks (ms)=117639890
		Total vcore-seconds taken by all map tasks=117639890
		Total megabyte-seconds taken by all map tasks=481852989440
	Map-Reduce Framework
		CPU time spent (ms)=0
		Physical memory (bytes) snapshot=0
		Virtual memory (bytes) snapshot=0
===========jobendtime:2014-09–25 15:18:12


 


 



          
          

            

            问题补充：这个问题肿么解决啊，急求
          

          
        


        

          
HadoopMapreduce异常 

          2014年9月25日 18:21
        

        
      


      

      

      
      
      


      

    

  

  








  
    目前还没有答案
  













  

    
相关推荐

    
    
    
        
        
    
          
    
            
            
    
              
                
                
                
    
                  
    
                    
                      云计算Hadoop平台的异常数据检测算法研究.pdf
                    
                  
    
                  
    然而，在处理海量数据时，Hadoop平台常会遇到异常数据的挑战，这包括数据逻辑错误、数据链完整性缺失以及数据失效等问题。这些问题的出现严重干扰了云计算平台的数据运算准确性。  面对这些挑战，研究者们提出了针对...
    
                
    
                
              
                
                
                
    
                  
    
                    
                      hadoop安装以及常见异常处理.docx
                    
                  
    
                  
    Hadoop安装及常见异常处理，记录了在Hadoop安装中可能出现的几类常见异常及其解决方案
    
                
    
                
              
                
                
                
    
                  
    
                    
                      hadoop-common.zip
                    
                  
    
                  
    在开发过程中，将"hadoop-common.zip"解压后放入正确的目录，可以确保开发环境正确识别并使用Hadoop的相关组件，解决可能出现的异常。  当在IDE中使用Hadoop时，需要配置Hadoop的环境变量，包括HADOOP_HOME和PATH，...
    
                
    
                
              
                
                
                
    
                  
    
                    
                      Windows + Hadoop2.7 + winutils.exe + hadoop.dll 
                    
                  
    
                  
    Windows 搭建 hadoop2.7 环境，必备 winutils.exe + hadoop.dll，否则不能正常使用  hadoop.dll防止报nativeio异常、winutils.exe没有的话报空指针异常
    
                
    
                
              
                
                
                
    
                  
    
                    
                      hadoop-common-2.7.3-bin-master包含hadoop.dll、winutils.exe
                    
                  
    
                  
    配置好这些文件后，用户可以在Eclipse中顺利地运行和调试Hadoop MapReduce或YARN应用，避免因缺少依赖而导致的编译错误或运行时异常。同时，这对于本地开发和测试Hadoop应用程序，尤其是那些利用Hadoop生态系统组件...
    
                
    
                
              
                
                
                
    
                  
    
                    
                      hadoop大数据课程设计
                    
                  
    
                  
    在实际操作中，学生们可能会遇到数据清洗、去重、异常处理等问题，需要运用Python的pandas库进行数据预处理。然后，他们将在Hadoop环境中运行MapReduce程序，对数据进行分布式处理，比如统计、分析等操作。通过这些...
    
                
    
                
              
                
                
                
    
                  
    
                    
                      hadoop.dll 资源包
                    
                  
    
                  
    总的来说，hadoop.dll的丢失或错误可能导致Hadoop集群运行异常，通过了解其作用，正确地部署和管理这个文件，可以确保Hadoop系统的稳定运行。同时，对Hadoop整体架构的理解，以及如何阅读和解析错误信息，是解决此类...
    
                
    
                
              
                
                
                
    
                  
    
                    
                      hadoop.dll 文件
                    
                  
    
                  
    这时，`hadoop.dll`文件就显得尤为重要，因为它能够帮助我们避免出现"nativeio异常"以及"winutils.exe空指针异常"。这两个异常是由于系统找不到必要的本地库或者执行文件导致的，直接影响到Hadoop在Windows平台上的...
    
                
    
                
              
                
                
                
    
                  
    
                    
                      hadoop-commond(hadoop.dll)各个版本.rar
                    
                  
    
                  
    在本地运行Spark时，如果Hadoop版本不匹配，可能会导致各种错误，例如类找不到异常、版本冲突等问题。因此，确保`hadoop.dll`与Spark和Hadoop的其他组件版本匹配至关重要。  4. **版本管理**：在处理多个版本的`...
    
                
    
                
              
                
                
                
    
                  
    
                    
                      Hadoop-NativeIO.java
                    
                  
    
                  
    在Windows环境中，NativeIO 使用特定的方法如 `access0` 来处理这些操作，但可能会遇到异常，表明本地系统与Hadoop的交互出现了问题。  描述中的异常 "org.apache.hadoop.io.nativeio.NativeIO$Windows.access0...
    
                
    
                
              
                
                
                
    
                  
    
                    
                      hadoop.dllV2.6
                    
                  
    
                  
    下载hadoop.dll放到HADOOP_HOME的bin目录下和windows系统的c:/window/system32/  注意如果这个hadoop.dll的版本要和hadoop的一致，可以稍微高一点，低了可能就会报异常
    
                
    
                
              
                
                
                
    
                  
    
                    
                      Hadoop 源码编译所需软件
                    
                  
    
                  
    它能够帮助开发者在编译阶段发现潜在的问题，比如空指针异常、资源泄漏等，从而提高代码质量和可维护性。使用FindBugs进行源码检查，可以确保Hadoop CDH的稳定性，并降低未来出现运行时错误的可能性。  编译Hadoop ...
    
                
    
                
              
                
                
                
    
                  
    
                    
                      windows连接Hadoop需要的文件winutils和hadoop_dll
                    
                  
    
                  
    没有这个文件，Windows系统上的Java应用程序将无法正确调用Hadoop的相关API，导致连接失败或运行异常。  在提供的压缩包文件中，有两个不同版本的文件： 1. winutils-hadoopdll2-7.rar：这个文件可能包含了适用于...
    
                
    
                
              
                
                
                
    
                  
    
                    
                      hadoop核心技术
                    
                  
    
                  
    比如，在日志分析案例中，Hadoop可以从大量服务器日志中提取关键信息，如用户行为、系统状态等，然后通过MapReduce进行统计分析，找出访问热点或异常行为，帮助运营者优化服务。  总之，“Hadoop核心技术”涵盖了从...
    
                
    
                
              
                
                
                
    
                  
    
                    
                      Hadoop汇总整理.doc
                    
                  
    
                  
    2. 异常二：执行命令 hadoop fs -mkdir -p /lsy_test/test/就是同时创建多个文件夹出现异常，不能创建；解决方法：因为 HADOOP_INSTALL 环境变量指定的文件路径即 hadoop 安装文件解压后的文件夹中 bin/*.cmd 文件中...
    
                
    
                
              
                
                
                
    
                  
    
                    
                      Hadoop之外卖订单数据分析系统
                    
                  
    
                  
    此外，还可以使用机器学习算法预测订单趋势、识别异常行为或进行用户聚类。  数据可视化是让非技术团队理解分析结果的关键步骤。我们可以借助工具如Tableau、Echarts或Hadoop生态内的Hue来创建直观的图表和仪表盘。...
    
                
    
                
              
                
                
                
    
                  
    
                    
                      基于Hadoop的网络异常流量分布式检测研究.docx
                    
                  
    
                  
    ### 基于Hadoop的网络异常流量分布式检测研究  #### 内容概要与研究背景  本研究针对当前网络安全领域中的一个重要问题——网络异常流量检测进行了深入探讨。随着互联网技术的飞速发展，网络环境变得越来越复杂，...
    
                
    
                
              
                
                
                
    
                  
    
                    
                      elasticsearch与hadoop比较
                    
                  
    
                  
    在正常的集群运行状态下，所有节点对于集群中master节点的选择应该是一致的，但在网络不稳定时，就可能出现所谓的“脑裂”现象，即不同的节点对master节点的选择出现异常，导致集群状态信息的不一致。因此，如果数据...
    
                
    
                
              
            
    
          
    
        
    
    

  





  
    Magicbox
  


















        

        

          
  






  
  
  
  
  
  
  
  

  Ask-but
  

  

    
      我的问答
    
     FAQ | 勋章
  




  

  
相关推荐

  


  

  
已解决问题

  


  
  
  
  

  
未解决问题

  


  

  
排行榜

  

  
  
  
  



 

        

        





      

      

    

    



   Global site tag (gtag.js) - Google Analytics