`

Hadoop 常见问题解决

HadoopLinux大数据 
阅读更多

在 利用 Hadoop上传文件时：
 hadoop fs -put 1.txt /haha
可能 传上去的文件 是空的，有那个 文件的名称，大小为0kb
[root@node1 usr]# hadoop fs -put 1.txt /haha
17/04/16 05:19:36 WARN hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /haha/1.txt could only be replicated to 0 nodes, instead of 1
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1920)
at org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:783)
at sun.reflect.GeneratedMethodAccessor6.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:587)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1432)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1428)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:422)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1190)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1426)

at org.apache.hadoop.ipc.Client.call(Client.java:1107)
at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:229)
at com.sun.proxy.$Proxy1.addBlock(Unknown Source)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:85)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:62)
at com.sun.proxy.$Proxy1.addBlock(Unknown Source)
at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.locateFollowingBlock(DFSClient.java:3720)
at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.nextBlockOutputStream(DFSClient.java:3580)
at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.access$2600(DFSClient.java:2783)
at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream$DataStreamer.run(DFSClient.java:3023)

17/04/16 05:19:36 WARN hdfs.DFSClient: Error Recovery for null bad datanode[0] nodes == null
17/04/16 05:19:36 WARN hdfs.DFSClient: Could not get block locations. Source file "/haha/1.txt" - Aborting...
put: java.io.IOException: File /haha/1.txt could only be replicated to 0 nodes, instead of 1
17/04/16 05:19:36 ERROR hdfs.DFSClient: Failed to close file /haha/1.txt
org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /haha/1.txt could only be replicated to 0 nodes, instead of 1
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1920)
at org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:783)
at sun.reflect.GeneratedMethodAccessor6.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:587)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1432)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1428)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:422)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1190)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1426)

at org.apache.hadoop.ipc.Client.call(Client.java:1107)
at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:229)
at com.sun.proxy.$Proxy1.addBlock(Unknown Source)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:85)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:62)
at com.sun.proxy.$Proxy1.addBlock(Unknown Source)
at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.locateFollowingBlock(DFSClient.java:3720)
at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.nextBlockOutputStream(DFSClient.java:3580)
at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.access$2600(DFSClient.java:2783)
at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream$DataStreamer.run(DFSClient.java:3023)

 

通过  命令 jps 看看 datanode节点 是否正常启动

 

写道
[root@node1 usr]# jps
22049 NameNode
22231 JobTracker
23658 Jps

 因此 逐个启动 DN 与SNN

hadoop-daemon.sh start datanode

hadoop-daemon.sh start secondarynamenode

 

之后 就好了 嘻嘻



 

 

 

 

 

  • 大小: 52.3 KB
分享到：
| Java泛型T E K V ? 详解
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    Hadoop使用常见问题以及解决方法

    "Hadoop 使用常见问题以及解决方法" Hadoop 作为一个大数据处理的开源框架，广泛应用于数据存储、处理和分析等领域。但是在使用 Hadoop 时，经常会遇到一些常见的问题，本文将对这些问题进行总结和解决。 Shuffle ...

    hadoop常见问题及解决方法

    hadoop常见问题及解决方法 Hadoop是大数据处理的重要工具，但是在安装和使用Hadoop时，可能会出现一些常见的问题，这些问题可能会导致Hadoop无法正常工作，或者无法达到预期的性能。下面是Hadoop常见的问题及解决...

    hadoop常见问题及解决办法

    Hadoop常见问题及解决办法汇总 Hadoop是一个基于Apache的开源大数据处理框架，广泛应用于大数据处理、数据分析和机器学习等领域。然而，在使用Hadoop时，经常会遇到一些常见的问题，这些问题可能会导致Hadoop集群...

    Hadoop使用常见问题以及解决方法.doc

    Hadoop使用常见问题以及解决方法.doc Hadoop使用常见问题以及解决方法.doc

    Hadoop常见异常

    Hadoop常见异常解决方案 Hadoop是一款大数据处理框架，但是在实际使用过程中，可能会遇到各种异常情况。本文将对Hadoop常见的异常进行总结和分析，并提供相应的解决方案。 一、Cannot replicate to node 0, ...

    (完整版)hadoop常见笔试题答案.docx

    这个文档包含了Hadoop相关的常见笔试题答案，涵盖了Hadoop的基本概念、架构组件、配置文件以及操作命令等多个方面。 1. Hadoop的核心组成部分是HDFS（Hadoop Distributed File System），它是一个分布式文件系统，...

    常见的hadoop十大应用误解

    综上所述，正确理解和应用Hadoop至关重要，避免这些误解可以帮助企业更好地利用Hadoop解决实际问题，提高数据处理的效率和价值。在实践中，结合业务场景，选择合适的技术栈和工具，才能充分发挥Hadoop在大数据时代的...

    hadoop常见问题总结.txt

    Hadoop高可用整套配置与详细问题解决 core-site hdfs.site yarn-site 如：namenode启动失败 DFSZK启动失败 防火墙开关等

    hadoop节点问题.docx

    ### Hadoop节点问题详解 #### 一、问题背景与概述 在Hadoop集群环境中，启动过程中可能会遇到某些关键节点未能正常启动的问题。...希望本文提供的指南能够帮助您快速诊断并解决Hadoop集群中的节点启动问题。

    hadoop集群遇到的问题及其解决方法

    通过上述步骤的逐一排查与修复，大多数Hadoop集群部署过程中的常见问题都可以得到有效解决。需要注意的是，在实际操作中可能还会遇到其他类型的错误或异常，因此灵活运用上述方法并结合具体的错误信息来定位问题是...

    Hadoop大数据平台安全问题和解决方案的综述

    Hadoop大数据平台安全问题和解决方案的综述,可以从这里学习到处理问题的思路。

    Hadoop学习笔记

    自己整理的hadoop学习笔记，很详尽 很真实。linux操作终端下遇到的各种Hadoop常见问题 解决方案

    Hadoop大数据常见面试题库

    - 实战经验：分享参与过的项目，如何解决实际问题。 - 技术深度：深入理解MapReduce的工作原理，以及HDFS的存储机制。 - 了解最新动态：关注Hadoop的最新版本和生态系统的更新。 以上就是关于"Hadoop大数据常见...

    Hadoop 快速入门及常见问题

    总之，Hadoop是一个复杂但强大的工具，快速入门资料可以帮助初学者快速理解其基本原理和操作流程，而常见问题解答则可以解决实践中遇到的实际问题，进一步提高使用效率。这份资料对于希望在大数据领域工作或研究的人...

    hadoop学习常见问题(手动整理)

    ### Hadoop学习常见问题解析 #### Namenode问题 ...通过上述方法，可以有效地解决Hadoop学习过程中常见的Namenode问题、启动问题、环境变量问题以及权限问题，帮助初学者更好地掌握Hadoop的使用技巧。

    hadoop基本问题.zip

    三、Hadoop常见问题及解决方案 1. 数据倾斜：当某些key过于集中，导致部分reduce节点负载过高。解决方法包括合理设计map和reduce函数，避免数据倾斜，或者使用更高级的计算框架如Spark。 2. 性能瓶颈：可能是网络...

    超人学院Hadoop面试葵花宝典

    4. Hadoop常见问题解决：面试题集中提出了一些常见的问题及其解决方法。例如，如果HDFS没有启动成功，可以查看jps确认节点状态。如果发现文件不存在，则需要确认文件路径和权限设置。 5. Hadoop生态工具：Hadoop...

    Hadoop常见的45个面试题

    作为一个专业的IT大师，我很高兴为你解析Hadoop常见的45个面试题中的关键知识点。由于文件名仅给出面试题的文档，我们无法直接引用具体问题，但我们可以从Hadoop的核心组件、工作原理、应用案例等方面展开讨论，这些...

    hadoop winutils hadoop.dll

    解决这些问题通常需要检查环境变量设置、确保使用与Hadoop版本匹配的winutils.exe和hadoop.dll，以及检查相关目录的权限设置。 总之，对于Windows上的Hadoop开发，理解和配置winutils.exe及hadoop.dll至关重要。...

    hadoop文件

    hadoop文档常见问题，可以解决hadoop常见的一系列问题

Magicbox
Global site tag (gtag.js) - Google Analytics