`
lxm63972012
  • 浏览: 36985 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
社区版块
存档分类
最新评论

hadoop 异常

 
阅读更多

java.io.IOException: File /user/root/input could only be replicated to 0 nodes, instead of 1

        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1271)

        at org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:422)

        at sun.reflect.GeneratedMethodAccessor7.invoke(Unknown Source)

        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)

        at java.lang.reflect.Method.invoke(Method.java:597)

        at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:508)

        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:959)

        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:955)

        at java.security.AccessController.doPrivileged(Native Method)

        at javax.security.auth.Subject.doAs(Subject.java:396)

        at org.apache.hadoop.ipc.Server$Handler.run(Server.java:953)

 

org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /user/root/input could only be replicated to 0 nodes, instead of 1

        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1271)

        at org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:422)

        at sun.reflect.GeneratedMethodAccessor7.invoke(Unknown Source)

        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)

        at java.lang.reflect.Method.invoke(Method.java:597)

        at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:508)

        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:959)

        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:955)

        at java.security.AccessController.doPrivileged(Native Method)

        at javax.security.auth.Subject.doAs(Subject.java:396)

        at org.apache.hadoop.ipc.Server$Handler.run(Server.java:953)

 

        at org.apache.hadoop.ipc.Client.call(Client.java:740)

        at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:220)

        at $Proxy0.addBlock(Unknown Source)

        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)

        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)

        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)

        at java.lang.reflect.Method.invoke(Method.java:597)

        at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:82)

        at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:59)

        at $Proxy0.addBlock(Unknown Source)

        at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.locateFollowingBlock(DFSClient.java:2937)

        at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.nextBlockOutputStream(DFSClient.java:2819)

        at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.access$2000(DFSClient.java:2102)

        at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream$DataStreamer.run(DFSClient.java:2288)

原因:Configured Capacity也就是datanode 没用分配容量

  [root@dev9106 bin]# ./hadoop dfsadmin -report

Configured Capacity: 0 (0 KB)   

Present Capacity: 0 (0 KB)

DFS Remaining: 0 (0 KB)

DFS Used: 0 (0 KB)

DFS Used%: ?%

Under replicated blocks: 0

Blocks with corrupt replicas: 0

Missing blocks: 0

解决方法:

<!--[if !supportLists]-->1.       <!--[endif]-->查看你的文件系统

[root@dev9106 /]# df -hl

文件系统              容量  已用 可用 已用% 挂载点

/dev/sda3             1.9G  1.6G  302M  84% /

/dev/sda8             845G   47G  756G   6% /home

/dev/sda7             5.7G  147M  5.3G   3% /tmp

/dev/sda6             9.5G  4.0G  5.1G  45% /usr

/dev/sda5             9.5G  273M  8.8G   3% /var

/dev/sda1             190M   15M  167M   8% /boot

tmpfs                 7.8G     0  7.8G   0% /dev/shm

<!--[if !supportLists]-->2. <!--[endif]-->修改文件Hadoop conf/core-site.xml hadoop.tmp.dir的值

  <property>

   <name>fs.default.name</name>

   <value>hdfs://localhost:9000</value>

</property>

<property>

   <name>hadoop.tmp.dir</name>

   <value>/home/dhfs/tmp</value>

</property>

</configuration>

<!--[if !supportLists]-->3.       <!--[endif]-->停止hadoop服务,重新格式化namenode

<!--[if !supportLists]-->4.       <!--[endif]-->重启服务

<!--[if !supportLists]-->5.       <!--[endif]-->Ok

 

 

2. 运行hadoop程序时, 中途我把它终止了,然后再向hdfs加文件或删除文件时,出现Name node is in safe mode错误: 
rmr: org.apache.hadoop.dfs.SafeModeException: Cannot delete /user/hadoop/input. Name node is in safe mode 

 

解决的命令: 

bin/hadoop dfsadmin -safemode leave  关闭safe mode 

分享到:
评论

相关推荐

    Hadoop常见异常

    Hadoop常见异常解决方案 Hadoop是一款大数据处理框架,但是在实际使用过程中,可能会遇到各种异常情况。本文将对Hadoop常见的异常进行总结和分析,并提供相应的解决方案。 一、Cannot replicate to node 0, ...

    云计算Hadoop平台的异常数据检测算法研究.pdf

    然而,在处理海量数据时,Hadoop平台常会遇到异常数据的挑战,这包括数据逻辑错误、数据链完整性缺失以及数据失效等问题。这些问题的出现严重干扰了云计算平台的数据运算准确性。 面对这些挑战,研究者们提出了针对...

    hadoop安装以及常见异常处理.docx

    Hadoop安装及常见异常处理,记录了在Hadoop安装中可能出现的几类常见异常及其解决方案

    hadoop-common.zip

    在开发过程中,将"hadoop-common.zip"解压后放入正确的目录,可以确保开发环境正确识别并使用Hadoop的相关组件,解决可能出现的异常。 当在IDE中使用Hadoop时,需要配置Hadoop的环境变量,包括HADOOP_HOME和PATH,...

    Windows + Hadoop2.7 + winutils.exe + hadoop.dll

    Windows 搭建 hadoop2.7 环境,必备 winutils.exe + hadoop.dll,否则不能正常使用 hadoop.dll防止报nativeio异常、winutils.exe没有的话报空指针异常

    hadoop-common-2.7.3-bin-master包含hadoop.dll、winutils.exe

    配置好这些文件后,用户可以在Eclipse中顺利地运行和调试Hadoop MapReduce或YARN应用,避免因缺少依赖而导致的编译错误或运行时异常。同时,这对于本地开发和测试Hadoop应用程序,尤其是那些利用Hadoop生态系统组件...

    hadoop大数据课程设计

    在实际操作中,学生们可能会遇到数据清洗、去重、异常处理等问题,需要运用Python的pandas库进行数据预处理。然后,他们将在Hadoop环境中运行MapReduce程序,对数据进行分布式处理,比如统计、分析等操作。通过这些...

    hadoop.dll 资源包

    总的来说,hadoop.dll的丢失或错误可能导致Hadoop集群运行异常,通过了解其作用,正确地部署和管理这个文件,可以确保Hadoop系统的稳定运行。同时,对Hadoop整体架构的理解,以及如何阅读和解析错误信息,是解决此类...

    hadoop.dll 文件

    这时,`hadoop.dll`文件就显得尤为重要,因为它能够帮助我们避免出现"nativeio异常"以及"winutils.exe空指针异常"。这两个异常是由于系统找不到必要的本地库或者执行文件导致的,直接影响到Hadoop在Windows平台上的...

    hadoop-commond(hadoop.dll)各个版本.rar

    在本地运行Spark时,如果Hadoop版本不匹配,可能会导致各种错误,例如类找不到异常、版本冲突等问题。因此,确保`hadoop.dll`与Spark和Hadoop的其他组件版本匹配至关重要。 4. **版本管理**:在处理多个版本的`...

    Hadoop-NativeIO.java

    在Windows环境中,NativeIO 使用特定的方法如 `access0` 来处理这些操作,但可能会遇到异常,表明本地系统与Hadoop的交互出现了问题。 描述中的异常 "org.apache.hadoop.io.nativeio.NativeIO$Windows.access0...

    hadoop.dllV2.6

    下载hadoop.dll放到HADOOP_HOME的bin目录下和windows系统的c:/window/system32/ 注意如果这个hadoop.dll的版本要和hadoop的一致,可以稍微高一点,低了可能就会报异常

    Hadoop 源码编译所需软件

    它能够帮助开发者在编译阶段发现潜在的问题,比如空指针异常、资源泄漏等,从而提高代码质量和可维护性。使用FindBugs进行源码检查,可以确保Hadoop CDH的稳定性,并降低未来出现运行时错误的可能性。 编译Hadoop ...

    windows连接Hadoop需要的文件winutils和hadoop_dll

    没有这个文件,Windows系统上的Java应用程序将无法正确调用Hadoop的相关API,导致连接失败或运行异常。 在提供的压缩包文件中,有两个不同版本的文件: 1. winutils-hadoopdll2-7.rar:这个文件可能包含了适用于...

    hadoop核心技术

    比如,在日志分析案例中,Hadoop可以从大量服务器日志中提取关键信息,如用户行为、系统状态等,然后通过MapReduce进行统计分析,找出访问热点或异常行为,帮助运营者优化服务。 总之,“Hadoop核心技术”涵盖了从...

    Hadoop汇总整理.doc

    2. 异常二:执行命令 hadoop fs -mkdir -p /lsy_test/test/就是同时创建多个文件夹出现异常,不能创建;解决方法:因为 HADOOP_INSTALL 环境变量指定的文件路径即 hadoop 安装文件解压后的文件夹中 bin/*.cmd 文件中...

    Hadoop之外卖订单数据分析系统

    此外,还可以使用机器学习算法预测订单趋势、识别异常行为或进行用户聚类。 数据可视化是让非技术团队理解分析结果的关键步骤。我们可以借助工具如Tableau、Echarts或Hadoop生态内的Hue来创建直观的图表和仪表盘。...

    elasticsearch与hadoop比较

    在正常的集群运行状态下,所有节点对于集群中master节点的选择应该是一致的,但在网络不稳定时,就可能出现所谓的“脑裂”现象,即不同的节点对master节点的选择出现异常,导致集群状态信息的不一致。因此,如果数据...

    基于Hadoop的网络异常流量分布式检测研究.docx

    ### 基于Hadoop的网络异常流量分布式检测研究 #### 内容概要与研究背景 本研究针对当前网络安全领域中的一个重要问题——网络异常流量检测进行了深入探讨。随着互联网技术的飞速发展,网络环境变得越来越复杂,...

Global site tag (gtag.js) - Google Analytics