`

hadoop错误之二:could only be replicated to 0 nodes, instead of 1

阅读更多

WARN hdfs.DFSClient: NotReplicatedYetException sleeping /user/administrator/chen3/NOTICE.txt retries left 2
10/01/07 19:50:23 INFO hdfs.DFSClient: org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /user/administrator/xp/NOTICE.txt could only be replicated to 0 nodes, instead of 1
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1270)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:351)
    at sun.reflect.GeneratedMethodAccessor3.invoke(Unknown Source)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
    at java.lang.reflect.Method.invoke(Method.java:597)
    at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:452)
    at org.apache.hadoop.ipc.Server$Handler.run(Server.java:892)
    at org.apache.hadoop.ipc.Client.call(Client.java:696)
    at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:216)
    at $Proxy0.addBlock(Unknown Source)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
    at java.lang.reflect.Method.invoke(Method.java:597)
    at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:82)
    at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:59)
    at $Proxy0.addBlock(Unknown Source)
    at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.locateFollowingBlock(DFSClient.java:2815)
    at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.nextBlockOutputStream(DFSClient.java:2697)
    at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.access$2000(DFSClient.java:1997)
    at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream$DataStreamer.run(DFSClient.java:2183)
10/01/07 19:50:23 WARN hdfs.DFSClient: NotReplicatedYetException sleeping /user/administrator/chen3/NOTICE.txt retries left 1

 

出现这种错误的主要原因是:

 1、$hadoop/conf/ 下的配置文件没有配置正确!

 2、在做format的时候出现错误!

解决办法:

 1、查找$hadoop/conf/ 配置文件,看看那个文件有没有写错或者是配置不正确!

  2、删除 /tmp/ 下的所有文件,从新format。

分享到:
评论
2 楼 p_x1984 2011-05-08  
多谢提醒!
1 楼 fj1002817 2011-05-08  
是因为namenode宕了,可以不用删除tmp下的所有东西,这里面还包含了操作系统的一些设置,全删除了下次启动还要初始化,开机速度比较慢,只要删除登陆账户的相关hadoop pid就可以了。

相关推荐

    hadoop常见问题及解决方法

    6、启动时报错java.io.IOException: File jobtracker.info could only be replicated to 0 nodes, instead of 1: 解决方法:首先,检查防火墙是否关闭,是否对jobtracker.info文件进行了acl权限设置,或者是否已经...

    Hadoop常见异常

    在使用Hadoop进行数据处理时,可能会出现"can only be replicated to node 0, instead of 1"的错误提示。解决办法是,释放更多的磁盘空间。这个错误可能是由于磁盘空间不足导致的。 四、INFO mapred.JobClient: map...

    Hadoop from the beginning: The basics

    This book is written for anyone who needs to know how to analyze data using Hadoop. It is a good book for both Hadoop beginners and those in need of advancing their Hadoop skills. The author has ...

    hadoop配置运行错误

    问题描述:在hadoop集群启动时,slave总是无法启动datanode,并报错“could only be replicated to 0 nodes, instead of 1”。 解决方法: 1. 删除所有节点的数据文件:删除所有节点的dfs.data.dir和dfs.tmp.dir...

    hadoop1.0 Failed to set permissions of path 解决方案

    ERROR org.apache.hadoop.mapred.TaskTracker: Can not start task tracker because java.io.IOException: Failed to set permissions of path: \tmp\hadoop-admin \mapred\local\ttprivate to 0700 at org.apache...

    Hadopp集群运用过程中碰到的问题

    - **错误现象2:could only be replicated to 0 nodes, instead of 1** - 原因:HDFS的副本复制出现问题。 - 解决方法:在NameNode上执行`hadoop namenode –format`命令重新格式化HDFS,但在操作前,要删除...

    外网无法访问HDFS org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block

    1、遇到问题 今天使用自己的电脑,使用外网操作阿里云服务器上的HDFS。 报错 org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block 2、百度结果 参考 ...

    启动hadoop出现ssh: connect to host master port 22: No route to host

    当启动hadoop或者使用ssh时出现: 输入ifconfig指令发现:自己之前配置的ip:192.168.79.103地址已经发生了变化 怎么解决办法呢? 如下步骤: 重新修改静态ip 输入vi /etc/udev/rules.d/70-persistent-net.rules...

    Hadoop datanode启动失败:Hadoop安装目录权限的问题

    ### Hadoop Datanode启动失败:Hadoop安装目录权限问题详解 #### 一、问题背景与现象 在部署Hadoop集群的过程中,用户可能会遇到Datanode启动失败的情况。这一问题通常表现为,在尝试启动Hadoop集群时,Datanode...

    hadoop常见问题及解决办法

    问题1:Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES 问题描述:在reduce阶段,Hadoop抛出Shuffle Error:Exceeded MAX_FAILED_UNIQUE_FETCHES错误。 解决办法:该问题是由于reduce预处理阶段shuffle时获取...

    hadoop的winutils.exe及hadoop.dll文件

    我的报错:Could not locate Hadoop executable: E:\big_data\hadoop-3.3.0\bin\winutils.ex hadoop的winutils.exe及hadoop.dll文件,可以用于hadoop3.3. 下载好直接将两个文件复制到我们hadoop的bin目录下就行了

    王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第八讲Hadoop图文训练课程:Hadoop文件系统的操作

    王家林的“云计算分布式大数据Hadoop实战高手之路”系列教程,通过三个不同的学习阶段,帮助学习者从零基础开始,逐步成为Hadoop领域的高手。 首先,课程的初级阶段“从零开始”致力于让初学者无痛入门Hadoop。在这...

    org.apache.hadoop.ipc.Client: Retrying connect to server

    NULL 博文链接:https://ouyida3.iteye.com/blog/1144326

    Hadoop海量数据处理:技术详解与项目实战 pdf

    - **分布式存储**:HDFS是Hadoop的核心组成部分之一,它是一种分布式文件系统,能够将大规模数据集分布在多个廉价的商品服务器上存储。这种分布式的存储方式极大地提高了数据的处理速度。 - **容错性**:HDFS具有...

    Hadoop应用案例分析:雅虎、eBay、百度、Facebook.pdf

    ,Hadoop 技术已经在互联网领域得到了广泛的应用。互联网公司往往需要 存储海量的数据并对其进行处理,而这正是Hadoop 的强项。如Facebook 使用Hadoop 存储 内部的日志拷贝,以及数据挖掘和日志统计;Yahoo !利用...

    hadoop 文档:Hadoop开发者下载

    1. **Hadoop概述**:Hadoop是由Apache基金会开发的开源框架,主要由两个核心组件构成:Hadoop Distributed File System (HDFS) 和 MapReduce。HDFS提供高容错性的分布式存储,而MapReduce则是用于大规模数据集并行...

    hadoop-core-1.2.0解决eclipse Hadoop Failed to set permissions of path错误

    eclipse远程调试hadoop时 报出eclipse Hadoop Failed to set permissions of path错误 修改hadoop core包中FileUtil java文件 里面有checkReturnValue方法 将代码throw new IOException "Failed to set ...

    Hadoop.Essentials.1784396680

    Chapter 1: Introduction To Big Data And Hadoop Chapter 2: Hadoop Ecosystem Chapter 3: Pillars Of Hadoop – Hdfs, Mapreduce, And Yarn Chapter 4: Data Access Components – Hive And Pig Chapter 5: ...

    云计算Hadoop:快速部署Hadoop集群

    资源名称:云计算Hadoop:快速部署Hadoop集群内容简介: 近来云计算越来越热门了,云计算已经被看作IT业的新趋势。云计算可以粗略地定义为使用自己环境之外的某一服务提供的可伸缩计算资源,并按使用量付费。可以...

    Hadoop分布式文件系统:架构和设计.doc

    Hadoop分布式文件系统是Hadoop生态系统的核心组件之一,负责存储和管理大规模数据集。下面将对Hadoop分布式文件系统的架构和设计进行详细介绍。 一、前提和设计目标 Hadoop分布式文件系统的设计目标是满足大规模...

Global site tag (gtag.js) - Google Analytics