`
ganliang13
  • 浏览: 250843 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

hadoop hdfs.DFSClient: DataStreamer Exception

阅读更多
hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /user/root/input/conf/mapred-site.xml could only be replicated to 0 nodes, instead of 1 at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock

at org.apache.hadoop.ipc.Client.call(Client.java:740)

---

此错误可以通过命令:bin/hadoop dfsadmin -report 查看,发现都是0KB.
解决方法:
a.rm -rf /tmp/hadoop-user/*hadoop*
b.修改core-site.xml

<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/tmp/hadoop-ganliang/</value>
  </property>

</configuration>

c.bin/hadoop namenode -format
d.启动hadoop

分享到:
评论

相关推荐

    外网无法访问HDFS org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block

    报错 org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block 2、百度结果 参考 https://blog.csdn.net/xiaozhaoshigedasb/article/details/88999595  防火墙记得关掉; 查看DataNode是否启动;...

    Hadoop hdfs.md

    Hadoop hdfs.md

    hadoop-hdfs-client-2.9.1-API文档-中文版.zip

    赠送jar包:hadoop-hdfs-client-2.9.1.jar 赠送原API文档:hadoop-hdfs-client-2.9.1-javadoc.jar 赠送源代码:hadoop-hdfs-client-2.9.1-sources.jar 包含翻译后的API文档:hadoop-hdfs-client-2.9.1-javadoc-...

    hadoop-hdfs-client-2.9.1-API文档-中英对照版.zip

    赠送jar包:hadoop-hdfs-client-2.9.1.jar; 赠送原API文档:hadoop-hdfs-client-2.9.1-javadoc.jar; 赠送源代码:hadoop-hdfs-client-2.9.1-sources.jar; 赠送Maven依赖信息文件:hadoop-hdfs-client-2.9.1.pom;...

    实验手册_HDFS.docx

    5. 文件夹操作:可以使用 `hdfs dfs -mkdir` 命令创建文件夹,使用 `hdfs dfs -rmdir` 命令删除文件夹。 四、HDFS 的 Shell 命令 HDFS 的 Shell 命令有很多,常用的命令包括: 1. `hdfs dfs -ls`:列出文件夹的...

    win7 32bit 的hadoop.dll、winutils.exe、hdfs.dll及对应lib

    这里我们关注的是Hadoop在Windows 32位环境下的运行组件,包括`hadoop.dll`、`winutils.exe`和`hdfs.dll`,这些都是针对32位(x86)Windows系统特别优化的版本。这些组件是Hadoop在Windows环境下正常工作所必需的,...

    Apache Hadoop2.x 安装入门详解 PDF

    6. 启动Hadoop服务:通过`start-dfs.sh`和`start-yarn.sh`启动HDFS和YARN。 五、Hadoop基本操作 1. 上传文件:使用`hadoop fs -put`命令将本地文件上传至HDFS。 2. 查看文件:使用`hadoop fs -ls`查看HDFS目录。 3....

    适合hadoop2.9.* 以及 hadoop2.7.* 的winutils.exe_hadoop.dll 配置文件

    在Hadoop生态系统中,`winutils.exe` 和 `hadoop.dll` 是两个关键的组件,主要用于Windows环境下运行Hadoop。由于Hadoop最初是为Linux设计的,因此在Windows上使用时需要这些特定的二进制文件来模拟某些Unix/Linux...

    Hadoop 2.X HDFS源码剖析

    《Hadoop 2.X HDFS源码剖析》以Hadoop 2.6.0源码为基础,深入剖析了HDFS 2.X中各个模块的实现细节,包括RPC框架实现、Namenode实现、Datanode实现以及HDFS客户端实现等。《Hadoop 2.X HDFS源码剖析》一共有5章,其中...

    HDFS上传文件报错org.apache.hadoop.fs.ChecksumException: Checksum error: file:/hyk/data/hyk.txt

    当从本地上传文件到HDFS中...org.apache.hadoop.fs.ChecksumException: Checksum error: file:/hyk/data/hyk.txt [root@node01 data]# hadoop fs -put hyk.txt /hyk/test 20/02/18 12:54:39 INFO fs.FSInputChecker: Fo

    【Spark】六、org.apache.hadoop.security.AccessControlException

    Exception in thread main org.apache.hadoop.security.AccessControlException: Permission denied: user=L.MOON, access=WRITE, inode=/user/lsy/result1/_temporary/0:lsy:supergroup:drwxr-xr-x Caused by: org....

    hadoop-hdfs.pdf

    亲手整理的hdfs面试题,不是从网上粘贴的,仅此一份。

    win32win64hadoop2.7.x.hadoop.dll.bin

    标签“hadoop.dll”、“hadoop2.7.x”和“hadoop”进一步强调了这是关于Hadoop分布式文件系统(HDFS)的核心库文件。 Hadoop是一个开源框架,由Apache软件基金会维护,它允许分布式存储和处理大量数据。在这个场景...

    hadoop最新版本3.1.1全量jar包

    hadoop-client-api-3.1.1.jar hadoop-hdfs-client-3.1.1.jar hadoop-mapreduce-client-jobclient-3.1.1.jar hadoop-yarn-common-3.1.1.jar hadoop-client-minicluster-3.1.1.jar hadoop-mapreduce-client-app-3.1.1....

    hadoop-hdfs-2.7.3-API文档-中英对照版.zip

    赠送jar包:hadoop-hdfs-2.7.3.jar; 赠送原API文档:hadoop-hdfs-2.7.3-javadoc.jar; 赠送源代码:hadoop-hdfs-2.7.3-sources.jar; 赠送Maven依赖信息文件:hadoop-hdfs-2.7.3.pom; 包含翻译后的API文档:hadoop...

    HDFS.zip_Hadoop 平台_hadoop_hdfs

    import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class HDFSExample { public static void main(String[] args) throws ...

    hadoop api.doc

    3. **org.apache.hadoop.dfs**: 这是Hadoop早期版本中针对HDFS实现的包,现在的Hadoop已经将其替换为`org.apache.hadoop.hdfs`。不过,这里提及可能是旧文档中的引用,HDFS是Hadoop的分布式文件系统,提供了高容错性...

    深入理解Hadoop HDFS高级教程.txt打包整理.zip

    在大数据处理领域,Hadoop HDFS(Hadoop Distributed File System)是核心组件之一,它为大规模数据存储提供了可扩展、高容错性的解决方案。本高级教程将深入剖析HDFS的内部机制,帮助读者掌握其核心概念和实际操作...

    hdfs.dll hdfs.lib

    这些通常通过`hadoop.conf`文件或在代码中动态设置。 4. **错误处理**:由于分布式系统的复杂性,你需要编写健壮的错误处理代码来处理可能的网络中断、数据丢失或其他异常情况。 5. **多线程编程**:为了充分利用...

    实验2-Hadoop安装与HDFS基础实践.nbn.zip

    在本实验中,我们将深入探讨Hadoop的安装过程及其核心组件HDFS(Hadoop Distributed File System)的基础操作。Hadoop是大数据处理领域的基石,尤其在云计算环境中,它扮演着至关重要的角色。通过学习Hadoop,我们...

Global site tag (gtag.js) - Google Analytics