`
447214075
  • 浏览: 79699 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

hadoop 往dfs上传文件时报错

 
阅读更多
在hadoop重新format namenode后在hdfs上创建文件夹没有问题,但是就所不能上传文件。上传的文件也只有文件名,文件内容为空。并且报could only be replicated to 0nodes ,instead of 1。查看logs中的datanode日志,发现如下错误:
************************************************************/
2014-10-10 22:47:39,595 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /usr/local/hadoop-0.20.2/data: namenode namespaceID = 1720336629; datanode namespaceID = 580327193
at org.apache.hadoop.hdfs.server.datanode.DataStorage.doTransition(DataStorage.java:233)
at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:148)
at org.apache.hadoop.hdfs.server.datanode.DataNode.startDataNode(DataNode.java:298)
at org.apache.hadoop.hdfs.server.datanode.DataNode.<init>(DataNode.java:216)
at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:1283)
at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:1238)
at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:1246)
at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:1368)

2014-10-10 22:47:39,596 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: SHUTDOWN_MSG:
/************************************************************


大概意思就是namenode的namespaceIDS与datanode的namespaceIDS不同,产生这种结果的原因是在namenode format时产生了一个新的nameSpaceId ,并将这个id写到来namenode中,但是datanode中的namespaceIDS还是老的id,当你在往hdfs上写数据时,namenode找不到datanode(datanode上的namespaceIDS都与namenode中的不同)

解决方法:
方法1:namenode的namespaceIDS存放位置:在hdfs-site.xml文件中配置的dfs.name.dir路径下/current/VERSION文件中。datanode的namespaceIDS存放位置,dfs.data.dirl路径下/current/VERSION文件中,将namenode的spaceIDS拷贝到datanode中。重新启动datanode就ok了。
方法2:删除dfs.data.dir路径下的文件,停止hadoop服务,format namenode,启动hadoop服务,ok问题解决。
分享到:
评论

相关推荐

    hadoop-fuse-dfs安装.docx

    通过本文档的学习,用户能够了解如何通过Hadoop-Fuse-Dfs实现HDFS(Hadoop Distributed File System)文件系统的挂载,从而方便地在本地文件系统中访问HDFS中的数据。 #### 二、准备工作 1. **配置CDH yum源**: ...

    hadoop web tomcat上传文件

    在IT行业中,构建一个能够通过Web接口上传文件到Hadoop集群的应用是一项常见的需求。这个场景中,"hadoop web tomcat上传文件" 提供了一个基于Web的解决方案,它利用了Apache Tomcat作为Web服务器和Hadoop生态系统来...

    springmvc+hadoop+maven实现文件上传至hdfs

    在本项目中,我们结合了SpringMVC、Hadoop和Maven这三个技术,构建了一个能够实现文件从Web端上传到HDFS(Hadoop Distributed File System)的系统。下面将详细阐述这三个技术及其在项目中的应用。 首先,SpringMVC...

    上传文件到Hadoop失败的原因分析及解决方法.pdf

    Hadoop 文件上传失败原因分析及解决方法 本文主要讨论了在 Java Web 程序中上传文件到 Hadoop HDFS 文件系统中失败的原因分析及解决方法。通过对问题的分析和解决,可以总结出以下知识点: 1. Hadoop 文件上传失败...

    实验4:hadoop文件上传.docx

    Hadoop 文件上传实验 本资源主要介绍了如何使用 HDFS 进行文件上传操作,同时了解如何使用 HDFS API 进行文件上传。实验内容包括使用命令行上传文件和使用 Java API 上传文件。 Hadoop 文件上传实验主要涉及到以下...

    hadoop的默认配置文件

    例如,`dfs.replication`参数定义了文件的默认副本数,`dfs.blocksize`指定了默认的文件块大小。理解并适当调整这些参数对于优化HDFS的性能和存储效率至关重要。 2. **yarn-default.xml**:这个文件包含了YARN的...

    hadoop文件上传下载

    在这个场景中,我们讨论的是如何利用Struts2这个Java Web框架来实现文件的上传和下载功能,目标是将文件存入Hadoop分布式文件系统(HDFS)中,并能够从HDFS中检索这些文件。下面将详细介绍这一过程涉及的关键知识点...

    Hadoop dfs shell

    Hadoop DFS Shell 提供了多种命令来管理和维护 HDFS 中的文件和目录,包括: 1. mkdir 命令:用于创建新的目录,行为类似于 Unix 的 mkdir -p 命令。 示例:`hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2...

    hadoop2.8 window支持bin文件

    在配置完成后,你可以使用`hadoop dfs -mkdir`命令创建HDFS目录,`hadoop dfs -put`上传文件,`hadoop fs -ls`查看目录内容,以及运行MapReduce任务。为了运行MapReduce,你需要将你的Java程序打包成JAR文件,然后...

    hadoop配置文件编辑

    这里设置为 file:/usr/hadoop/dfs/tmp,表示将临时文件存储在 /usr/hadoop/dfs/tmp 目录下。 4. hadoop.proxyuser.whdx.hosts:指定代理用户的主机列表。这里设置为 \*,表示允许所有主机作为代理用户。 5. hadoop...

    HadoopHA集群配置文件

    2. `hdfs-site.xml`: 这个文件是HDFS(Hadoop Distributed File System)的配置中心,其中的`dfs.nameservices`定义了HA命名服务的ID,如`nameservice1`,而`dfs.ha.namenodes.nameservice1`则指定了该命名服务下的...

    hadoop的dll文件 hadoop.zip

    在提供的信息中,我们关注的是"Hadoop的dll文件",这是一个动态链接库(DLL)文件,通常在Windows操作系统中使用,用于存储可由多个程序共享的功能和资源。Hadoop本身是基于Java的,因此在Windows环境下运行Hadoop...

    Hadoop默认的配置文件

    Hadoop的核心组件包括HDFS(Hadoop Distributed File System)和MapReduce,它们各自都有自己的默认配置文件,这些配置文件是Hadoop运行时的重要组成部分。在你提到的压缩包文件中,我们能看到四个主要的默认配置...

    Hadoop 2.2.0 配置文件

    在这个配置文件中,我们将会探讨Hadoop 2.2.0 在4台CentOS 6.4系统上运行所需的配置细节。 首先,Hadoop的核心组件包括HDFS(Hadoop Distributed File System)和MapReduce,它们都需要通过一系列的配置文件来定制...

    hadoop/bin目录文件,含hadoop.dll + winutils.exe

    标题中的“hadoop/bin目录文件,含hadoop.dll + winutils.exe”指的是在Apache Hadoop 2.6.3版本中,位于bin目录下的两个关键文件:hadoop.dll和winutils.exe。这两个文件对于Windows用户来说是至关重要的,因为...

    Hadoop示例程序合并文件

    这个示例程序“Hadoop示例程序合并文件”旨在演示如何在Hadoop环境下整合多个文件,这对于理解Hadoop分布式文件系统(HDFS)的工作原理至关重要。下面将详细阐述Hadoop的核心组件、HDFS的特性以及如何在Hadoop环境中...

    Hadoop3.1.3 配置文件

    1. `core-site.xml`:这个文件主要用于设置Hadoop的核心参数,如命名空间(namespace)的默认值、文件系统的默认实现、I/O操作的相关配置等。例如,`fs.defaultFS`属性指定默认的文件系统,通常是HDFS的URL;`io....

    hadoop集群的配置文件

    `dfs.replication`参数设定了文件的默认副本数,而`dfs.blocksize`则定义了HDFS中的默认数据块大小。 3. **mapred-site.xml**:它涉及到MapReduce框架的配置,如JobTracker的位置、任务分配策略等。`mapreduce....

    配hadoopHA最怕就是配置文件错了

    标题提到的“配Hadoop HA最怕就是配置文件错了”,意味着配置Hadoop HA时,配置文件的正确性至关重要。这里我们将深入探讨Hadoop HA的配置要点,以及如何避免配置错误。 首先,Hadoop HA主要涉及NameNode的HA,即两...

Global site tag (gtag.js) - Google Analytics