`
ganliang13
  • 浏览: 252781 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

hadoop hdfs.DFSClient: DataStreamer Exception

hdfs.DFSClient Excpetion 
阅读更多
hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /user/root/input/conf/mapred-site.xml could only be replicated to 0 nodes, instead of 1 at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock

at org.apache.hadoop.ipc.Client.call(Client.java:740)

---

此错误可以通过命令:bin/hadoop dfsadmin -report 查看，发现都是0KB.
解决方法：
a.rm -rf /tmp/hadoop-user/*hadoop*
b.修改core-site.xml

<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/tmp/hadoop-ganliang/</value>
  </property>
</configuration>

c.bin/hadoop namenode -format
d.启动hadoop

分享到：
| hive 全面学习
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    外网无法访问HDFS org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block

    报错 org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block 2、百度结果 参考 https://blog.csdn.net/xiaozhaoshigedasb/article/details/88999595  防火墙记得关掉； 查看DataNode是否启动；...

    Hadoop hdfs.md

    Hadoop hdfs.md

    hadoop-hdfs-client-2.9.1-API文档-中文版.zip

    赠送jar包：hadoop-hdfs-client-2.9.1.jar 赠送原API文档：hadoop-hdfs-client-2.9.1-javadoc.jar 赠送源代码：hadoop-hdfs-client-2.9.1-sources.jar 包含翻译后的API文档：hadoop-hdfs-client-2.9.1-javadoc-...

    hadoop-hdfs-client-2.9.1-API文档-中英对照版.zip

    赠送jar包：hadoop-hdfs-client-2.9.1.jar； 赠送原API文档：hadoop-hdfs-client-2.9.1-javadoc.jar； 赠送源代码：hadoop-hdfs-client-2.9.1-sources.jar； 赠送Maven依赖信息文件：hadoop-hdfs-client-2.9.1.pom；...

    hadoop1.0 Failed to set permissions of path 解决方案

    ERROR org.apache.hadoop.mapred.TaskTracker: Can not start task tracker because java.io.IOException: Failed to set permissions of path: \tmp\hadoop-admin \mapred\local\ttprivate to 0700 at org.apache...

    实验手册_HDFS.docx

    5. 文件夹操作：可以使用 `hdfs dfs -mkdir` 命令创建文件夹，使用 `hdfs dfs -rmdir` 命令删除文件夹。 四、HDFS 的 Shell 命令 HDFS 的 Shell 命令有很多，常用的命令包括： 1. `hdfs dfs -ls`：列出文件夹的...

    win7 32bit 的hadoop.dll、winutils.exe、hdfs.dll及对应lib

    这里我们关注的是Hadoop在Windows 32位环境下的运行组件，包括`hadoop.dll`、`winutils.exe`和`hdfs.dll`，这些都是针对32位（x86）Windows系统特别优化的版本。这些组件是Hadoop在Windows环境下正常工作所必需的，...

    Apache Hadoop2.x 安装入门详解 PDF

    6. 启动Hadoop服务：通过`start-dfs.sh`和`start-yarn.sh`启动HDFS和YARN。 五、Hadoop基本操作 1. 上传文件：使用`hadoop fs -put`命令将本地文件上传至HDFS。 2. 查看文件：使用`hadoop fs -ls`查看HDFS目录。 3....

    【Spark】六、org.apache.hadoop.security.AccessControlException

    Exception in thread main org.apache.hadoop.security.AccessControlException: Permission denied: user=L.MOON, access=WRITE, inode=/user/lsy/result1/_temporary/0:lsy:supergroup:drwxr-xr-x Caused by: org....

    适合hadoop2.9.* 以及 hadoop2.7.* 的winutils.exe_hadoop.dll 配置文件

    在Hadoop生态系统中，`winutils.exe` 和 `hadoop.dll` 是两个关键的组件，主要用于Windows环境下运行Hadoop。由于Hadoop最初是为Linux设计的，因此在Windows上使用时需要这些特定的二进制文件来模拟某些Unix/Linux...

    HDFS上传文件报错org.apache.hadoop.fs.ChecksumException: Checksum error: file:/hyk/data/hyk.txt

    当从本地上传文件到HDFS中...org.apache.hadoop.fs.ChecksumException: Checksum error: file:/hyk/data/hyk.txt [root@node01 data]# hadoop fs -put hyk.txt /hyk/test 20/02/18 12:54:39 INFO fs.FSInputChecker: Fo

    win32win64hadoop2.7.x.hadoop.dll.bin

    标签“hadoop.dll”、“hadoop2.7.x”和“hadoop”进一步强调了这是关于Hadoop分布式文件系统（HDFS）的核心库文件。 Hadoop是一个开源框架，由Apache软件基金会维护，它允许分布式存储和处理大量数据。在这个场景...

    hadoop-hdfs-2.7.3-API文档-中英对照版.zip

    赠送jar包：hadoop-hdfs-2.7.3.jar； 赠送原API文档：hadoop-hdfs-2.7.3-javadoc.jar； 赠送源代码：hadoop-hdfs-2.7.3-sources.jar； 赠送Maven依赖信息文件：hadoop-hdfs-2.7.3.pom； 包含翻译后的API文档：hadoop...

    hadoop1.x与hadoop2.x配置异同

    6. **启动Hadoop**：执行`start-dfs.sh`和`start-mapred.sh`来启动HDFS和MapReduce服务。 #### Hadoop2.x安装 Hadoop2.x的安装过程与1.x相似，但有几个关键的区别： 1. **引入YARN**：Hadoop2.x引入了YARN（Yet ...

    Hadoop 2.X HDFS源码剖析-高清-完整目录-2016年3月

    Hadoop 2.X HDFS源码剖析-高清-完整目录-2016年3月,分享给所有需要的人!

    HDFS.zip_Hadoop 平台_hadoop_hdfs

    import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class HDFSExample { public static void main(String[] args) throws ...

    java 从hadoop hdfs读取文件 进行groupby并显示为条形图

    Java API提供了访问HDFS的接口，例如`org.apache.hadoop.fs.FileSystem`类，可以用于读取、写入和管理文件系统中的文件。 2. **Hadoop MapReduce**：MapReduce是Hadoop用于并行处理和分析大数据的编程模型。在GROUP...

    hadoop最新版本3.1.1全量jar包

    hadoop-client-api-3.1.1.jar hadoop-hdfs-client-3.1.1.jar hadoop-mapreduce-client-jobclient-3.1.1.jar hadoop-yarn-common-3.1.1.jar hadoop-client-minicluster-3.1.1.jar hadoop-mapreduce-client-app-3.1.1....

    hadoop api.doc

    3. **org.apache.hadoop.dfs**: 这是Hadoop早期版本中针对HDFS实现的包，现在的Hadoop已经将其替换为`org.apache.hadoop.hdfs`。不过，这里提及可能是旧文档中的引用，HDFS是Hadoop的分布式文件系统，提供了高容错性...

    深入理解Hadoop HDFS高级教程.txt打包整理.zip

    在大数据处理领域，Hadoop HDFS（Hadoop Distributed File System）是核心组件之一，它为大规模数据存储提供了可扩展、高容错性的解决方案。本高级教程将深入剖析HDFS的内部机制，帮助读者掌握其核心概念和实际操作...

Magicbox
Global site tag (gtag.js) - Google Analytics