`

hadoop dfs -put 时的错误

 
阅读更多

[root@hadoop1 桌面]# hadoop dfs -put /home/hadoop/word.txt /tmp/wordcount/word5.txt出现的错误
3/05/02 18:11:26 WARN hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /user/hadoop/hadoop123/person.txt could only be replicated to 0 nodes, instead of 1
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1576)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:771)
    at sun.reflect.GeneratedMethodAccessor5.invoke(Unknown Source)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
    at java.lang.reflect.Method.invoke(Method.java:597)
    at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:557)
    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1439)
    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1435)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:396)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1278)
    at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1433)

    at org.apache.hadoop.ipc.Client.call(Client.java:1150)
    at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:226)
    at $Proxy0.addBlock(Unknown Source)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
    at java.lang.reflect.Method.invoke(Method.java:597)
    at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:82)
    at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:59)
    at $Proxy0.addBlock(Unknown Source)
    at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.locateFollowingBlock(DFSClient.java:3773)
    at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.nextBlockOutputStream(DFSClient.java:3640)
    at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.access$2400(DFSClient.java:2846)
    at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream$DataStreamer.run(DFSClient.java:3041)

13/05/02 18:11:26 WARN hdfs.DFSClient: Error Recovery for block null bad datanode[0] nodes == null
13/05/02 18:11:26 WARN hdfs.DFSClient: Could not get block locations. Source file "/user/hadoop/hadoop123/person.txt" - Aborting...
put: java.io.IOException: File /user/hadoop/hadoop123/person.txt could only be replicated to 0 nodes, instead of 1

解决方案:

 

 目前解决办法是分别启动节点#hadoop-daemon.sh start namenode #$hadoop-daemon.sh start datanode

 

1.   重新启动namenode

 

# hadoop-daemon.sh start namenode

 

starting namenode, logging to /usr/hadoop-0.21.0/bin/../logs/hadoop-root-namenode-www.keli.com.out

 

 

 

2.   重新启动datanode

 

# hadoop-daemon.sh start datanode

starting datanode, logging to /usr/hadoop-0.21.0/bin/../logs/hadoop-root-datanode-www.keli.com.out

分享到:
评论

相关推荐

    hadoop-common-2.7.3-bin-master

    - **错误日志分析**:当遇到问题时,检查Hadoop的日志文件,如`logs/hadoop-root-namenode-localhost.out`和`logs/hadoop-root-datanode-localhost.out`,它们会提供错误信息帮助解决问题。 - **防火墙配置**:...

    hadoop-2.7.5 windows环境

    1. **上传文件**: 使用`hadoop fs -put`命令将本地文件上传至HDFS,如`hadoop fs -put C:\test\input.txt /input`。 2. **运行MapReduce示例**: 可以尝试运行WordCount程序来验证Hadoop是否正常工作。首先将示例...

    大数据分析与内存计算-Spark安装以及Hadoop操作-实验报告

    - **上传文件**:`hadoop fs -put <localfile> <dest>`,例如`hadoop fs -put /home/hadoop/test.txt /user/hadoop`。 - **下载文件**:`hadoop fs -get <src> <localdir>`,例如`hadoop fs -get /user/hadoop/test....

    hadoop-3.3.1.tar.gz

    - **上传数据**:使用`hadoop fs -put`命令将本地文件系统中的文件上传到HDFS。 - **查看数据**:`hadoop fs -ls`列出目录内容,`hadoop fs -cat`查看文件内容。 - **删除数据**:`hadoop fs -rm`删除文件或目录...

    Hadoop HDFS分布式文件系统 常用命令汇总

    3. 拷贝文件:使用put命令将文件从Linux操作系统拷贝到HDFS,例如bin/hadoop dfs -put ../input in 三、HDFS管理命令 1. 查看 Namenode 状态:使用jps命令查看Namenode的状态,例如jps 2. 查看 Datanode 状态:...

    big-data-101:大数据101 Hadoop-Python-Jupyter Notebook-Sqoop-Hive

    在大数据领域,"big-data-101"通常是指对大数据技术基础的全面介绍,而这个压缩包文件涉及了几个关键组件,包括Hadoop、Python、Jupyter Notebook、Sqoop和Hive。这些工具和技术是大数据处理和分析的核心,下面将...

    福建师范大学精品大数据导论课程系列 (5.3.1)--4.2 HDFS的简要介绍.pdf

    课程还涉及到了简单的HDFS文件操作命令,如使用`hadoop dfs -ls`列出文件,`hadoop dfs -put`上传文件,`hadoop dfs -get`下载文件,`hadoop dfs -rmr`删除文件,`hadoop dfs -cat`查看文件内容,`hadoop dfs -mkdir...

    hadoop2.8 window支持bin文件

    在配置完成后,你可以使用`hadoop dfs -mkdir`命令创建HDFS目录,`hadoop dfs -put`上传文件,`hadoop fs -ls`查看目录内容,以及运行MapReduce任务。为了运行MapReduce,你需要将你的Java程序打包成JAR文件,然后...

    hadoop命令集

    - `hadoop dfs -getmerge /user /home/t`:将/user目录下的所有文件合并为本地/home/t文件。 3. **Job 操作命令** - `hadoop jar <jar> <mainClass> [args]`:运行一个Jar包中的主类。例如: - `hadoop jar /...

    hadoop-2.7.7编译

    hadoop fs -put examples/src/main/java/org/apache/hadoop/examples/WordCount /wordcount ``` 3. 编译并运行WordCount: ```bash hadoop jar build/hadoop-examples-2.7.7.jar wordcount /wordcount /output ``` 4...

    hadoop的hdfs笔记

    - `hdfs dfs -put /home/hadoop/test1 /wwb/` - 将本地`/home/hadoop/test1`文件上传至HDFS的`/wwb/`目录下。 - `hdfs dfs -put - <hdfsfile>` - 从键盘输入数据到HDFS中的文件`hdfsfile`。当文件`hdfsfile`不...

    Analysis-of-Stock-Market-using-Hadoop-Map-Reduce:使用Hadoop Map Reduce分析股票市场

    使用Hadoop地图减少股票市场分析 使用Hadoop Map Reduce分析股票市场 如何运行程序? 首先在您的系统中安装Hadoop。 请按照以下步骤进行安装 然后开始执行给定的命令 ... $ HADOOP_HOME / bin / hdfs dfs -put / h

    hadoop软件以及安装指导Hadoop 配置-命令

    例如,`hadoop fs`系列命令用于与HDFS进行文件操作,如`hadoop fs -put`用于上传本地文件到HDFS,`hadoop fs -ls`用于列出目录内容,`hadoop fs -rm`用于删除文件或目录。`hadoop jar`命令则是运行MapReduce作业的...

    hadoop-2.9.1.tar.gz

    hadoop fs -put /local/file /hdfs/path ``` 2. 从HDFS下载文件: ``` hadoop fs -get /hdfs/path /local/directory ``` 3. 运行MapReduce示例: ``` hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop...

    hadoop-3.1.1-winutils.rar

    bin/hadoop fs -put C:\localfile.txt /hadoopfile.txt ``` 3. 检查文件是否已上传: ``` bin/hadoop fs -ls / ``` **七、注意事项** 1. 确保Java环境已经正确配置,因为Hadoop依赖于Java运行。 2. 避免在...

    hadoop2.6 centos6.5 伪分布式环境部署 实例

    Hadoop 2.6 伪分布式环境部署实践 Hadoop 是一个开源的大数据处理框架,...hadoop dfs -put /etc/hosts /test ``` 至此,我们已经成功部署了 Hadoop 2.6 伪分布式环境,包括环境准备、Hadoop 安装、配置和测试等步骤。

    hadoop-win10-winutils

    8. **其他命令**: `winutils.exe`还支持其他命令,如`hadoop fs -put`用于上传本地文件到HDFS,`hadoop fs -get`用于下载HDFS中的文件,`hadoop fs -rm`用于删除文件等。 请注意,虽然Hadoop可以在Windows上运行,...

    hadoop-2.7.2-bin-x64

    hadoop fs -put C:\test\file.txt /user ``` 六、MapReduce示例 在Windows上运行MapReduce作业,首先需要编写Java代码,实现Mapper和Reducer类,然后编译成JAR包。使用以下命令提交作业: ```bash hadoop jar ...

    Hadoop原理与技术hdfs命令行基本操作

    (4)上传文件:hdfs dfs -put /本地路径 /hdfs路径 (5)下载文件到本地:hdfs dfs -get /hdfs路径 /本地路径 (6)移动hdfs文件:hdfs dfs -mv /hdfs路径 /hdfs路径 (7)复制hdfs文件:hdfs dfs -cp /...

Global site tag (gtag.js) - Google Analytics