[root@hadoop1 桌面]# hadoop dfs -put /home/hadoop/word.txt /tmp/wordcount/word5.txt出现的错误
3/05/02 18:11:26 WARN hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /user/hadoop/hadoop123/person.txt could only be replicated to 0 nodes, instead of 1
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1576)
at org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:771)
at sun.reflect.GeneratedMethodAccessor5.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:557)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1439)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1435)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1278)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1433)
at org.apache.hadoop.ipc.Client.call(Client.java:1150)
at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:226)
at $Proxy0.addBlock(Unknown Source)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:82)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:59)
at $Proxy0.addBlock(Unknown Source)
at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.locateFollowingBlock(DFSClient.java:3773)
at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.nextBlockOutputStream(DFSClient.java:3640)
at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.access$2400(DFSClient.java:2846)
at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream$DataStreamer.run(DFSClient.java:3041)
13/05/02 18:11:26 WARN hdfs.DFSClient: Error Recovery for block null bad datanode[0] nodes == null
13/05/02 18:11:26 WARN hdfs.DFSClient: Could not get block locations. Source file "/user/hadoop/hadoop123/person.txt" - Aborting...
put: java.io.IOException: File /user/hadoop/hadoop123/person.txt could only be replicated to 0 nodes, instead of 1
解决方案:
目前解决办法是分别启动节点#hadoop-daemon.sh start namenode #$hadoop-daemon.sh start datanode
1. 重新启动namenode
# hadoop-daemon.sh start namenode
starting namenode, logging to /usr/hadoop-0.21.0/bin/../logs/hadoop-root-namenode-www.keli.com.out
2. 重新启动datanode
# hadoop-daemon.sh start datanode
starting datanode, logging to /usr/hadoop-0.21.0/bin/../logs/hadoop-root-datanode-www.keli.com.out
相关推荐
- **错误日志分析**:当遇到问题时,检查Hadoop的日志文件,如`logs/hadoop-root-namenode-localhost.out`和`logs/hadoop-root-datanode-localhost.out`,它们会提供错误信息帮助解决问题。 - **防火墙配置**:...
1. **上传文件**: 使用`hadoop fs -put`命令将本地文件上传至HDFS,如`hadoop fs -put C:\test\input.txt /input`。 2. **运行MapReduce示例**: 可以尝试运行WordCount程序来验证Hadoop是否正常工作。首先将示例...
- **上传文件**:`hadoop fs -put <localfile> <dest>`,例如`hadoop fs -put /home/hadoop/test.txt /user/hadoop`。 - **下载文件**:`hadoop fs -get <src> <localdir>`,例如`hadoop fs -get /user/hadoop/test....
- **上传数据**:使用`hadoop fs -put`命令将本地文件系统中的文件上传到HDFS。 - **查看数据**:`hadoop fs -ls`列出目录内容,`hadoop fs -cat`查看文件内容。 - **删除数据**:`hadoop fs -rm`删除文件或目录...
3. 拷贝文件:使用put命令将文件从Linux操作系统拷贝到HDFS,例如bin/hadoop dfs -put ../input in 三、HDFS管理命令 1. 查看 Namenode 状态:使用jps命令查看Namenode的状态,例如jps 2. 查看 Datanode 状态:...
在大数据领域,"big-data-101"通常是指对大数据技术基础的全面介绍,而这个压缩包文件涉及了几个关键组件,包括Hadoop、Python、Jupyter Notebook、Sqoop和Hive。这些工具和技术是大数据处理和分析的核心,下面将...
课程还涉及到了简单的HDFS文件操作命令,如使用`hadoop dfs -ls`列出文件,`hadoop dfs -put`上传文件,`hadoop dfs -get`下载文件,`hadoop dfs -rmr`删除文件,`hadoop dfs -cat`查看文件内容,`hadoop dfs -mkdir...
在配置完成后,你可以使用`hadoop dfs -mkdir`命令创建HDFS目录,`hadoop dfs -put`上传文件,`hadoop fs -ls`查看目录内容,以及运行MapReduce任务。为了运行MapReduce,你需要将你的Java程序打包成JAR文件,然后...
- `hadoop dfs -getmerge /user /home/t`:将/user目录下的所有文件合并为本地/home/t文件。 3. **Job 操作命令** - `hadoop jar <jar> <mainClass> [args]`:运行一个Jar包中的主类。例如: - `hadoop jar /...
hadoop fs -put examples/src/main/java/org/apache/hadoop/examples/WordCount /wordcount ``` 3. 编译并运行WordCount: ```bash hadoop jar build/hadoop-examples-2.7.7.jar wordcount /wordcount /output ``` 4...
- `hdfs dfs -put /home/hadoop/test1 /wwb/` - 将本地`/home/hadoop/test1`文件上传至HDFS的`/wwb/`目录下。 - `hdfs dfs -put - <hdfsfile>` - 从键盘输入数据到HDFS中的文件`hdfsfile`。当文件`hdfsfile`不...
使用Hadoop地图减少股票市场分析 使用Hadoop Map Reduce分析股票市场 如何运行程序? 首先在您的系统中安装Hadoop。 请按照以下步骤进行安装 然后开始执行给定的命令 ... $ HADOOP_HOME / bin / hdfs dfs -put / h
例如,`hadoop fs`系列命令用于与HDFS进行文件操作,如`hadoop fs -put`用于上传本地文件到HDFS,`hadoop fs -ls`用于列出目录内容,`hadoop fs -rm`用于删除文件或目录。`hadoop jar`命令则是运行MapReduce作业的...
hadoop fs -put /local/file /hdfs/path ``` 2. 从HDFS下载文件: ``` hadoop fs -get /hdfs/path /local/directory ``` 3. 运行MapReduce示例: ``` hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop...
bin/hadoop fs -put C:\localfile.txt /hadoopfile.txt ``` 3. 检查文件是否已上传: ``` bin/hadoop fs -ls / ``` **七、注意事项** 1. 确保Java环境已经正确配置,因为Hadoop依赖于Java运行。 2. 避免在...
Hadoop 2.6 伪分布式环境部署实践 Hadoop 是一个开源的大数据处理框架,...hadoop dfs -put /etc/hosts /test ``` 至此,我们已经成功部署了 Hadoop 2.6 伪分布式环境,包括环境准备、Hadoop 安装、配置和测试等步骤。
8. **其他命令**: `winutils.exe`还支持其他命令,如`hadoop fs -put`用于上传本地文件到HDFS,`hadoop fs -get`用于下载HDFS中的文件,`hadoop fs -rm`用于删除文件等。 请注意,虽然Hadoop可以在Windows上运行,...
hadoop fs -put C:\test\file.txt /user ``` 六、MapReduce示例 在Windows上运行MapReduce作业,首先需要编写Java代码,实现Mapper和Reducer类,然后编译成JAR包。使用以下命令提交作业: ```bash hadoop jar ...
(4)上传文件:hdfs dfs -put /本地路径 /hdfs路径 (5)下载文件到本地:hdfs dfs -get /hdfs路径 /本地路径 (6)移动hdfs文件:hdfs dfs -mv /hdfs路径 /hdfs路径 (7)复制hdfs文件:hdfs dfs -cp /...