各位大侠，现在hadoop运行wordcount测试时，报错。不知道是什么原因引起的，大家能给点建议不？（访问50030node为0，但是datanode和namenode都起来了。。。）
2013-07-13 01:03:10,719 WARN org.apache.hadoop.hdfs.DFSClient: Error Recovery for block null bad datanode[0] nodes == null
2013-07-13 01:03:10,720 WARN org.apache.hadoop.hdfs.DFSClient: Could not get block locations. Source file "/tmp/hadoop-hadoop1/mapred/system/jobtracker.info" - Aborting...
2013-07-13 01:03:10,720 WARN org.apache.hadoop.mapred.JobTracker: Writing to file hdfs://localhost:9000/tmp/hadoop-hadoop1/mapred/system/jobtracker.info failed!
2013-07-13 01:03:10,720 WARN org.apache.hadoop.mapred.JobTracker: FileSystem is not ready yet!
2013-07-13 01:03:10,723 WARN org.apache.hadoop.mapred.JobTracker: Failed to initialize recovery manager.
org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /tmp/hadoop-hadoop1/mapred/system/jobtracker.info could only be replicated to 0 nodes, instead of 1
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1271)
at org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:422)
at sun.reflect.GeneratedMethodAccessor9.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:601)
at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:508)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:959)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:955)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:953)
at org.apache.hadoop.ipc.Client.call(Client.java:740)
at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:220)
at $Proxy4.addBlock(Unknown Source)
at sun.reflect.GeneratedMethodAccessor9.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:601)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:82)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:59)
at $Proxy4.addBlock(Unknown Source)
at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.locateFollowingBlock(DFSClient.java:2937)
at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.nextBlockOutputStream(DFSClient.java:2819)
at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.access$2000(DFSClient.java:2102)
at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream$DataStreamer.run(DFSClient.java:2288)
2013-07-13 01:03:20,724 WARN org.apache.hadoop.mapred.JobTracker: Retrying...
2013-07-13 01:03:20,736 WARN org.apache.hadoop.hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /tmp/hadoop-hadoop1/mapred/system/jobtracker.info could only be replicated to 0 nodes, instead of 1
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1271)
at org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:422)
at sun.reflect.GeneratedMethodAccessor9.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:601)
at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:508)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:959)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:955)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:953)
at org.apache.hadoop.ipc.Client.call(Client.java:740)
at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:220)
at $Proxy4.addBlock(Unknown Source)
at sun.reflect.GeneratedMethodAccessor9.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:601)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:82)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:59)
at $Proxy4.addBlock(Unknown Source)
at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.locateFollowingBlock(DFSClient.java:2937)
at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.nextBlockOutputStream(DFSClient.java:2819)
at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.access$2000(DFSClient.java:2102)
at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream$DataStreamer.run(DFSClient.java:2288)
2013-07-13 01:03:20,736 WARN org.apache.hadoop.hdfs.DFSClient: Error Recovery for block null bad datanode[0] nodes == null
2013-07-13 01:03:20,736 WARN org.apache.hadoop.hdfs.DFSClient: Could not get block locations. Source file "/tmp/hadoop-hadoop1/mapred/system/jobtracker.info" - Aborting...
2013-07-13 01:03:20,736 WARN org.apache.hadoop.mapred.JobTracker: Writing to file hdfs://localhost:9000/tmp/hadoop-hadoop1/mapred/system/jobtracker.info failed!
2013-07-13 01:03:20,737 WARN org.apache.hadoop.mapred.JobTracker: FileSystem is not ready yet!
2013-07-13 01:03:20,740 WARN org.apache.hadoop.mapred.JobTracker: Failed to initialize recovery manager.
org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /tmp/hadoop-hadoop1/mapred/system/jobtracker.info could only be replicated to 0 nodes, instead of 1
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1271)
at org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:422)
at sun.reflect.GeneratedMethodAccessor9.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:601)
at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:508)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:959)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:955)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:953)
at org.apache.hadoop.ipc.Client.call(Client.java:740)
at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:220)
at $Proxy4.addBlock(Unknown Source)
at sun.reflect.GeneratedMethodAccessor9.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:601)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:82)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:59)
at $Proxy4.addBlock(Unknown Source)
at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.locateFollowingBlock(DFSClient.java:2937)
at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.nextBlockOutputStream(DFSClient.java:2819)
at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.access$2000(DFSClient.java:2102)
at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream$DataStreamer.run(DFSClient.java:2288)
2013-07-13 01:03:30,740 WARN org.apache.hadoop.mapred.JobTracker: Retrying...
1条评论
关注(0)
相关推荐
这包括但不限于安装JDK、配置Hadoop环境变量以及设置HDFS（Hadoop Distributed File System）等。 #### 二、停止Hadoop服务 1. **停止所有Hadoop进程**： - 执行`stop-all.sh`脚本停止所有的Hadoop守护进程，包括...
解压后，用户需要根据自己的系统环境进行适当的配置，包括设置Hadoop的环境变量（如HADOOP_HOME）、配置HDFS的namenode和datanode、以及MapReduce的jobtracker和tasktracker。 在Hadoop的配置中，需要修改`core-...
10. 启动 Hadoop 节点 2. Hadoop 核心组件 Hadoop 的核心组件包括： 1. Namenode：管理集群，存储数据的原始信息，并管理记录 Data node 中的文件信息。 2. Secondary Namenode：可以作为冷备，做一定范围内数据...
6. 启动Hadoop服务：通过`start-dfs.sh`和`start-yarn.sh`启动HDFS和YARN。 五、Hadoop基本操作 1. 上传文件：使用`hadoop fs -put`命令将本地文件上传至HDFS。 2. 查看文件：使用`hadoop fs -ls`查看HDFS目录。 3....
【在最终部署的Hadoop上运行WordCount程序实验报告】 实验报告主要涵盖了以下几个关键知识点： 1. **Linux系统与KVM虚拟机**：在实验中，学生们通过安装Linux系统（如Ubuntu 14.04）和KVM（Kernel-based Virtual ...
Hadoop 2.4引入了YARN（Yet Another Resource Negotiator），作为新的资源管理器，取代了原来的JobTracker，提供了更好的集群资源管理和调度性能。 安装Spark-1.6.0的过程通常包括以下步骤： 1. **解压文件**：首先...
在这个例子中，我们将深入理解Hadoop MapReduce的工作原理以及如何在Eclipse环境下实现WordCount源码。 1. **Hadoop MapReduce概述**： Hadoop MapReduce是由两个主要部分组成的：Map阶段和Reduce阶段。Map阶段将...
WordCount是Apache Hadoop项目中的一个经典例子，用于演示分布式计算的基本原理。在这个例子中，程序的任务是统计文本中每个单词出现的次数。Hadoop是一个开源框架，它允许在大型集群上处理和存储大量数据。这里我们...
### 在Ubuntu 13.10环境中配置Hadoop ...完成以上步骤后，您就可以在Ubuntu 13.10环境中成功配置并运行Hadoop以及Eclipse上的WordCount示例程序了。这为大数据处理提供了一个稳定且高效的环境基础。
- 使用命令`hadoop jar wordcount.jar`运行程序。 #### 五、常见问题及解决方案 **1. Hadoop服务无法启动** - 确保所有配置文件正确无误。 - 检查环境变量是否设置正确。 - 查看日志文件，查找错误提示。 **2...
* Hadoop命令会启动一个JVM来运行这个MapReduce程序，并自动获得Hadoop的配置，同时把类的路径（及其依赖关系）加入到Hadoop的库中。 * 以上就是Hadoop Job的运行记录，从这里可以看到，这个Job被赋予了一个ID号：...
3. **运行MapReduce示例程序**：使用`hadoop jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount /input /output`命令运行WordCount示例程序。 #### 七、注意事项 - 在配置Hadoop...
Hadoop的使用包括运行测试例子（例如WordCount）、编写并运行Hadoop应用程序以及提交多个作业到集群。测试例子可以帮助理解Hadoop的基本操作和工作原理，而编写自己的应用程序则可以实际运用Hadoop进行数据处理。 7...
2. **查看MapReduce执行过程**：执行上述命令后，Hadoop会启动一个JVM来运行WordCount程序，并输出执行过程的信息。例如，可以了解到任务ID（如`job_201202292213_0002`）、输入文件数量、map和reduce任务的数量、...
### Hadoop基础架构与历史技术教程 #### 一、Hadoop的起源与发展 **1.1 Hadoop的起源** Hadoop项目的诞生可以追溯到2004年，由Doug Cutting和Mike ...通过这个例子，可以看出Hadoop在处理大数据集时的强大能力。
1. YARN（Yet Another Resource Negotiator）：Hadoop 2.0引入了YARN作为新的资源管理框架，取代了原有的JobTracker，使得集群资源分配和任务调度更加高效和灵活。 2. HDFS HA（High Availability）：为了解决...
- 可以使用Hadoop自带的WordCount示例程序进行测试。 #### 七、注意事项 - 在生产环境中，建议至少有两个Master节点，其中一个作为备用节点，以防主Master节点发生故障。 - 确保所有节点的时间同步，避免由于时间...
通过运行简单的WordCount示例，验证Hadoop集群是否正确配置和运行。 8. **维护与优化** 学习监控Hadoop集群的性能，调整参数以适应不同的工作负载，如增加DataNode的内存分配，优化网络通信等。 总之，Hadoop的...