启动hadoop出现异常,查看namenode日志:
java.io.IOException: File /tmp/hadoop-root/mapred/system/jobtracker.info could only be replicated to 0 nodes, instead of 1
网上查找原因,有这样的解决办法:
引用
问题:I am trying to resolve an IOException error. I have a basic setup and shortly after running start-dfs.sh I get a: error: java.io.IOException: File /tmp/hadoop-root/mapred/system/jobtracker.info could only be replicated to 0 nodes, instead of 1 java.io.IOException: File /tmp/hadoop-root/mapred/system/jobtracker.info could only be replicated to 0 nodes, instead of 1 Any pointers how to resolve this? Thanks!
解答:You'll probably find that even though the name node starts, it doesn't have any data nodes and is completely empty. Whenever hadoop creates a new filesystem, it assigns a large random number to it to prevent you from mixing datanodes from different filesystems on accident. When you reformat the name node its FS has one ID, but your data nodes still have chunks of the old FS with a different ID and so will refuse to connect to the namenode. You need to make sure these are cleaned up before reformatting. You can do it just by deleting the data node directory, although there's probably a more "official" way to do it.
这个原因是执行如下命令导致的:
$hadoop namenode -format
解决办法是删除掉data.dir目录,我查了一下,删除的是如下这个目录:
/tmp/hadoop-root/dfs/data
然后 reformat namenode,问题解决。
分享到:
相关推荐
### Hadoop集群遇到的问题及其解决方法 #### 异常一:DataNode无法连接到NameNode **问题描述:** 在Hadoop集群部署过程中,经常会出现DataNode无法成功连接到NameNode的情况,导致集群无法正常启动。 **原因分析...
hadoop是一个大数据处理的基础架构,但是在实际使用过程中经常会碰到各种各样的问题,以下是解决hadoop配置运行错误的一些经验总结: 一、hadoop集群在namenode格式化后重启集群会出现Incompatible namespaceIDS...
总的来说,hadoop.dll的丢失或错误可能导致Hadoop集群运行异常,通过了解其作用,正确地部署和管理这个文件,可以确保Hadoop系统的稳定运行。同时,对Hadoop整体架构的理解,以及如何阅读和解析错误信息,是解决此类...
6. 启动Hbase:在Hadoop启动并运行正常后,Hbase才能被启动和使用。 7. HbaseShell:使用命令行接口与Hbase数据库交互,包括创建表、扫描表内容、获取一行数据、删除表以及关闭shell。 8. JavaAPIHbase:这部分...
它在Hadoop的本地运行环境中起着关键作用,允许用户执行如启动、停止Hadoop服务等操作。 2. **Hadoop Common**: 这是Hadoop项目的基础模块,包含了一组通用工具和服务,如文件系统客户端、网络工具、配置管理等。`...
3. 异常三:有些进程启动后,利用 stop-all.cmd 杀死不掉所有进行,表名留下的进行是有问题的,这是因为 hadoop 的版本与 hadoop-common-2.2.0-bin-master 的版本不一致导致的,但是 common 只有 2.2.0 版本,因此在...
- 解决方案:确认使用的是适合 Windows 系统的 Cygwin 版本,并且配置文件 `/etc/profile` 正确引用了 `/cygdrive/c/Program Files/hadoop/etc/hadoop/hadoop-env.sh`。 3. **NameNode与DataNode配置问题**: - ...
这里提到的"windows连接Hadoop需要的文件winutils和hadoop_dll"正是为了解决这个问题。这两个文件是针对Windows用户设计的,以便他们在本地开发环境中能够顺利地与运行在Linux服务器上的Hadoop集群进行通信。 首先...
2. **winutils.exe**:这是Hadoop在Windows上的一个实用工具,类似于Linux环境下的`hadoop`命令,用于执行Hadoop相关的操作,如设置HDFS目录权限、启动Hadoop服务等。 3. **hadoop.exp**和**libwinutils.lib**:这...
5. **重启动服务**:完成上述步骤后,重启Hadoop服务,看是否能成功启动并提交job。 6. **错误日志分析**:如果问题仍然存在,需要查看Hadoop的日志文件以获取更具体的错误信息,这将帮助定位问题的根源。 7. **...
6. 启动Hadoop:启动DataNode、NameNode、ResourceManager和NodeManager等服务。 三、分布式数据处理入门 1. 数据上传:使用hadoop fs -put命令将本地文件系统中的数据上传至HDFS。 2. 文件操作:学习使用Hadoop...
调试这类代码可以帮助我们理解Hadoop如何与本地文件系统交互,特别是在解决性能问题或异常时非常有用。 在调试过程中,我们可能会遇到的问题包括但不限于:网络连接问题、Hadoop配置错误、Java版本不兼容、Windows...
然后,你可以通过Hadoop命令行工具进行数据操作,如启动HDFS和YARN服务,上传数据,运行MapReduce作业等。 此外,使用Hadoop进行大数据处理还需要掌握Hadoop的生态系统,例如Pig、Hive、Spark等工具,它们提供了更...
解决方案:检查输入路径和输出路径是否正确,确保文件夹不存在,否则会报“文件夹已存在”异常。 (2)集群配置错误。 解决方案:检查集群配置文件,确保配置正确,例如 hadoop-env.sh 和 core-site.xml 等文件。 ...
##### 3.3 安装HADOOP 2.2.0出现不能找到/ETC/HADOOP目录异常 如果在安装过程中遇到找不到`/etc/hadoop`目录的问题,需要确保已经按照文档中的步骤创建了这个目录,并且所有配置文件都已放置在正确的路径下。 通过...
总的来说,【基于Hadoop的ETL处理Shell架构】是利用开源工具实现大数据处理的有效方式,它结合了Hadoop的分布式能力与Shell的灵活性,为大数据处理提供了低成本、高效率的解决方案。对于熟悉Linux环境和Shell编程的...
在使用Apache Hadoop进行分布式计算时,经常遇到与`hadoop.dll...通过以上步骤,你应该能够成功解决Hadoop在Windows环境下运行MapReduce时遇到的`hadoop.dll`和`winutils.exe`相关问题,从而顺利运行Word Count等示例。
这类问题的出现不仅导致了Hadoop集群资源的长期占用,还使得其他作业因资源不足而无法正常启动,进而影响到了数据预处理的整体时效性。 #### 二、问题描述 在实际应用中,我们通过编写Hadoop MapReduce程序对上游...