- 浏览: 246108 次
-
文章分类
最新评论
摘要:该文档解决了多次格式化文件系统后,datanode无法启动的问题
一、问题描述
当我多次格式化文件系统时,如
root@localhost:/usr/local/hadoop-1.0.2# bin/hadoop namenode -format
会出现datanode无法启动,查看日志,发现错误为:
2012-04-20 20:39:46,501 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /home/gqy/hadoop/data: namenode namespaceID = 155319143; datanode namespaceID = 1036135033
二、问题产生原因
当我们执行文件系统格式化时,会在namenode数据文件夹(即配置文件中dfs.name.dir在本地系统的路径)中保存一个current/VERSION文件,记录namespaceID,标识了所格式化的 namenode的版本。如果我们频繁的格式化namenode,那么datanode中保存(即配置文件中dfs.data.dir在本地系统的路径)的current/VERSION文件只是你第一次格式化时保存的namenode的ID,因此就会造成datanode与namenode之间的id不一致。
三、解决办法
把配置文件中dfs.data.dir在本地系统的路径下的current/VERSION中的namespaceID改为与namenode一样。
将所有的datanode的服务器的current/VERSION中的namespaceID改为与namenode一样
发表评论
-
大数据方面的文章
2013-07-29 17:01 869http://bbs.e-works.net.cn/forum ... -
Apache Pig中文教程(进阶)
2013-05-13 17:18 1768引自http://www.codelast.com/?p=42 ... -
hadoop视频
2013-05-10 09:35 805http://pan.baidu.com/share/li ... -
Apache Pig的一些基础概念及用法总结(1
2013-05-08 16:01 1108引自http://www.codelast.com/?p=3 ... -
hadoop动态增加删除节点
2013-04-28 09:54 1192在master的conf/hdfs-site.xml中加入 ... -
hadoop 比较好的博客
2013-04-27 17:35 735http://dongxicheng.org 好的书 h ... -
Hadoop错误一的解决猜测
2013-04-26 10:29 845如果出现:java.lang.NullPointerExc ... -
Reduce作业运行时错误:Too many fetch-failures
2013-04-24 21:19 5796root@ubuntu:/usr/local/hadoop# ... -
MultipleOutputFormat和MultipleOutputs
2013-01-04 17:26 992引自http://www.cnblogs.com/liangz ... -
hadoop各种输入方法(InputFormat)汇总
2013-01-04 17:02 1425引自http://www.blogjava.net/shenh ... -
Hadoop运行报错: java.lang.ClassNotFoundException解决方法
2012-12-27 16:44 12813在创建自定义的Mapper时候,编译正确,但上传到集群执 ... -
hadoop-1.1.0 rpm + centos 6.3 64 + JDK7 搭建全分布式集群的方法
2012-12-22 20:45 1258引自 http://blog.csdn.net/ireland ... -
Hadoop HDFS 编程
2012-12-18 17:38 879引自http://blog.csdn.net/lmc ... -
HDFS之SequenceFile和MapFile
2012-12-17 11:37 957引自http://blog.csdn.net/javam ... -
Hadoop -【IO专题-序列化机制】
2012-12-17 10:32 1096引自http://blog.sina.com.cn/s/ ... -
hadoop问题Type mismatch in value from map解决方法
2012-12-13 10:49 876hadoop问题Type mismatch in ... -
hadoop hbase svn site
2012-12-13 10:49 1002hadoop hbase svn site ... -
hadoop项目svn地址
2012-12-11 18:11 1061http://svn.apache.org/repos/asf ... -
在Eclipse中导入hadoop
2012-12-11 18:03 12430. 准备 (1) 需要有gcc、autoconf、 ... -
Hadoop实例WordCount程序一步一步运行
2012-12-11 16:32 1012虽说现在用Eclipse下开发Hadoop程序很方便了,但是命 ...
相关推荐
在部署Hadoop集群的过程中,用户可能会遇到Datanode启动失败的情况。这一问题通常表现为,在尝试启动Hadoop集群时,Datanode无法正常启动,并且在访问NameNode的Web界面时发现缺少Datanode的相关信息。这种情况会...
Hadoop datanode重新加载失败无法启动解决 本文将详细讲解Hadoop datanode重新加载失败无法启动解决的知识点,主要包括datanode加载失败的原因、解决方法和步骤。 知识点1: datanode加载失败的原因 datanode加载...
Hadoop 作为一个大数据处理框架,其核心组件之一是分布式文件系统(HDFS),而 DataNode 是 HDFS 中的重要组件之一。DataNode 负责存储和管理数据块,提供数据访问服务。本文将对 DataNode 的源码进行解析,了解其...
启动Hadoop后 没有DataNode进程 的解决方法。 一篇文章带你快速了解!
问题描述:在hadoop安装目录/bin/hadoop中有一段shell代码导致Hadoop启动datanode时出现Unrecognized option: -jvm和Could not create the Java virtual machine错误。 解决方法: 1. 修改hadoop安装目录/bin/...
大数据之Hadoop伪分布模式启动 Hadoop伪分布模式是一种特殊的Hadoop集群模式,在这种模式下,所有Hadoop服务都运行在同一个节点上,模拟一个完整的Hadoop集群环境。这种模式非常适合开发、测试和学习Hadoop。 格式...
Hadoop 分布式集群初次启动是大数据处理中的重要步骤,本文将指导用户如何在虚拟机中搭建 Hadoop 分布式集群,并对其进行初次启动。 1. SSH 免密登录 在 Hadoop 分布式集群中,各个节点之间需要配置 SSH 免密登录...
- 在生产环境中,通常不推荐使用伪分布模式,因为它无法展示真正的容错性和扩展性。 - 在运行Hadoop之前,请确保配置文件(如`core-site.xml`, `hdfs-site.xml`, `yarn-site.xml`等)已根据你的环境进行了适当设置...
在这个部署中,我们将使用 Hadoop 2.0 在两个 Ubuntu 服务器上部署双 Namenode 双 Datanode 集群。 Namenode 的作用 Namenode 是 Hadoop 集群中的主节点,负责管理文件系统的命名空间和数据块的分布。它维护着...
"hadoop启动日志"这个主题涉及到的是Hadoop集群启动过程中的日志记录,这对于系统管理员进行故障排查、性能优化以及理解Hadoop运行状态至关重要。日志文件通常包含了丰富的信息,如服务启动时间、初始化步骤、依赖...
| hadoop-node7 | *.*.83.7 | Hadoop Datanode/HBase HRegionServer/ZooKeeper | | hadoop-node8 | *.*.83.8 | Hadoop Secondary Namenode/HBase HMaster/ZooKeeper | 三、硬件环境 在本文中,我们使用8台曙光...
* Datanode未启动:检查 Datanode 配置文件,检查 Datanode 进程状态 * JobTracker未启动:检查 JobTracker 配置文件,检查 JobTracker 进程状态 * TaskTracker未启动:检查 TaskTracker 配置文件,检查 TaskTracker...
通过本文的详细介绍,我们不仅了解了Hadoop分布式集群初次启动所需的准备工作,包括SSH免密登录的设置以及HDFS格式化等步骤,还掌握了如何通过不同的命令来启动Hadoop集群中的HDFS与YARN模块。这对于Hadoop初学者来...
4. **Secondary NameNode的作用**:Secondary NameNode并非用于缩短Hadoop集群启动时间,而是辅助NameNode合并编辑日志,减少NameNode的重启时间。 5. **Hadoop的硬件需求与可靠性**:Hadoop设计允许在普通硬件上...
7. 启动Hadoop服务,如NameNode、DataNode、ResourceManager和NodeManager。 注意,虽然Hadoop可以在Windows上运行,但实际生产环境中更推荐使用Linux,因为Linux与Hadoop的兼容性更好,且性能更优。此外,Windows...
本文档提供了 Hadoop 集群维护的详细指南,涵盖了集群的启动、停止、增加存储量、平衡数据、升级 Hadoop 版本等多方面的内容。 一、Hadoop 集群启动和停止命令 Hadoop 集群可以使用 start-all.sh 命令启动,使用 ...
在压缩包`hadooponwindows`中,很可能包含了用于简化上述步骤的脚本或工具,帮助用户快速在Windows上部署和启动Hadoop。如果你遇到任何问题,务必仔细阅读文档,或者查阅在线资源和社区讨论,以便找到解决方案。记住...
- **配置slaves**:列出所有DataNode的主机名,便于Hadoop启动DataNode进程。 5. **格式化NameNode** 在初次安装后,需要对NameNode进行格式化,初始化HDFS的元数据。 6. **启动Hadoop服务** 启动Hadoop的各个...
7. **启动Hadoop服务**:使用`start-dfs.sh`和`start-yarn.sh`命令启动Hadoop的DataNode、NameNode和ResourceManager等服务。 8. **验证安装**:启动成功后,你可以通过浏览器访问`http://localhost:50070`和`...