namenode莫名奇妙的启动不了,看log:
2011-04-19 12:06:59,967 INFO org.apache.hadoop.hdfs.server.common.Storage: Number of files = 11471
2011-04-19 12:07:00,592 INFO org.apache.hadoop.hdfs.server.common.Storage: Number of files under construction = 0
2011-04-19 12:07:00,592 INFO org.apache.hadoop.hdfs.server.common.Storage: Image file of size 1722772 loaded in 0 seconds.
2011-04-19 12:07:00,680 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: java.lang.NumberFormatException: For input string: "13031^@^@^@^@^@^@^@^@"
at java.lang.NumberFormatException.forInputString(NumberFormatException.java:48)
at java.lang.Long.parseLong(Long.java:419)
at java.lang.Long.parseLong(Long.java:468)
at org.apache.hadoop.hdfs.server.namenode.FSEditLog.readLong(FSEditLog.java:1470)
at org.apache.hadoop.hdfs.server.namenode.FSEditLog.loadFSEdits(FSEditLog.java:797)
at org.apache.hadoop.hdfs.server.namenode.FSImage.loadFSEdits(FSImage.java:1034)
at org.apache.hadoop.hdfs.server.namenode.FSImage.loadFSImage(FSImage.java:845)
at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:379)
at org.apache.hadoop.hdfs.server.namenode.FSDirectory.loadFSImage(FSDirectory.java:99)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.initialize(FSNamesystem.java:347)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java:321)
at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:267)
at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:461)
at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1202)
at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1211)
这是神马意思??? 我就于是乎翻hadoop mail list的邮件,还真叫我找到了!!! mail list 果然很强大的说。。下面是连接http://mail-archives.apache.org/mod_mbox/hadoop-common-user/201003.mbox/%3c2986c2f31003041137j3410bed6wab112faf8f7b605c@mail.gmail.com%3e
http://mail-archives.apache.org/mod_mbox/hadoop-hdfs-user/201010.mbox/%3cBCCFEB17-8464-466B-BD54-125764974AD5@mlogiciels.com%3e
最后还是选择用secondNamenode里的editlog替换掉namenode里的,start-all.sh 后,能正常使用。fsck / 一下,还好没有丢失数据。。。 至今不明白谁家那小谁做了神马操作导致这个情况。。。
分享到:
相关推荐
Java-org.apache.hadoop是Apache Hadoop项目的核心组件,它在分布式计算领域扮演着至关重要的角色。Hadoop是由Apache软件基金会开发的一个开源框架,主要用于处理和存储大量数据。它设计的初衷是为了支持数据密集型...
Caused by: org.apache.spark.sql.catalyst.analysis.NoSuchTableException: Table or view 'stu' not found in database 'default'; 分析:确实没有临时表View,并且没有开启Hive支持 解决:开启Hive支持 val ...
5. **删除文件或目录**:`hadoop fs -rm hdfs://namenode:port/path`删除文件,`hadoop fs -rm -r hdfs://namenode:port/path`删除目录及其所有内容。 6. **重命名**:`hadoop fs -mv hdfs://namenode:port/oldpath...
1、hadoop-root-datanode-master.log 中有如下错误:ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in导致datanode启动不了。原因:每次namenode format...
解压后,用户需要根据自己的系统环境进行适当的配置,包括设置Hadoop的环境变量(如HADOOP_HOME)、配置HDFS的namenode和datanode、以及MapReduce的jobtracker和tasktracker。 在Hadoop的配置中,需要修改`core-...
在讨论如何搭建Hadoop2完全分布式集群之前,首先需要理解Hadoop的一些基础知识。Hadoop是一个开源框架,它允许在计算机集群上使用简单编程模型来存储和处理大数据。它包括几个关键组件:Hadoop Distributed File ...
1. **源代码**:这是Hadoop项目的核心,由Java语言编写,包括HDFS(Hadoop Distributed File System)和MapReduce这两个主要组件的源码,以及YARN(Yet Another Resource Negotiator)资源管理器和其他相关模块。...
在Hadoop的分布式文件系统(HDFS)中,`winutils.exe`负责执行如格式化NameNode、创建新用户、设置文件权限等操作。由于Windows与Linux的文件系统和权限模型不同,`winutils.exe`的存在使得Hadoop可以适应Windows的...
9001 dfs.namenode.rpc-address,DataNode会连接这个端口 50070 dfs.namenode.http-address 50470 dfs.namenode.https-address 50100 dfs.namenode.backup.address 50105 dfs.namenode.backup.http-address 50090 ...
8. 使用Hadoop:现在你可以在Windows上使用Hadoop的命令行工具或者编写Java程序来访问和操作HDFS了。 通过以上步骤,你已经成功在Windows 64位系统上配置了Hadoop 2.9.0,并启用了hadoop.dll和winutils.exe这两个...
Hadoop是Apache软件基金会开发的一个开源框架,主要设计用于处理和存储海量数据。它采用了分布式计算模型,使得在大规模集群上处理数据变得高效且可靠。HDFS(Hadoop Distributed File System)是Hadoop的核心组件之...
源代码中可以找到如`org.apache.hadoop.hdfs.server.namenode.FSNamesystem`和`org.apache.hadoop.hdfs.server.datanode.DataNode`等关键类,它们负责文件系统的管理和数据存储。 2. MapReduce模块:主要关注`org....
这个工具提供了各种管理Hadoop集群和HDFS(Hadoop分布式文件系统)的功能,例如设置HDFS的权限、格式化NameNode、启动和停止Hadoop服务等。由于Windows系统与Linux在文件权限和系统调用上有显著差异,`winutils.exe`...
4. 配置Hadoop:修改`etc/hadoop`目录下的配置文件,如`hadoop-env.sh`、`core-site.xml`、`hdfs-site.xml`等,设置Hadoop的相关参数,如 Namenode和Datanode的目录、Java家目录等。 5. 初始化NameNode:使用`hdfs ...
<name>dfs.namenode.name.dir <value>/app/hadoop/data/nn <name>dfs.datanode.data.dir <value>/app/hadoop/data/dn ``` 五、格式化NameNode 首次安装Hadoop时,需要对NameNode进行格式化,创建HDFS的元...
2. **HDFS高可用性**:Hadoop 3.3.0增强了NameNode的高可用性,通过增加更多的监控和故障检测机制,确保了主NameNode的无缝切换,从而降低了服务中断的风险。 3. **Erasure Coding**:这是Hadoop 3.x引入的新特性,...
Hadoop通过数据复制实现容错,源码中涉及到的数据复制逻辑在`org.apache.hadoop.hdfs.server.namenode.FSNamesystem`等类。此外,Hadoop的可扩展性体现在模块化设计和动态资源调整上。 7. **Hadoop安全机制** ...
5. 初始化HDFS:使用`hadoop namenode -format`命令格式化NameNode。 6. 启动Hadoop服务:启动DataNode、NameNode、ResourceManager、NodeManager等相关进程。 7. 测试Hadoop安装:可以通过`hadoop fs -ls /`命令...
4. **配置Hadoop**: 创建或编辑`%HADOOP_HOME%\etc\hadoop\hadoop-env.cmd`文件,设置Java路径,例如`set JAVA_HOME=C:\Program Files\Java\jdk1.8.0_XX`。 5. **配置HDFS**: 编辑`%HADOOP_HOME%\etc\hadoop\hdfs-...