`
085567
  • 浏览: 219102 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: java.lang.NumberFormatExc

阅读更多

namenode莫名奇妙的启动不了,看log:

2011-04-19 12:06:59,967 INFO org.apache.hadoop.hdfs.server.common.Storage: Number of files = 11471
2011-04-19 12:07:00,592 INFO org.apache.hadoop.hdfs.server.common.Storage: Number of files under construction = 0
2011-04-19 12:07:00,592 INFO org.apache.hadoop.hdfs.server.common.Storage: Image file of size 1722772 loaded in 0 seconds.
2011-04-19 12:07:00,680 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: java.lang.NumberFormatException: For input string: "13031^@^@^@^@^@^@^@^@"
        at java.lang.NumberFormatException.forInputString(NumberFormatException.java:48)
        at java.lang.Long.parseLong(Long.java:419)
        at java.lang.Long.parseLong(Long.java:468)
        at org.apache.hadoop.hdfs.server.namenode.FSEditLog.readLong(FSEditLog.java:1470)
        at org.apache.hadoop.hdfs.server.namenode.FSEditLog.loadFSEdits(FSEditLog.java:797)
        at org.apache.hadoop.hdfs.server.namenode.FSImage.loadFSEdits(FSImage.java:1034)
        at org.apache.hadoop.hdfs.server.namenode.FSImage.loadFSImage(FSImage.java:845)
        at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:379)
        at org.apache.hadoop.hdfs.server.namenode.FSDirectory.loadFSImage(FSDirectory.java:99)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.initialize(FSNamesystem.java:347)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java:321)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:267)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:461)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1202)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1211)

 

这是神马意思???  我就于是乎翻hadoop mail list的邮件,还真叫我找到了!!! mail list 果然很强大的说。。下面是连接http://mail-archives.apache.org/mod_mbox/hadoop-common-user/201003.mbox/%3c2986c2f31003041137j3410bed6wab112faf8f7b605c@mail.gmail.com%3e

 

http://mail-archives.apache.org/mod_mbox/hadoop-hdfs-user/201010.mbox/%3cBCCFEB17-8464-466B-BD54-125764974AD5@mlogiciels.com%3e

 

最后还是选择用secondNamenode里的editlog替换掉namenode里的,start-all.sh 后,能正常使用。fsck / 一下,还好没有丢失数据。。。 至今不明白谁家那小谁做了神马操作导致这个情况。。。

分享到:
评论

相关推荐

    Java-org.apache.hadoop

    Java-org.apache.hadoop是Apache Hadoop项目的核心组件,它在分布式计算领域扮演着至关重要的角色。Hadoop是由Apache软件基金会开发的一个开源框架,主要用于处理和存储大量数据。它设计的初衷是为了支持数据密集型...

    SparkSQL通过Hive创建DataFrame

    Caused by: org.apache.spark.sql.catalyst.analysis.NoSuchTableException: Table or view 'stu' not found in database 'default'; 分析:确实没有临时表View,并且没有开启Hive支持 解决:开启Hive支持 val ...

    HDFS.zip_Hadoop 平台_hadoop_hdfs

    5. **删除文件或目录**:`hadoop fs -rm hdfs://namenode:port/path`删除文件,`hadoop fs -rm -r hdfs://namenode:port/path`删除目录及其所有内容。 6. **重命名**:`hadoop fs -mv hdfs://namenode:port/oldpath...

    hadoop常见错误以及处理方法详解

    1、hadoop-root-datanode-master.log 中有如下错误:ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in导致datanode启动不了。原因:每次namenode format...

    hadoop-2.7.3.tar.gz 下载 hadoop tar 包下载

    解压后,用户需要根据自己的系统环境进行适当的配置,包括设置Hadoop的环境变量(如HADOOP_HOME)、配置HDFS的namenode和datanode、以及MapReduce的jobtracker和tasktracker。 在Hadoop的配置中,需要修改`core-...

    hadoop搭建

    在讨论如何搭建Hadoop2完全分布式集群之前,首先需要理解Hadoop的一些基础知识。Hadoop是一个开源框架,它允许在计算机集群上使用简单编程模型来存储和处理大数据。它包括几个关键组件:Hadoop Distributed File ...

    hadoop.dll & winutils.exe For hadoop-2.6.0

    在Hadoop的分布式文件系统(HDFS)中,`winutils.exe`负责执行如格式化NameNode、创建新用户、设置文件权限等操作。由于Windows与Linux的文件系统和权限模型不同,`winutils.exe`的存在使得Hadoop可以适应Windows的...

    Hadoop(HDFS、YARN、HBase、Hive和Spark等)默认端口表

    9001 dfs.namenode.rpc-address,DataNode会连接这个端口 50070 dfs.namenode.http-address 50470 dfs.namenode.https-address 50100 dfs.namenode.backup.address 50105 dfs.namenode.backup.http-address 50090 ...

    hadoop.dll-and-winutils.exe-for-hadoop2.9.0-on-windows_X64

    8. 使用Hadoop:现在你可以在Windows上使用Hadoop的命令行工具或者编写Java程序来访问和操作HDFS了。 通过以上步骤,你已经成功在Windows 64位系统上配置了Hadoop 2.9.0,并启用了hadoop.dll和winutils.exe这两个...

    hdfs.rar_hadoop_hadoop ubuntu_hdfs_分布式系统_基于hadoop

    Hadoop是Apache软件基金会开发的一个开源框架,主要设计用于处理和存储海量数据。它采用了分布式计算模型,使得在大规模集群上处理数据变得高效且可靠。HDFS(Hadoop Distributed File System)是Hadoop的核心组件之...

    hadoop源代码code归档整理

    源代码中可以找到如`org.apache.hadoop.hdfs.server.namenode.FSNamesystem`和`org.apache.hadoop.hdfs.server.datanode.DataNode`等关键类,它们负责文件系统的管理和数据存储。 2. MapReduce模块:主要关注`org....

    hadoop-2.9.2 win环境运行资源文件:hadoop.dll, winutils.exe

    这个工具提供了各种管理Hadoop集群和HDFS(Hadoop分布式文件系统)的功能,例如设置HDFS的权限、格式化NameNode、启动和停止Hadoop服务等。由于Windows系统与Linux在文件权限和系统调用上有显著差异,`winutils.exe`...

    hadoop-3.3.0.tar.gz

    2. **HDFS高可用性**:Hadoop 3.3.0增强了NameNode的高可用性,通过增加更多的监控和故障检测机制,确保了主NameNode的无缝切换,从而降低了服务中断的风险。 3. **Erasure Coding**:这是Hadoop 3.x引入的新特性,...

    实验2-Hadoop安装与HDFS基础实践.nbn.zip

    4. 配置Hadoop:修改`etc/hadoop`目录下的配置文件,如`hadoop-env.sh`、`core-site.xml`、`hdfs-site.xml`等,设置Hadoop的相关参数,如 Namenode和Datanode的目录、Java家目录等。 5. 初始化NameNode:使用`hdfs ...

    hadoop-3.1.4.tar.zip

    1. **源代码**:这是Hadoop项目的核心,由Java语言编写,包括HDFS(Hadoop Distributed File System)和MapReduce这两个主要组件的源码,以及YARN(Yet Another Resource Negotiator)资源管理器和其他相关模块。...

    hadoop-3.1.3.tar.gz

    &lt;name&gt;dfs.namenode.name.dir &lt;value&gt;/app/hadoop/data/nn &lt;name&gt;dfs.datanode.data.dir &lt;value&gt;/app/hadoop/data/dn ``` 五、格式化NameNode 首次安装Hadoop时,需要对NameNode进行格式化,创建HDFS的元...

    hadoop-2.6.5-src

    Hadoop通过数据复制实现容错,源码中涉及到的数据复制逻辑在`org.apache.hadoop.hdfs.server.namenode.FSNamesystem`等类。此外,Hadoop的可扩展性体现在模块化设计和动态资源调整上。 7. **Hadoop安全机制** ...

    hadoop插件apache-hadoop-3.1.0-winutils-master.zip

    Apache Hadoop是一个开源框架,主要用于分布式存储和计算大数据集。Hadoop 3.1.0是这个框架的一个重要版本,提供了许多性能优化和新特性。在Windows环境下安装和使用Hadoop通常比在Linux上更为复杂,因为Hadoop最初...

    hadoop-2.7.2.tar.gz

    5. 初始化HDFS:使用`hadoop namenode -format`命令格式化NameNode。 6. 启动Hadoop服务:启动DataNode、NameNode、ResourceManager、NodeManager等相关进程。 7. 测试Hadoop安装:可以通过`hadoop fs -ls /`命令...

Global site tag (gtag.js) - Google Analytics