`
tangjunliang
  • 浏览: 109244 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

hadoop HA 备NN无法启动的问题

阅读更多
今天在把原来的hadoop HA的环境给变换了,在start-dfs.sh时,报了以下一个错误:
013-09-23 16:39:33,248 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: Web-server up at: slave3:50070
2013-09-23 16:39:33,248 INFO org.apache.hadoop.ipc.Server: IPC Server Responder: starting
2013-09-23 16:39:33,282 INFO org.apache.hadoop.hdfs.server.namenode.ha.StandbyCheckpointer: Starting standby checkpoint thread...
2013-09-23 16:33:59,012 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Determined nameservice ID: master
2013-09-23 16:33:59,012 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: HA Enabled: true
2013-09-23 16:33:59,033 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Append Enabled: true
2013-09-23 16:33:59,672 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: Caching file names occuring more than 10 times
2013-09-23 16:33:59,675 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: dfs.namenode.safemode.threshold-pct = 0.9990000128746033
2013-09-23 16:33:59,675 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: dfs.namenode.safemode.min.datanodes = 0
2013-09-23 16:33:59,675 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: dfs.namenode.safemode.extension     = 30000
2013-09-23 16:33:59,677 WARN org.apache.hadoop.hdfs.server.common.Storage: Storage directory /home/hadoop/dw/data/hadoop/dfs/name does not exist
2013-09-23 16:33:59,678 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Stopping NameNode metrics system...
2013-09-23 16:33:59,679 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: NameNode metrics system stopped.
2013-09-23 16:33:59,679 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: NameNode metrics system shutdown complete.
2013-09-23 16:33:59,680 FATAL org.apache.hadoop.hdfs.server.namenode.NameNode: Exception in namenode join
java.io.IOException: Cannot start an HA namenode with name dirs that need recovery. Dir: Storage Directory /dw/data/hadoop/dfs/name state: NON_EXISTENT
        at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverStorageDirs(FSImage.java:289)
        at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:202)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFSImage(FSNamesystem.java:639)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFromDisk(FSNamesystem.java:476)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.loadNamesystem(NameNode.java:400)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:434)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:610)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:591)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1162)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1226)
2013-09-23 16:33:59,683 INFO org.apache.hadoop.util.ExitUtil: Exiting with status 1
2013-09-23 16:33:59,684 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at slave3/10.95.3.64
************************************************************/
2013-09-23 16:39:30,752 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: STARTUP_MSG:

这个错误导致备NN的进程起不起来,原因是主NN和备NN的元数据不一致导致的,只要把主NN的元数据目录拷贝到备NN的元数据目录即可。
分享到:
评论

相关推荐

    HadoopHA集群配置文件

    这个文件是HDFS(Hadoop Distributed File System)的配置中心,其中的`dfs.nameservices`定义了HA命名服务的ID,如`nameservice1`,而`dfs.ha.namenodes.nameservice1`则指定了该命名服务下的两个活动/备用命名节点...

    hadoopHA搭建资源包

    首先,Hadoop是Apache基金会开源的分布式文件系统,Hadoop 2.7.0是一个稳定版本,引入了HA特性,允许集群拥有两个NameNode,即活性NameNode(Active NN)和备用NameNode(Standby NN),确保NameNode层面的高可用。...

    Hadoop HA搭建笔记和配置文件

    为了提高系统的可用性和可靠性,Hadoop引入了High Availability(HA)特性,允许NameNode和ResourceManager等关键服务在主备之间无缝切换。本笔记将深入探讨如何搭建Hadoop HA环境,并分享配置文件及其详细解读。 ...

    自己总结的hadoop HA安装流程

    而Hadoop HA(High Availability)则是为了确保系统在面临单点故障时仍能保持高可用性。以下是我根据自身经验总结的Hadoop HA安装流程,这个流程已经在实际工作中得到验证,可以确保稳定运行。 一、环境准备 1. ...

    HadoopHA配置文件.rar

    本文件"**HadoopHA配置文件.rar**"包含了实现Hadoop HA所需的一些核心配置,主要包括`core-site.xml`、`hdfs-site.xml`、`mapred-site.xml`和`yarn-site.xml`,以及`slaves`文件。以下将详细解析这些配置文件中的...

    hadoop HA高可用性完全分布式集群安装

    为了解决这一问题,Hadoop引入了HA机制,通过设置两个NameNode实例(一个主动、一个被动),并利用共享存储(如Quorum Journal Manager,QJM)来同步状态信息,实现了NameNode的故障自动转移功能。 #### 集群环境...

    HadoopHA集群部署、HDFSHA配置、启动与验证教学课件.pptx

    本教程将详细讲解如何配置、启动和验证Hadoop HA集群,以及HDFS HA的相关设置。 首先,我们需要对`core-site.xml`进行修改。此文件主要包含了Hadoop集群的基本配置信息。在HDFS HA环境中,我们需要将`fs.defaultFS`...

    hadoop HA+federation

    【Hadoop HA + Federation】是Hadoop 2.0架构中的关键特性,旨在解决Hadoop 1.0中单点故障和性能瓶颈的问题。在Hadoop 1.0中,NameNode作为HDFS的核心组件,负责存储所有元数据,这导致了单一命名空间的局限性和资源...

    Hadoop HA高可用详细配置,100分也不贵

    ### Hadoop HA高可用配置详解 #### 一、HA机制-高可用性 在Hadoop集群中实现高可用性(HA)是确保集群稳定运行的关键技术之一。通过配置Hadoop HA,可以在Namenode出现故障时自动切换到备份Namenode,从而保障系统的...

    HadoopHA高可用集群配置 hdfs-site.xml

    ### Hadoop HA高可用集群配置详解 #### 一、引言 在大数据处理领域,Hadoop作为一款开源软件框架,以其高效稳定的数据处理能力而受到广泛欢迎。而在实际生产环境中,为了确保系统的高可用性和数据的安全性,通常会...

    Hadoop HA部署

    在Hadoop HA部署中,通常会有两个活动的NameNode,它们以主备的方式运行,保证了当一个NameNode出现故障时,另一个可以立即接管工作,从而实现系统的高可用。 在Hadoop HA部署过程中,涉及多个步骤和配置要点,下面...

    Hadoop HA配置

    为了解决这个问题,Hadoop引入了HA配置。 二、HA架构原理 HA架构通过配置两个NameNode节点,一个作为主节点(活动状态),一个作为从节点(备用状态),来实现高可用。集群操作请求由活动状态的NameNode负责处理,...

    Hadoop2.5.1的HA+Federation的详细配置

    Hadoop HA是为了解决单点故障问题,通过引入NameNode的热备机制,确保即使主NameNode故障,系统仍能正常运行。它通常由两个NameNode组成:一个活动NameNode (Active NN) 和一个备用NameNode (Standby NN),两者实时...

    hadoop ha 配置

    YARN HA也采用双活模式,有两个同时运行的RM,一个为主(Active RM),另一个为备(Standby RM)。 - `yarn-site.xml`中的配置如`yarn.resourcemanager.cluster-id`定义集群ID,`yarn.resourcemanager.ha.enabled`...

    Day05_HDFS深入及Hadoop HA.pdf

    Hadoop HA(High Availability)架构涉及到NameNode(NN)的高可用性配置。在高可用性配置下,存在两个NameNode节点:一个是处于活跃状态的Active NameNode,另一个是处于备用状态的Standby NameNode。通过Zookeeper...

    hadoop+HA+zookeeper+hbase配置文件

    首先,要实现Hadoop的HA,你需要设置两个NameNode节点,这通常被称为活性NameNode(active NN)和备用NameNode(standby NN)。配置过程中,需要修改`hdfs-site.xml`文件,添加如下属性: 1. `dfs.nameservices`: ...

    9、hadoop高可用HA集群部署及三种方式验证

    6. 启动Hadoop集群,包括DataNode、NameNode、Zookeeper等服务。 **三、HA集群验证** 验证Hadoop HA集群的正确性有三种常见方法: 1. **Web界面验证**:通过NameNode的HTTP地址访问HDFS Web UI,确认两个NameNode...

    hadoop配置.zip

    在Hadoop生态系统中,高可用性(High Availability, HA)是一个关键特性,它确保了即使在主节点故障时,服务也能不间断地运行。本压缩包文件"hadop配置.zip"提供了一个简单的Hadoop高可用性(HA)配置参考,特别针对...

    新版Hadoop视频教程 段海涛老师Hadoop八天完全攻克Hadoop视频教程 Hadoop开发

    第五天 hadoop2.x中HA机制的原理和全分布式集群安装部署及维护 01-zookeeper.avi 02-zookeeper2.avi 03-NN高可用方案的要点1.avi 04-hadoop-HA机制的配置文件.avi 05-hadoop分布式集群HA模式部署.avi 06-hdfs...

    Hadoop-2.0-NameNode-HA和Federation实践1

    在Hadoop 2.0中,NameNode的High Availability(HA)和Federation是为了解决传统Hadoop架构中的两个关键问题:单点故障和集群扩展性。在Hadoop 2.0之前,NameNode作为HDFS的核心组件,它的单点故障可能导致整个...

Global site tag (gtag.js) - Google Analytics