`

Hadoop CDh4 Standby HA 启动过程

 
阅读更多
根据日志:
StandBy NN启动过程
1.获得Active NN Checkpoints信息
2.在内存中,注册Live Nodes
3.SB NN 进入Safe Mode
4.从Datanod获取包信息
5.离开Safe Mode

Checkpointing active NN at bigdata-4:50070
Serving checkpoints at bigdata-3/172.16.206.206:50070
2012-08-02 11:07:24,761 INFO org.apache.hadoop.hdfs.StateChange: BLOCK* NameSystem.registerDatanode: node registration from DatanodeRegistration(172.16.206.209, storageID=DS-1124007630-172.16.206.209-50010-1343796008920, infoPort=50075, ipcPort=50020, storageInfo=lv=-40;cid=CID-d1f20578-a690-4538-a945-c166fd41cda4;nsid=1959114293;c=0) storage DS-1124007630-172.16.206.209-50010-1343796008920
2012-08-02 11:07:24,763 INFO org.apache.hadoop.net.NetworkTopology: Adding a new node: /default-rack/172.16.206.209:50010
2012-08-02 11:07:24,763 INFO org.apache.hadoop.hdfs.StateChange: BLOCK* NameSystem.registerDatanode: node registration from DatanodeRegistration(172.16.206.206, storageID=DS-1236477555-172.16.206.206-50010-1343796211132, infoPort=50075, ipcPort=50020, storageInfo=lv=-40;cid=CID-d1f20578-a690-4538-a945-c166fd41cda4;nsid=1959114293;c=0) storage DS-1236477555-172.16.206.206-50010-1343796211132
2012-08-02 11:07:24,764 INFO org.apache.hadoop.net.NetworkTopology: Adding a new node: /default-rack/172.16.206.206:50010
2012-08-02 11:07:24,995 INFO org.apache.hadoop.hdfs.StateChange: STATE* Safe mode extension entered.
The reported blocks 8854 has reached the threshold 0.9990 of total blocks 8863. Safe mode will be turned off automatically in 29 seconds.
2012-08-02 11:07:24,995 INFO org.apache.hadoop.hdfs.server.blockmanagement.BlockManager: BLOCK* processReport: Received first block report from 172.16.206.209:50010 after becoming active. Its block contents are no longer considered stale.
2012-08-02 11:07:24,996 INFO org.apache.hadoop.hdfs.StateChange: BLOCK* processReport: from DatanodeRegistration(172.16.206.209, storageID=DS-1124007630-172.16.206.209-50010-1343796008920, infoPort=50075, ipcPort=50020, storageInfo=lv=-40;cid=CID-d1f20578-a690-4538-a945-c166fd41cda4;nsid=1959114293;c=0), blocks: 12908, processing time: 84 msecs
2012-08-02 11:07:25,041 INFO org.apache.hadoop.hdfs.server.blockmanagement.BlockManager: BLOCK* processReport: Received first block report from 172.16.206.206:50010 after becoming active. Its block contents are no longer considered stale.
2012-08-02 11:07:25,041 INFO org.apache.hadoop.hdfs.StateChange: BLOCK* processReport: from DatanodeRegistration(172.16.206.206, storageID=DS-1236477555-172.16.206.206-50010-1343796211132, infoPort=50075, ipcPort=50020, storageInfo=lv=-40;cid=CID-d1f20578-a690-4538-a945-c166fd41cda4;nsid=1959114293;c=0), blocks: 12908, processing time: 45 msecs
2012-08-02 11:07:44,998 INFO org.apache.hadoop.hdfs.StateChange: STATE* Safe mode ON.
The reported blocks 8863 has reached the threshold 0.9990 of total blocks 8863. Safe mode will be turned off automatically in 9 seconds.
2012-08-02 11:07:54,999 INFO org.apache.hadoop.hdfs.StateChange: STATE* Leaving safe mode after 32 secs.
2012-08-02 11:07:54,999 INFO org.apache.hadoop.hdfs.StateChange: STATE* Safe mode is OFF.
2012-08-02 11:07:54,999 INFO org.apache.hadoop.hdfs.StateChange: STATE* Network topology has 1 racks and 2 datanodes
2012-08-02 11:07:54,999 INFO org.apache.hadoop.hdfs.StateChange: STATE* UnderReplicatedBlocks has 0 blocks

分享到:
评论

相关推荐

    hadoop cdh5 centos 64位系统本地库编译文件

    标题中的“hadoop cdh5 centos 64位系统本地库编译文件”涉及到的是在基于64位CentOS操作系统上编译Hadoop CDH5(Cloudera's Distribution Including Apache Hadoop)的本地库的过程。CDH5是Cloudera公司提供的一个...

    hadoop cdh5安装

    在本文中,我们将深入探讨如何在Linux环境中安装Hadoop CDH5,这是一个广泛使用的Hadoop分发版,包含了多个开源大数据处理组件。CDH5提供了高效的数据存储、处理和分析功能,适合大规模数据处理场景。 首先,安装...

    hadoop-cdh4-0.3.zip

    【标题】"hadoop-cdh4-0.3.zip" 提供的是针对Presto优化的CDH4 Hadoop发行版,这个版本是专为Presto大数据查询引擎设计的,旨在提高其在CDH4(Cloudera Distribution Including Apache Hadoop)环境中的性能和兼容性...

    Hadoop 源码编译所需软件

    在Hadoop CDH的源码编译过程中,FindBugs起到了关键的角色。它能够帮助开发者在编译阶段发现潜在的问题,比如空指针异常、资源泄漏等,从而提高代码质量和可维护性。使用FindBugs进行源码检查,可以确保Hadoop CDH的...

    Hadoop CDH5.7.0离线安装与暴力卸载(坑集锦)与暴力卸载(坑集锦)

    根据提供的标题、描述以及部分内容,本文将详细解析Hadoop CDH5.7.0的离线安装过程,并针对其中可能出现的问题进行深入分析。此外,还会介绍如何进行暴力卸载的操作,帮助读者解决在安装和卸载过程中遇到的各种“坑...

    Hadoop CDH5.5.0 配置(Hdfs/Yarn HA)

    在CDH5.5.0中,HDFS(Hadoop Distributed File System)和YARN(Yet Another Resource Negotiator)是两个核心组件,它们在高可用性(HA)模式下的配置尤为重要。HDFS HA允许数据节点和名称节点的冗余,以确保即使单...

    HadoopCDH发行版架构

    HadoopCDH发行版架构

    cdh hadoop官方安装文档

    对于已有Hadoop使用经验的用户而言,了解这些变化有助于他们更好地评估升级至CDH4的必要性和价值。 #### 安装CDH4之前的准备工作 在这一章节中,文档强调了安装CDH4前所需进行的一系列准备步骤。这些步骤包括但不...

    hadoop cdh版本伪分布式集群搭建图文教程

    本文将详细介绍如何在单台机器上搭建Hadoop CDH版本的伪分布式集群,并通过图文形式进行指导,帮助初学者快速掌握搭建过程。 #### 二、准备工作 在开始搭建伪分布式集群之前,需要完成以下准备工作: 1. **下载所需...

    hadoop之cdh

    ### Hadoop之CDH:基于Cloudera的HA部署指南 #### 关于本指南 本文档旨在提供关于如何在Cloudera Distribution Including Hadoop (CDH)上配置高可用性的详细指南。CDH是由Cloudera公司提供的一个企业级Hadoop发行...

    hadoop-2.6.0-cdh5.16.2的压缩包.rar

    主要是因为hadoop的cdh5官网收费,项目下载不了了,上传我下载的到csdn方便各位下载

    hadoop cdh3u6 在eclipse3.6.2下的插件

    hadoop cdh3u6的版本在eclipse3.6.2下的插件,将jar包放入eclipse安装路径下的plugins文件夹,重启即可。

    CDH HA部署

    本文将详细介绍CDH HA部署的过程,包括前期准备、配置hosts文件、设置主机名、关闭防火墙和SELinux等步骤,并深入探讨NFS的安装与配置过程。 #### 二、前期准备 在进行CDH HA部署之前,需要完成一系列的基础配置...

    cloudera hadoop cdh4.3版本安装

    在本文中,我们将深入探讨如何在CentOS 6.2环境下安装Cloudera's Hadoop Distribution (CDH) 4.3版本。CDH是Cloudera公司提供的一款开源大数据处理平台,它集成了Hadoop生态系统中的多个组件,如Hadoop、Zookeeper和...

    hadoop-2.6.0-cdh5.7.0.tar.gz

    Hadoop 2.6.0是Hadoop发展过程中的一个重要版本,它在Hadoop 2.x系列中引入了许多改进和优化,包括提升系统性能、增强容错性和稳定性,以及提供了更丰富的功能。CDH(Cloudera Distribution Including Apache Hadoop...

    hadoop-cdh4.3安装文档

    这个过程包括安装CDH4的各个组件、配置集群参数、初始化HDFS和YARN、启动服务以及进行基本的健康检查。安装过程中需要注意的是,配置文件通常位于`/etc/cassandra`目录下,而Hadoop相关服务则可以通过`service`命令...

    HadoopHA集群 批量启动脚本

    HadoopHA集群 批量启动脚本HadoopHA集群 批量启动脚本HadoopHA集群 批量启动脚本HadoopHA集群 批量启动脚本

    hadoop-2.6.0-cdh5.7.0版本.zip

    4. **CDH**: CDH是Cloudera对Hadoop生态的商业发行版,它包含了经过测试和优化的Hadoop组件,包括HDFS、MapReduce、YARN等,同时也包含了其他如Hive(SQL查询工具)、Pig(数据流编程工具)、Oozie(工作流调度器)...

    hadoop-cdh-4.5.0 eclipse plugin hadoop eclipse 插件

    hadoop-cdh-4.5.0 eclipse plugin hadoop eclipse 插件 hadoop-eclipse-plugin-2.0.0-cdh4.5.0.jar

    安装hadoopCDH5安装服务步骤.doc

    CDH(Cloudera Distribution Including Apache Hadoop)是Cloudera公司提供的一个全面、经过优化且企业级的Hadoop发行版,包含了多个相关项目,如Hive、HBase、Impala和Spark等。CDH5是该发行版的一个版本,它提供了...

Global site tag (gtag.js) - Google Analytics