`

SecondaryNameNode备份流程(CheckPoint具体流程)

阅读更多

SecondaryNameNode有两个作用,一是镜像备份,二是日志与镜像的定期合并。两个过程同时进行,称为checkpoint
总共分五步:
1.SecondaryNameNode通知NameNode准备提交edits文件,此时主节点产生edits.new
2.SecondaryNameNode通过http get方式获取NameNode的fsimage与edits文件(在SecondaryNameNode的current同级目录下可见到temp.check-point或者previous-checkpoint目录,这些目录中存储着从namenode拷贝来的镜像文件)
3.SecondaryNameNode开始合并获取的上述两个文件,产生一个新的fsimage文件fsimage.ckpt
4.SecondaryNameNode用http post方式发送fsimage.ckpt至NameNode
5.NameNode将fsimage.ckpt与edits.new文件分别重命名为fsimage与edits,然后更新fstime,整个checkpoint过程到此结束。
在新版本的hadoop中(hadoop0.21.0),SecondaryNameNode两个作用被两个节点替换,
checkpoint node与backup node.
SecondaryNameNode备份由三个参数控制fs.checkpoint.period控制周期,fs.checkpoint.size控制日志文件超过多少大小时合并,
dfs.http.address表示http地址,这个参数在SecondaryNameNode为单独节点时需要设置。
分享到:
评论

相关推荐

    SecondaryNameNode职责.pptx

    需要注意的是,虽然名为"Secondary",但SecondaryNameNode并不是NameNode的热备份,它不参与HDFS的日常操作,仅在特定时刻协助NameNode执行合并和备份任务。在Hadoop的新版本中,这一角色已经被更先进的HaNameNode...

    NameNode及SecondaryNameNode分析

    NameNode及SecondaryNameNode分析

    hdfs-secondarynamenode.png

    hdfs-secondarynamenode,nn2节点的作用,以及它的运行原理

    HDFS中NameNode节点的配置、备份和恢复.doc

    SecondaryNameNode 节点会周期性的将 fsimage 和 edits 中记录的对 HDFS 的操作合并到一个previous.checkpoint 中,然后清空 edits。这样可以减少 NameNode 节点的启动时间,并确保 HDFS 集群的高可用性。 5. HDFS...

    11_尚硅谷大数据之HDFS_NameNode和SecondaryNameNode1

    - **检查点机制**:SecondaryNameNode定期(或当Edits文件大小达到一定阈值时)向NameNode询问是否需要执行检查点(checkpoint)。如果需要,它会执行以下步骤: - 请求NameNode滚动当前的Edits日志,生成新的...

    Hadoop中namenode和secondarynamenode工作机制讲解

    secondarynamenode并非namenode的热备份,它不会直接处理客户端的请求,其主要功能是定期合并namenode的编辑日志(edits)和命名空间镜像(FSImage),以防止编辑日志过大,减轻namenode的工作压力,并提供一种恢复...

    快速学习-NameNode和SecondaryNameNode

    第5章 NameNode和SecondaryNameNode(面试开发重点) 5.1 NN和2NN工作机制 思考:NameNode中的元数据是存储在哪里的? 首先,我们做个假设,如果存储在NameNode节点的磁盘中,因为经常需要进行随机访问,还有响应...

    NameNode机制.docx

    - **SecondaryNameNode的CheckPoint机制:** SecondaryNameNode定期与NameNode交互,询问是否需要进行checkpoint操作。如果NameNode同意,则SecondaryNameNode会请求执行CheckPoint,NameNode会切割现有的Edits文件并...

    HDFS构架设计和读写流程.docx

    ### HDFS架构设计和读写流程详解 #### HDFS概览 HDFS(Hadoop Distributed File System),即Hadoop分布式文件系统,旨在解决大规模数据集的存储问题,它通过将数据分散存储在由多台低成本商用服务器组成的集群上,...

    【HDFS篇07】NameNode和SecondearyNameNode1

    **SecondaryNameNode的工作流程:** 1. **检查点检查:** SecondaryNameNode会周期性地询问NameNode是否需要进行检查点操作。检查点的触发条件包括时间间隔(例如,每小时一次)和Edits文件操作次数达到一定阈值。 ...

    大数据Hadoop中Hdfs的工作原理简洁版

    大数据Hadoop中Hdfs的工作原理可以分为几个主要部分:Hdfs工作原理中主要关键词、SecondaryNamenode的工作机制、Hdfs工作流程、Hdfs的读写流程等。 首先,Hdfs工作原理中主要关键词包括NameNode、SecondaryNameNode...

    hadoop3.x笔记.docx

    3. SecondaryNameNode(2nn):是 NameNode 的助手,负责备份 NameNode 的元数据,确保数据的可靠性和可用性。 二、HDFS 读数据流程 HDFS 读数据流程包括以下步骤: 1. 客户端通过 FileSystem 向 NameNode 询问...

    hadoop笔记

    - **触发Checkpoint**:SecondaryNameNode通知Namenode准备执行Checkpoint操作。 - **同步元数据**:Namenode切换Edits日志文件,SecondaryNameNode下载Edits和FsImage文件到本地。 - **合并元数据**:读取FsImage和...

    安装笔记:hadoop+hbase+sqoop2+phoenix+kerberos

    此外,SecondaryNameNode作为备份,可以在NameNode故障时提供恢复点,增强了系统的高可用性。 至于Phoenix,它是SQL查询引擎,直接在HBase之上提供关系型数据库功能,使得通过SQL语句操作HBase变得更加方便。而...

    大数据开发技术.pdf

    SecondaryNameNode是NameNode的辅助角色,不是热备份,而是用来定期合并fsimage(命名空间镜像)和edits(编辑日志),以防NameNode故障时能快速恢复。当主NameNode故障时,如果没有及时备份,SecondaryNameNode中的...

    大数据知识点Hadoop详细笔记

    3. SecondaryNameNode:辅助 NameNode 维护目录树。 HDFS 的组成 1. Block(块):文件会被切分为不同的 block,每个 block 最大存储为 128M。 2. Meta data(元数据):用于记录文件的描述信息,包括名字、大小、...

    hadoop_3_2_0-hdfs-secondarynamenode-3.3.4-1.el7.x86_64.rpm

    Ambari+Bigtop 一站式编译和部署解决方案 https://gitee.com/tt-bigdata/ambari-env

    搭建hadoop伪分布式.docx

    JobTracker,TaskTracker,SecondaryNameNode),请注意分布式运行中的这几个结点的区别:从分布式存储的角度来说,集群中的结点由一个NameNode和若干个DataNode组成,另有一个SecondaryNameNode作为NameNode的备份。...

    Hadoop Namenode恢复

    2. `<property><name>fs.checkpoint.size</name><value>67108864</value><description>The size of the current edit log (in bytes) that triggers a periodic checkpoint even if the fs.checkpoint.period hasn't...

    大数据工程师-必看面试题和答案.pdf

    HDFS 存储的机制可以分为两部分:写流程和读流程。写流程中,Client 将文件切分为多个 Block,然后依次上传到多个 DataNode 中。读流程中,Client 通过 HDFS 的 API 读取数据。 10. MapReduce 的实践应用: ...

Global site tag (gtag.js) - Google Analytics