4-secondarynamenode

 

Namenode的工作特点

 

Namenode始终在内存中保存metedata，用于处理“读请求”

 

到有“写请求”到来时，namenode会首先写editlog到磁盘，成功返回后，才会修改内存，并且向客户端返回

 

Hadoop会维护一个fsimage文件，也就是namenode中metedata的镜像，但是fsimage不会随时与namenode内存中的metedata保持一致，而是每隔一段时间通过合并editlog来更新内容。Secondary namenode就是用来更新fsimage的。

 

 

 

 

 

secondarynamenode的工作特点

 

1、secondarynamenode不是namenode的备份。实质上，它是namenode的一个快照，会根据configuration中设置的值来决定多少时间周期性的去spap一下namenode，记录namenode中的metadata及其它数据。

 

2、假使namenode损坏或丢失之后，无法启动hadoop这时就要人工去干预恢复到secondarynamenode中所照快照的状态，这就意味着集群的数据会或多或少的丢失和一些宕机时间，并且将secondarynamenode作为重要的namenode来处理，这就要求，尽量不要将secondarynamede和namenode放在同一台机器上。

 

 

 

 

 

secondary namenode的工作流程

 

Secondary namenode的主要工作流程有：1)   通过http定时从namenode 下载元数据（edits 和 fsimage） 2) 合并数据包括 edits  和 fsimages   产生新的元数据 fsimage   。这个fisimage 就是下载元数据的checkpiont       3）在本地保存

4）Secondary将新的fsimage发回给primary，清空  namenode 上的edits . 5) 定时重复  1），周而复始

 

 

什么时候checkpiont
 

 

fs.checkpoint.period 指定两次checkpoint的最大时间间隔，默认3600秒。

 

fs.checkpoint.size    规定edits文件的最大值，一旦超过这个值则强制checkpoint，不管是否到达最大时间间隔。默认大小是64M

 

这个工作过程与Oracle 数据库的工作过程基本一样。