HDFS文件系统结构解析

参考：http://blog.csdn.net/shirdrn/article/details/4634119

 

NameNode节点是就是HDFS的大脑。想了解HDFS文件系统，必须了解大脑结构。 咱们就从NameNode节点开始。NameNode类中，关于HDFS文件系统的存储和管理都交给了FSNamesystem负责。下面介绍一下 FSNamesystem的逻辑组成和类图。

1.  FSNameSystem层次结构 
一些概念 
INode:  它用来存放文件及目录的基本信息：名称，父节点、修改时间，访问时间以及UGI信息等。 
INodeFile: 继承自INode，除INode信息外，还有组成这个文件的Blocks列表，重复因子，Block大小 
INodeDirectory：继承自INode，此外还有一个INode列表来组成文件或目录树结构 
Block(BlockInfo)：组成文件的物理存储，有BlockId，size ，以及时间戳 
BlocksMap: 保存数据块到INode和DataNode的映射关系 
FSDirectory：保存文件树结构，HDFS整个文件系统是通过FSDirectory来管理 
FSImage：保存的是文件系统的目录树 
FSEditlog:  文件树上的操作日志 
FSNamesystem: HDFS文件系统管理 


这些概念之间的层次关系:

 

 

我们都知道，在NameNode内存中存在两张很重要的映射表： 

   1. 文件系统的命名空间(文件目录树) 主要是 文件和Block映射关系 (保存在FSDirectory) 
   2. Block 和 INodeFile & DataNode的映射关系 (保存在FSNamesystem)

在上图中，左边黑线部分是1 数据结构的层次关系；红线部分是 2 关系的层次结构 
(其中block & DataNode这个共用)

下面详细的介绍上图所表示的关系： 

文件系统 FSNamesystem 
FSNamesystem 主要有两个对象：文件系统(FSDirectory)根节点rootDir 和BlocksMap映射表 (Block -> { INode, datanodes, self ref } ) 

文件系统目录FSDirectory 
保存文件目录结构(INodeDirectory树)，实现FSImage和FSEditLog操作实现。 

INode ( INodeFile & INodeDirectory ) 
在HDFS中，无论目录还是文件，都是INode。INode有两个派生类INodeFile和INodeDirectory。 
INodeFile是INode文件类，INodeDirectory是INode目录类。每一 INodeDirectory孩子节点都是由INodeDirectory目录或INodeFile文件列表构成。这样就形成了一棵INode树形结构。 
NameNode内存中保存着HDFS整个文件系统形成的树，这棵树保存在FSDirectory对象内。 

Block & BlocksMap & BlockInfo 
HDFS物理存储单元是Block(缺省的Block大小为64M)，每个Block会有几个副本(缺省是3个)，这些Block都是存储在不同数据节点上的。映射关系保存在BlocksMap。 

Block & INodeFile 
每个INodeFile都有一个Block列表组成。每一个block有多个副本(缺省3个副本), 各副本保存在不同的数据节点上。 这样在文件与Block和DataNode之间形成一个映射关系表。这张关系表就保存在FSDirectory对象 . 

FSImage & FSEditlog(FSDirectory) 
由于目录树(FSDirectory)在NameNode内存中保存，机器也有掉电的时候。若只保存在内存那势必会造成数据的丢失。因此，系统会周期性的保存文件目录树到NameNode本地文件系统，生成FSImage。主要由FSImage和FSEditLog，这两个类负责目录树持久化。 
当 HDFS系统非常庞大时，FSImage也会非常大，这样不能文件系统发生任何操作时，就更新到FSImage，所以一段时间内文件系统的操作日志会记录到FSEditLog。到一定时间会把操作日志FSEditLog同步到FSImage，这样就形成完整的文件目录树。 

   2. FSNameSystem 主要类关系图

 

 

这个类图可以分成三个部分 
Bock相关的部分(BlocksMap & BlockInof & Block) 
INode相关的部分(INode & INodeDirectory & INodeFile & INodeDirectoryWithQuota) 
FSImage & FSEditLog (Storage & StorageInfo) 

其中 
BlockInfo是Block的加强类，增加了INodeFile的引用和DataNode列表 
INodeFirectoryWithQuota 是INodeDirectory的增强类，增加了Quota限制功能 


从层次关系图和类图中，可以看出FSNamesystem中各数据结构之间的关系。了解FSNamesystem, 那么HDFS的文件系统就了解了90%。