hdfs 架构

架构图

 hdfs采用master/slave架构，主要由以下组件组成：client、namenode、secondarynode、datanode

 

1、client

client通过与namenode和datenode的访问hdfs中文件，client提供一些接口供用户调用

2、namenode

hadoop集群只有一个namenode，它负责管理hdfs目录树以及相关文件的元数据（matedata）信息。

matedata包括：fsimage（hdfs元数据镜像文件）和edits（文件改动日志）。fsimage保存了block块的存储信息，

fsimage和edits保存在本地磁盘：${hadoop.tmp.dir}/dfs/name/current/

 

注：hdfs上每个文件都要在namenode上建立索引，索引大小大约为150byte。所以大量小文件会产生很多索引，占用大量namenode内存，而且索引太多导致检索速度变慢

3、secondarynode

secondarynode不是namenode的热备份，它的主要任务是合并edits日志到fsimage文件，然后将fsimage传输给namenode。

 

4、datanode

负责实际数据存储（block），并每隔3s向namenode汇报信息。

 

一个大文件会被切分成若干个bolck，每个block默认64M，分别存储到不同的datanode。每个block默认会被复制成3份保存到不同的datanode。第二个block保存在不同机架的datanode，第三个block保存在与第二个block相同机架的不同datanode。