HDFS可靠性措施

HDFS可靠性措施

一、冗余备份：数据存储在这些HDFS中的节点上，为了防止因为某个节点宕机而导致数据丢失，HDFS对数据进行冗余备份，至于具体冗余多少个副本，在dfs.replication中配置。

二、副本存放：仅仅对数据进行冗余备份还不够，假设所有的备份都在一个节点上，那么该节点宕机后，数据一样会丢失，因此HDFS要有一个好的副本存放策略，该策略还在开发中。目前使用的是，以dfs.replication=3为例，在同一机架的两个节点上各备份一个副本，然后在另一个机架的某个节点上再放一个副本。前者防止该机架的某个节点宕机，后者防止某个机架宕机。

三、心跳监测：DataNode节点定时向NameNode节点发送心跳包，以确保DataNode没有宕机。如果宕机，会采取相应措施，比如数据副本的备份。

四、数据完整性监测：NameNode在创建HDFS文件时，会计算每个数据的校验和并储存起来。当客户端从DataNode获取数据时，他会将获取的数据的校验和与之前储存的校验和进行对比。

五、空间回收：从HDFS中删除的文件会首先被放入到/trash中，/trash文件夹中的内容是被删除文件最后的副本，该文件夹会被定时清空。该文件夹中不存在的文件就彻底不存在了。

六、安全模式：HDFS启动时，会进入安全模式，此时不允许写操作。这时，NameNode会收到所有DataNode节点的数据块报告，在确认安全之后，系统自动退出安全模式。

七、核心文件备份：HDFS的核心文件是映像文件和事务日志，系统支持对这两个文件的备份，以确保NameNode宕机后的恢复

<!--EndFragment-->