Hadoop分布式文件系统

Hadoop有一个被称为HDFS的分布式系统，全称为Hadoop Distributed FileSystem。
HDFS是为以流式数据访问模式（一次写入，多次读取）存储超大文件（指几百MB，几百GB甚至几百TB大小的文件）而设计的文件系统，在商用硬件（在各种零售店都可以买到的普通硬件）的集群上运行。
HDFS不适用的领域： ①低延迟数据访问（HDFS是为达到高数据吞吐量而优化的，这有可能会以延迟为代价）
                                        ②大量的小文件（名称节点存储着文件系统的元数据，因此文件数量的限制也有名称节点的内存量决定）
                                        ③多用户写入，任意修改文件（HDFS中的文件只有一个写入者，而且写操作总是在文件的末尾）
HDFS的块默认为64MB，磁盘的块一般为512字节。HDFS的块比磁盘的块大，目的是为了减小寻址开销。

名称节点与数据节点
HDFS集群有两种节点，以管理者-工作者的模式运行，即一个名称节点（管理者）和多个数据节点（工作者）。
名称节点管理文件系统的命名空间，它维护着这个文件系统树及这个树内所有的文件和索引目录。
数据节点是文件系统的工作者。它们存储并提供定位块的服务（被用户或名称节点调用时），并且定时的向名称节点发送他们存储的块的列表。
Hadoop提供了两种机制来确保名称节点能够经受故障：①复制那些组成文件系统元数据持久状态的文件。（一般的配置选择是，在本地磁盘上写入的同时，写入一个远程NFS挂载）②运行一个二级名称节点，定期的通过编辑日志合并命名空间镜像，以防止编辑日志过大。

压缩和输入分割
gzip格式使用DEFLATE来存储压缩过的数据，DEFLATE将数据作为一系列压缩过的块进行存储。gzip不支持分割（块）机制。
基本压缩格式不为reader提供方法使其与流同步。
bzip2格式的压缩文件提供了块与块之间的同步标记（一个48为的π近似值），因此它支持分割机制。
ZIP文件支持文件边界处分割，每个分片中包括ZIP压缩文件中的一个或多个文件。