hadoop的hdfs的设计

一、hdfs的设计，hdfs以流式数据访问模式来存储超大文件

1：hdfs的构建思路，一次写入，多次读取

2：hdfs是为高数据吞吐量应用优化的，这可能会以提高时间延迟为代价

3：由于namenode将文件系统的元数据存储在内存中，因此该文件系统所能存储的文件总数受限于namenode的内存容量。（大量的小文件）

4：hdfs中的文件可能只有一个writer，而且写操作总是将数据添加在文件的末尾，不支持具有多个写入者的操作，也不支持在文件的任意位置修改。

 

二、hdfs的概念

磁盘块：

文件系统块：

 

hdfs上的文件也被划分为块大小的多个分块，作为独立的存储单元，但hdfs中小与一个快大小的文件不会占据整个快的空间。

hdfs的块比磁盘的块大，目的最小化寻址的开销，但不会设置过大，mapReduce中的map任务通常一次只处理一个块中的数据，因此如果任务数太少，作业的运行速度就会比较慢。

 

分布式文件系统中的块进行抽象带来的好处：

1、一个文件的大小可以大于网络中任意一个磁盘的容量。文件的所有块并不需要存储在同一个磁盘上。

2、使用抽象块而非整个文件作为存储单元，大大简化了存储子系统的设计

 

 

 

三、namenode（管理者）和datanode（工作者）

namenode：维护着文件系统树及整棵树内所有的文件和目录。也纪录每个文件中各个块所在数据节点的信息，但他并不永久保存块的位置信息，因为这些信息会在系统启动时由数据节点重建

 

datanode：是文件系统的工作节点，他们根据需要存储并检索数据块，并且向namenode发送他们所存储的块的列表

 

namenode的容错机制

1：备份

2：辅助namenode

 

联邦hdfs

namenode在内存中保存文件系统中每个文件和每个数据块的引用关系，这意味着对于一个拥有大量文件的超大集群来说，内存将成为限制系统横向扩展的瓶颈。2.x发行版本系列中引入的联邦hdfs允许系统增加namenode实现扩展。

 

四、hdfs的常用命令

    hadoop fs -mkdir /tmp/input              在HDFS上新建文件夹

    hadoop fs -put input1.txt /tmp/input  把本地文件input1.txt传到HDFS的/tmp/input目录下

    hadoop fs -get  input1.txt /tmp/input/input1.txt  把HDFS文件拉到本地

    hadoop fs -ls /tmp/output                  列出HDFS的某目录
    hadoop fs -cat /tmp/ouput/output1.txt  查看HDFS上的文件

    hadoop fs -rmr /home/less/hadoop/tmp/output  删除HDFS上的目录

    hadoop dfsadmin -report 查看HDFS状态，比如有哪些datanode，每个datanode的情况

    hadoop dfsadmin -safemode leave  离开安全模式

    hadoop dfsadmin -safemode enter  进入安全模式

 

五、hadoop的文件系统是一个抽象的概念，java提供一个抽象类FileSystem，hdfs只是其中的一个实现，实现类DistributedFileSystem 

 

六、java的提供一些接口

1、从hadoop url读取数据

2、通过filesystem api读取数据

3、写入数据

4、创建目录

5、查询文件系统

6、删除数据

 

七、数据流

1、读取

hdfs客户端-->open分布式文件系统-->namenode-->read (FSData InputStream)-->datanode

 

2、写入

hdfs客户端-->create分布式文件系统-->create namenode -->write(FSData OutputStream)-->datanode-->close 分布式文件系统-->complete namenode

 

3、通过Flume和Sqoop导入数据

Flume是一个将大规模流数据导入HDFS的工具，应用场景是从另外一个系统中收集日志数据，并实现在hdfs中的聚集操作以便用于后期的分析操作

Sqoop是为了将数据从结构化存储设备批量导入hdfs中的设计。应用场景，是将白天生产的数据库中的数据导入hive数据仓库中进行分析。

 

4、通过distcp并行复制，应用场景是在两个hdfs集群之间传输数据。

5、hadoop存档：每个文件按块方式存储，每个块的元数据存储在namenode的内存中，因为hadoop存储小文件会低效。hadoop存档文件（har文件）是一个更高效的文档存储工具，他将文件存入hdfs块，可以减少namenode的内存，允许文件进行透明访问。hadoop存档文件可以用做mapreduce的输入。

 

八、hadoop的I/O操作

hdfs的数据完整性：hdfs会对写入的所有数据计算交验和，并在读取数据时验整校验和。datanode负责在收到数据后存储该数据及其验证校验和。

hadoop的LocalFileSystem执行客户端校验和验证。localfileSystem通过checksumfilesystem来完成任务。

 

压缩格式和算法

DEFLATE,Gzip,bizp2,lzo,lz4,snappy

deflate,deflate,bizp2,lzo,lz4,snappy

 

在mapreduce中使用压缩

如果输入文件是压缩的，那么在根据文件扩展名推断出相应的codec后，mapreduce会在读取文件是自动解压缩文件

想要压缩mapreduce作业的输出，应在作业配置文件设置，还可以fileoutputformat来设置