HDFS

注：由学习Hadoop权威指南的

HDFS分布式文件系统

概念：
    hadoop的分布式文件系统hdfs
    hdfs思想：一次写入，多次读取是高效的，但是如果低延迟访问未必完全做得到，hdfs是为了大搞高数据吞吐量而设计，由于hdfs块默认为64M大小，这样减少了磁盘的寻址时间，这样硬盘的传输速度越快相应的数据传输速率就越快，这只是字面理解，当然如果任务特别少作业的运行速度可能就比预期要慢很多，当然我未做过实际的大规模的对比，所以这只能是笔记了，不过想想也大概是这个道理，呵呵，
   名称节点和数据节点
   这里名称节点作为管理者管理众多数据节点这些被管理者，名称节点安全与否至关重要，注意名称节点的备份（远程备份或者第二名称节点备份，后者不完全同步）
配置：
fs.default.name=hdfs://localhost设置默认文件系统
dfs.replication=1//设置HDFS副本保存数量，这里为1，伪分布式下设置其他数目会报出异常

命令：
    以下为hadoop fs的一些命令，跟linux差不多，在具体使用中会学到一些hadoop的hdfs的知识
hadoop@ubuntu:/opt/hadoop-0.20.2$ hadoop fs
Usage: java FsShell
           [-ls <path>]
           [-lsr <path>]
           [-du <path>]
           [-dus <path>]
           [-count[-q] <path>]
           [-mv <src> <dst>]
           [-cp <src> <dst>]
           [-rm [-skipTrash] <path>]
           [-rmr [-skipTrash] <path>]
           [-expunge]
           [-put <localsrc> ... <dst>]
           [-copyFromLocal <localsrc> ... <dst>]
           [-moveFromLocal <localsrc> ... <dst>]
           [-get [-ignoreCrc] [-crc] <src> <localdst>]
           [-getmerge <src> <localdst> [addnl]]
           [-cat <src>]
           [-text <src>]
           [-copyToLocal [-ignoreCrc] [-crc] <src> <localdst>]
           [-moveToLocal [-crc] <src> <localdst>]
           [-mkdir <path>]
           [-setrep [-R] [-w] <rep> <path/file>]
           [-touchz <path>]
           [-test -[ezd] <path>]
           [-stat [format] <path>]
           [-tail [-f] <file>]
           [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
           [-chown [-R] [OWNER][:[GROUP]] PATH...]
           [-chgrp [-R] GROUP PATH...]
           [-help [cmd]]

还有hdfs的几个类
FileSystem文件系统 ，提供了对hdfs文件系统文件或者目录的定位，打开资源流访问等
FSDataInputStream文件系统数据输入流 FileSystem.open() return FSdis
FSDataOutputStream
FileStatus文件状态 fs.getFileStatus(Path);获取文件或者目录的属性状态
PathFilter与java的FileFilter类似