`
zhangyu8374
  • 浏览: 94788 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

Hadoop系列-fs包之代码实现

阅读更多
在此包中,最重要的是FileSystem抽象类。它定义了文件系统中涉及的一些基本操作,如:create,rename,delete...另外包括 一些分布式文件系统具有的操作:copyFromLocalFile,copyToLocalFile,...类似于Ftp中put和get操作。 LocalFileSystem和DistributedFileSystem,继承于此类,分别实现了本地文件系统和分布式文件系统。
了解了最重要的类之后,看一看它的一系列stream类:
  • FSOutputStream在原有OutputStream基础之上添加了获得文件指针偏移量的getPos方法。可以通过FileSystem的 createRaw获得它的实例。这里存在一个疑问,这个扩展的getPos方法在fs包中没有被使用。如果在其余包中同样没有被使用,那么扩展就显得多 余。
  • FSInputStream在原有InputStream基础之上同样添加了getPos方法,同时可以通过seek方法定位指定的偏移量处。可以通过 FileSystem的openRaw获得它的实例。新添加的getPos和seek方法在FSDataInputStream类中被使用。
  • FSDataOutputStream继承于DataOutputStream,包装了FSOutputStream。与DataOutputStream相比,不同之处在于:
  1. 添加了getPos方法,它是利用PositonCache记录当前的position
  2. 通过Buffer内类对输出进行缓存处理,改进性能
  3. 可以构建具有checksum的流,保证数据的正确性
  • FSDataInputStram继承于DataInputStream,包装了FSInputStream。与DataInputStream相比,不同之处在于:
  1. 添加了seek和getPos方法
  2. 通过Buffer内类对输入进行缓存处理,改进性能
  3. 可以构建具有checksum的流,保证数据的正确性
另外,为了屏蔽Windows和Unix、Linux在路径处理上存在的差异,实现了Path类,提供了统一的处理方式。
分享到:
评论

相关推荐

    Hadoop fs包文件系统抽象

    标题中的“Hadoop fs包文件系统抽象”指的是Hadoop生态系统中的一个核心组件——FileSystem API,它是Hadoop处理分布式存储的基础。FileSystem API为不同类型的文件系统(如本地文件系统、HDFS、S3等)提供了一个...

    hadoop-1.0源代码(全)

    这个名为“hadoop-1.0源代码(全)”的压缩包包含的是一整套Hadoop 1.0版本的源代码,这对于开发者来说是一个宝贵的资源,可以深入理解Hadoop的工作原理和实现细节。 在压缩包中,我们可以看到以下几个关键目录: ...

    hadoop2.7.7src包

    4. **工具和服务**:Hadoop还包含一系列实用工具,如Hadoop命令行工具、Hadoop FsShell、HDFS的工具(如Fsck用于检查HDFS健康状态)等。此外,还有Hadoop的配置和服务,如 ZooKeeper 的集成,用于协调分布式系统中的...

    hadoop-2.7.5.tar.gz

    这个“hadoop-2.7.5.tar.gz”文件是一个经过重新编译的Hadoop源码包,意味着它包含了源代码,开发者可能已经针对特定环境或需求进行了定制和优化。 Hadoop的核心由两个主要组件构成:HDFS(Hadoop Distributed File...

    hadoop-2.4.0.tar.gz

    这里的“hadoop-2.4.0.tar.gz”是一个压缩包文件,包含了Hadoop 2.4.0版本的所有源代码、编译后的二进制文件、配置文件以及相关的文档。这个版本发布于2014年,是Hadoop发展中的一个重要里程碑,引入了许多关键的...

    hadoop工具包中的share包

    3. **工具和实用程序**:Hadoop的share包中包含了一系列的命令行工具,如`hadoop fs`命令,用于执行文件系统操作,以及`hadoop jar`命令,用于执行用户编写的MapReduce程序。此外,还有各种通用的工具类,如`FSShell...

    Hadoop应用开发-实验指导书.doc

    - Hadoop版本:2.x系列。 - 硬件资源:至少2GB内存,足够的磁盘空间。 #### 实验内容 - 安装JDK并配置环境变量。 - 下载并解压Hadoop压缩包。 - 配置Hadoop环境变量。 - 编写并运行简单的WordCount程序。 #### ...

    windows7-64bit-hadoop本地库lib和bin

    `hadoop fs`命令用于与HDFS交互,如上传、下载文件。在Windows环境下,这些脚本可能需要进行一定的修改才能适应Windows的路径和环境变量。 3. **配置Hadoop**: 在Windows上搭建Hadoop环境,需要设置环境变量,...

    winutils-master.zip hadoop windows运行插件

    "winutils.exe" 是Hadoop在Windows上运行必不可少的工具,它提供了类似Linux环境下`hadoop fs`命令的功能,比如文件系统的操作、配置HDFS以及设置Hadoop环境变量等。通常,在Linux上这些功能由`hadoop binary`提供,...

    hadoop shell操作与程式开发

    学习如何编写Java代码实现MapReduce任务。 5. **Job提交与监控**:了解如何使用`hadoop jar`命令提交MapReduce作业,并通过Hadoop的Web界面或命令行工具监控作业状态和日志。 6. **错误处理与调试**:学习如何处理...

    Hadoop源代码分析(完整版).pdf

    - **包conf**:用于读取系统配置,依赖于fs包,以便读取配置文件时使用文件系统。 - **包fs**:提供统一的文件访问接口,支持多种文件系统,包括本地文件系统、HDFS以及像Amazon S3这样的在线存储系统。 - **其他...

    Hadoop源码分析 完整版 共55章

    - **包结构及依赖**:Hadoop的包结构非常复杂,这主要归因于HDFS提供了统一的文件系统接口,使得开发者能够无缝地在不同的文件系统之间切换,包括本地文件系统、分布式文件系统乃至云存储服务(如Amazon S3)。...

    Hadoop源代码分析(完整版)

    这种机制主要集中在`org.apache.hadoop.io`包中,定义了一系列可序列化的对象,并要求这些对象实现`Writable`接口。例如: ```java public class MyWritable implements Writable { private int counter; private...

    Hadoop应用系列2--MapReduce原理浅析(上)

    在Hadoop的源代码中,MapReduce的实现主要集中在`org.apache.hadoop.mapreduce`包下。`Mapper`和`Reducer`接口定义了用户需要实现的主要方法,如`map()`和`reduce()`。`MapTask`和`ReduceTask`类则分别负责Map和...

    Hadoop源代码分析完整版

    Hadoop作为分布式计算领域的核心框架,其源代码分析对于深入理解云计算的底层实现至关重要。Hadoop最初的设计灵感来源于Google的一系列论文,包括Google Cluster、Chubby、GFS、BigTable以及MapReduce。这些论文详细...

    老师的Hadoop源代码分析报告.pdf

    本报告是对Hadoop源代码进行深入分析的结果,重点研究了Hadoop分布式文件系统(HDFS)的内部实现细节。Hadoop是一种开源软件框架,主要用于分布式存储和处理大规模数据集。本分析报告主要涵盖了以下几个方面:文件...

    Hadoop源代码分析 高清完整中文版PDF下载

    该文件内容指出,对Hadoop源代码的深入理解和分析能够帮助人们更好地掌握Hadoop开发技术,并且提供了一系列的学习资源链接,包括视频教程、安装包集合、推荐书籍以及面试题目等,这些都是学习和深入研究Hadoop的重要...

    Hadoop源代码分析

    在Hadoop中,HDFS的实现主要集中在`org.apache.hadoop.hdfs`包内,其中包含了HDFS的核心类和接口。 - **FSDataInputStream/FSDataOutputStream**:提供文件的读写功能。 - **DistributedFileSystem**:这是HDFS的...

    hadoop权威指南源代码

    6. **Hadoop Shell命令**:书中可能包含使用Hadoop命令行工具进行文件操作的示例,如`hadoop fs`命令,这对于日常操作HDFS非常实用。 7. **Hadoop容错机制**:数据副本的检查、故障检测及恢复、JobTracker和...

Global site tag (gtag.js) - Google Analytics