`
bupt04406
  • 浏览: 348309 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

从HDFS API看移动计算(HDFS的设计目标和假设之一 )

阅读更多
已经自己的研究和一个师兄讨教后,发现HDFS提供给程序员使用的API,主要是FileSystem和DFSClient,这两个类提供了用于创建目录,创建文件,取得文件信息的方法,FileSystem是高层的一个类,DFSClient是一个底层的类,FileSystem使用了DFSClient,DFSClient可以比FileSystem相比拿到一些更详细的信息,如文件包括那些block,以及block在那些datanode上等信息,但是他们都不能控制block写到那些机器上,但是可以设置几个备份、所属用户、权限等一些信息。这些很大一部分是HDFS的局限性,另一个方面是为了MapReduce,提供文件的存储,查询数据所在的datanode为移动计算提供了工具。
移动计算,前面说过DFSClient提供了查询文件的具体信息,如文件有那些block,block所在的机器,这样就能找到数据在哪,你就能把计算移动到那。这是HDFS基于移动计算比移动代价低的假设所提供的。从HDFS提供给程序员使用的API角度能够更清楚HDFS的设计目标和假设。

分享到:
评论

相关推荐

    hdfs-java-api

    HDFS Java API 是一组 Java 类库,提供了一组接口来操作 HDFS。下面我们将对 HDFS Java API 进行详细的介绍。 HDFS Java API 概述 HDFS Java API 是一个 Java 库,提供了一个接口来访问 HDFS。该 API 提供了多种...

    详细简单的hdfs java的api接口实现

    HDFS API是Hadoop的核心组件之一,它提供了一组Java类和接口,允许用户在HDFS上执行各种操作。主要涉及的类有`FileSystem`、`DFSClient`和`DFSOutputStream`等,而核心接口包括`DFSInputStream`、`DFSOutputStream`...

    elcipse java hadoop操作hdfs的api

    1. **HDFS API**:HDFS API是Hadoop的核心组件之一,提供了对分布式文件系统的基本操作,如打开、创建、读取、写入、移动和删除文件或目录。主要类包括`FSDFSClient`、`FileSystem`、`Path`等。 2. **FileSystem...

    02--HDFS Java API操作.docx

    HDFS Java API 是 Hadoop 中的一部分,提供了一个 Java 编程接口来访问和操作 HDFS 中的文件和目录。该 API 提供了多种方法来操作文件和目录,包括创建、删除、读取和写入文件,列出目录中的文件和子目录等。 二、...

    java操作Hadoop源码之HDFS Java API操作-上传文件

    以下是一个简单的例子,假设我们要上传本地文件`local_file_path`到HDFS的`/hdfs_path`: ```java try (InputStream in = new FileInputStream("local_file_path")) { fs.copyFromLocalFile(false, new Path(...

    HDFS FS API

    HDFS(Hadoop Distributed File System)是Apache Hadoop项目的核心组件之一,它提供了一个高容错、可扩展的分布式文件系统,使得大数据处理变得更加高效。HDFS FS API 是Hadoop提供的用于与HDFS进行交互的一组Java...

    hadoop-hdfs-2.7.3-API文档-中英对照版.zip

    包含翻译后的API文档:hadoop-hdfs-2.7.3-javadoc-API文档-中文(简体)-英语-对照版.zip; Maven坐标:org.apache.hadoop:hadoop-hdfs:2.7.3; 标签:apache、hdfs、hadoop、jar包、java、API文档、中英对照版; 使用...

    大数据技术基础实验报告-调用Java API实现HDFS操作.doc

    总的来说,本实验旨在使学习者熟悉Hadoop环境下的Java编程,理解如何调用HDFS API进行文件操作,这是一项重要的技能,因为在大数据处理中,HDFS是数据存储的核心组件。通过这样的实践,学生将能够更好地理解和应用大...

    HDFS文件系统基本文件命令、编程读写HDFS

    它是 Hadoop 云计算平台的核心组件之一,提供了高效、可靠、可扩展的数据存储和管理解决方案。 HDFS 的优点包括: 1. 高可靠性:HDFS 能够检测和恢复节点故障,确保数据的安全和可用性。 2. 高性能:HDFS 可以处理...

    hadoop-hdfs-2.9.1-API文档-中文版.zip

    赠送原API文档:hadoop-hdfs-2.9.1-javadoc.jar 赠送源代码:hadoop-hdfs-2.9.1-sources.jar 包含翻译后的API文档:hadoop-hdfs-2.9.1-javadoc-API文档-中文(简体)版.zip 对应Maven信息:groupId:org.apache....

    hadoop-hdfs-2.6.5-API文档-中文版.zip

    包含翻译后的API文档:hadoop-hdfs-2.6.5-javadoc-API文档-中文(简体)版.zip; Maven坐标:org.apache.hadoop:hadoop-hdfs:2.6.5; 标签:apache、hdfs、hadoop、jar包、java、中文文档; 使用方法:解压翻译后的API...

    实验二、HDFS shell操作及HDFS Java API编程

    适合刚接触hadoop的学生或小白,内容包括HDFS shell操作及HDFS Java API编程 有图片有代码

    hadoop273 hdfs的IO操作API所引用的jar包

    这些JAR包包含了Hadoop的客户端API,使得开发者能够在Java应用程序中实现对HDFS的读写和其他文件管理操作。 HDFS的IO操作API主要包括以下关键类和接口: 1. **FileSystem**: 这是所有文件系统操作的基础接口,包括...

    java操作Hadoop源码之HDFS Java API操作-创建目录

    本文将详细讲解如何使用Java API来操作HDFS,特别是创建目录的功能。我们将探讨Hadoop的环境配置、HDFS API的使用以及具体创建目录的步骤。 首先,理解Hadoop的环境配置至关重要。在进行Java编程之前,你需要确保...

    5、HDFS API的RESTful风格-WebHDFS

    例如,Web应用、移动设备或非Java环境的客户端可以利用WebHDFS轻松地读取、写入和管理HDFS中的数据。此外,通过WebHDFS,可以构建监控工具、数据分析应用,甚至自动化工作流程,这些都无需直接集成Hadoop的复杂性。 ...

    hadoop-hdfs-client-2.9.1-API文档-中英对照版.zip

    包含翻译后的API文档:hadoop-hdfs-client-2.9.1-javadoc-API文档-中文(简体)-英语-对照版.zip; Maven坐标:org.apache.hadoop:hadoop-hdfs-client:2.9.1; 标签:apache、hadoop、hdfs、client、中英对照文档、jar...

    利用javaAPI访问HDFS的文件

    Hadoop Distributed File System(HDFS)是Apache Hadoop项目的核心组件之一,它为海量数据提供了高吞吐量的数据访问,非常适合大规模数据集的应用场景。HDFS被设计成适合运行在商用硬件上,因此,容错性是HDFS架构...

    hadoop-hdfs-2.7.3-API文档-中文版.zip

    包含翻译后的API文档:hadoop-hdfs-2.7.3-javadoc-API文档-中文(简体)版.zip; Maven坐标:org.apache.hadoop:hadoop-hdfs:2.7.3; 标签:apache、hdfs、hadoop、jar包、java、中文文档; 使用方法:解压翻译后的API...

    HDFS实例基本操作

    Hadoop分布式文件系统(HDFS)是Apache Hadoop项目的核心组件之一,它为大数据处理提供了可靠的、可扩展的分布式存储解决方案。在这个“HDFS实例基本操作”中,我们将深入探讨如何在已经安装好的HDFS环境中执行基本...

Global site tag (gtag.js) - Google Analytics