`

sources study-part 2-hdfs get file

阅读更多

as writing a file to hdfs,the client get a DistributedSystem to communicate with Namenode.and the DS will create a DFSClient to create DFSInputstream which is encasluted to FSDataInputStream.

 

off course ,the input stream get a LocatedBlock which contains 10 blocks and theirs address by default a time through  communcating with NN.and each block has a datanodes arry of prioritied(optimized by distance) locations,like this :

[local node,local rack node, others ]

 

the blocks whick saved in DNs are the raw blocks which transformed by client for writing files.so the input stream will truncat e the extra info from chunk,e.g. checksum value,block head info etc.

 

分享到:
评论

相关推荐

    Hadoop 3.x(HDFS)----【HDFS 的 API 操作】---- 代码

    Hadoop 3.x(HDFS)----【HDFS 的 API 操作】---- 代码 Hadoop 3.x(HDFS)----【HDFS 的 API 操作】---- 代码 Hadoop 3.x(HDFS)----【HDFS 的 API 操作】---- 代码 Hadoop 3.x(HDFS)----【HDFS 的 API 操作】--...

    ranger-2.0.0-SNAPSHOT-hdfs-plugin.tar.gz

    在Ranger 2.0.0-SNAPSHOT版本中,包含了对Hadoop分布式文件系统(HDFS)的插件支持,这个名为“ranger-2.0.0-SNAPSHOT-hdfs-plugin”的压缩包正是用于实现这一功能的核心组件。 一、Ranger概述 Ranger提供了一种...

    2、sqoop导入(RMDB-mysql、sybase到HDFS-hive)

    Apache Sqoop 是一个用于在关系型数据库(如 MySQL 和 Sybase)与 Hadoop 分布式文件系统(HDFS)之间高效传输数据的工具。在大数据处理中,Sqoop 提供了方便的数据导入和导出功能,它能够将结构化的数据从传统...

    Java-Operate-HDFS.zip_hdfs

    首先,我们需要配置Hadoop的配置文件(core-site.xml和hdfs-site.xml),设置HDFS的地址和端口。然后,通过`FileSystem.get(conf)`方法获取`FileSystem`实例,其中`conf`是配置对象。 4. 文件操作: - 读取文件:...

    spark-submit cluster模式时driver-class-path支持hdfs路径

    spark官方版本的driver-class-path不支持hdfs路径,只支持本地路径。本资源解决了这个问题,driver-class-path在cluster模式时可以支持hdfs路径,解决了cluster模式driver有大量jar依赖的问题。

    jdo2-api-2.3-ec hive hdfs 所需jar

    《深入理解JDO2-API-2.3-EC在Hive与HDFS中的应用》 Java Data Objects(JDO)是Java平台上的一个标准接口,它提供了一种透明的持久化机制,允许开发者以对象为导向的方式操作数据库。JDO2-API-2.3-EC是JDO规范的2.3...

    09.HDFS工作机制--户端从HDFS读数据的流程.mp4

    09.HDFS工作机制--户端从HDFS读数据的流程.mp4

    hadoop-hdfs-client-2.9.1-API文档-中英对照版.zip

    赠送源代码:hadoop-hdfs-client-2.9.1-sources.jar; 赠送Maven依赖信息文件:hadoop-hdfs-client-2.9.1.pom; 包含翻译后的API文档:hadoop-hdfs-client-2.9.1-javadoc-API文档-中文(简体)-英语-对照版.zip; ...

    13.hbase的工作机制补充--regionserver数据管理--内存缓存热数据--持久化到hdfs的观察.mp4

    13.hbase的工作机制补充--regionserver数据管理--内存缓存热数据--持久化到hdfs的观

    Hadoop02---HDFS基础(HDFS原理 java客户端).md

    自己的笔记,仅供参考,包含HDFS的启动停止,HDFS基本原理(上传文件、连接校验,下载文件,数据存储位置,通信机制,namenode和DataNode职责,元数据工作机制),java端操作HDFS的基本方法

    storm-hdfs, 用于与HDFS文件系统交互的风暴组件.zip

    storm-hdfs, 用于与HDFS文件系统交互的风暴组件 风暴 HDFS用于与HDFS文件系统交互的风暴组件用法以下示例将在每 1,000个元组同步后将管道("|") -delimited文件写入HDFS路径 hdfs://localhost:54310/foo.,使它的对...

    ranger-2.0.1-SNAPSHOT-hdfs-plugin.tar.gz

    在“ranger-2.0.1-SNAPSHOT-hdfs-plugin.tar.gz”这个压缩包中,我们主要会发现以下几个方面的知识点: 1. **Ranger 2.0版本**:这是Ranger的一个重要里程碑,它引入了许多新特性,改进了性能,并修复了之前版本的...

    hdfs-over-ftp安装包及说明

    【标题】"hdfs-over-ftp安装包及说明"涉及的核心技术是将FTP(File Transfer Protocol)服务与HDFS(Hadoop Distributed File System)相结合,允许用户通过FTP协议访问和操作HDFS上的数据。这个标题暗示了我们将在...

    Sqoop-sqlserver-hdfs.rar

    例如:`sqoop import --connect <connection-string> --username <username> --password <password> --table <table-name> --target-dir <hdfs-path>` 在导入过程中,Sqoop可以自动检测表结构,将列映射到HDFS文件...

    hadoop-2.6.0-bin-master-PC端远程调用HDFS

    此外,Hadoop的配置文件(如`core-site.xml`和`hdfs-site.xml`)位于解压后的`hadoop-2.6.0/conf`目录下,你需要根据实际的集群配置来修改这些文件,以设置HDFS的地址、端口等参数。确保这些配置正确无误,才能成功...

    大数据技术基础实验报告-调用Java API实现HDFS操作.doc

    3. /usr/local/hadoop/share/hadoop/hdfs下的hadoop-hdfs-2.7.1.jar和hadoop-hdfs-nfs-2.7.1.jar。 4. /usr/local/hadoop/share/hadoop/hdfs/lib下的所有JAR包。 添加JAR包的过程是通过“Libraries”选项卡,点击...

    HDFS基本命令.docx

    使用方法:hadoop fs -get <hdfs_file> 。 -getmerge命令 -getmerge命令用于从HDFS将多个文件合并到本地文件系统。该命令可以将HDFS中的多个文件合并到本地文件系统。使用方法:hadoop fs -getmerge <hdfs_dir> ...

    javaftp源码-hdfs-over-ftp:在HDFS上工作的FTP服务器

    ftp源码hdfs-over-ftp 工作在 HDFS 之上的 FTP 服务器源代码是在 MIT 许可下提供的 FTP 服务器可通过 hdfs-over-ftp.properties 和 users.properties 进行配置。 它允许通过 SSL 使用安全连接并支持所有 HDFS 权限。...

Global site tag (gtag.js) - Google Analytics