`
sunasheng
  • 浏览: 122875 次
  • 性别: Icon_minigender_1
  • 来自: 北京
文章分类
社区版块
存档分类
最新评论

读取hdfs文件系统中的文件

阅读更多

从hdfs中下载文件,下载的文件默认存储在E:盘下,如需修改下载路径,只需修改downloadPath,具体代码:

public static void readFromHdfs(String filename,String downloadPath) throws FileNotFoundException,IOException {
		  String dst = "hdfs://192.168.248.129:9000/"+filename;
		  Configuration conf = new Configuration();
		  FileSystem fs = FileSystem.get(URI.create(dst), conf);
		  FSDataInputStream hdfsInStream = fs.open(new Path(dst));
		  OutputStream out = new FileOutputStream(downloadPath);
		  byte[] ioBuffer = new byte[1024];
		  int readLen = hdfsInStream.read(ioBuffer);
		  while(-1 != readLen){
		  out.write(ioBuffer, 0, readLen);
		  readLen = hdfsInStream.read(ioBuffer);
		  }
		  out.close();
		  hdfsInStream.close();
		  fs.close();
		 }

 

分享到:
评论

相关推荐

    HDFS文件系统基本文件命令、编程读写HDFS

    HDFS 文件系统基本文件命令、编程读写 HDFS HDFS(Hadoop Distributed File System)是一种分布式文件系统,用于存储和管理大规模数据。它是 Hadoop 云计算平台的核心组件之一,提供了高效、可靠、可扩展的数据存储...

    HDFS文件系统

    #### 三、HDFS文件系统的数据读写 HDFS设计之初就考虑到了大规模数据处理的需求,因此采用了以下策略: 1. **数据块管理**:默认情况下,HDFS将文件划分为64MB或128MB大小的数据块进行存储,这样可以减少元数据的...

    java 读写 hdfs文件系统例子(包括权限设置)

    java 读写 hdfs文件系统例子(包括权限设置);java 读写 hdfs文件系统例子(包括权限设置)java 读写 hdfs文件系统例子(包括权限设置)

    HDFS文件读写操作

    ### HDFS文件读写操作详解 #### 一、HDFS架构概述 HDFS(Hadoop Distributed File System)是Hadoop项目的核心子项目之一,旨在提供高吞吐量的数据访问,适用于大规模数据集上的应用。HDFS采用了Master/Slave的...

    storm-hdfs, 用于与HDFS文件系统交互的风暴组件.zip

    storm-hdfs, 用于与HDFS文件系统交互的风暴组件 风暴 HDFS用于与HDFS文件系统交互的风暴组件用法以下示例将在每 1,000个元组同步后将管道("|") -delimited文件写入HDFS路径 hdfs://localhost:54310/foo.,使它的对...

    web中进行HDFS文件系统操作的demo

    在这个“web中进行HDFS文件系统操作的demo”中,我们将探讨如何通过Web界面与HDFS进行交互,使得用户能够方便地管理HDFS上的文件和目录,而无需直接使用命令行工具。这个demo是由jsp(JavaServer Pages)编写的,这...

    《Hadoop大数据开发实战》教学教案—03HDFS分布式文件系统.pdf

    HDFS 由 NDFS 系统演变而来,主要解决海量大数据存储的问题,也是目前分布式文件系统中应用比较广泛的一个。 HDFS 存储架构 HDFS 存储架构主要由两个部分组成:NameNode 和 DataNode。 * NameNode(名称节点)...

    web中进行HDFS文件系统操作的一些例程

    本示例是关于如何在Web环境中使用Java Servlets或JSP(JavaServer Pages)进行HDFS文件系统操作的教程。 首先,我们需要了解HDFS的基本概念。HDFS是一种高度容错性的分布式文件系统,设计用于运行在廉价硬件上。它...

    Python连接HDFS实现文件上传下载及Pandas转换文本文件到CSV操作

    标题中的知识点主要涉及Python连接HDFS进行文件上传下载以及Pandas转换文本文件到CSV的操作。在描述中,提到了Python在Linux环境下与HDFS交互的需求,以及使用Pandas进行数据处理的场景。从标签中我们可以进一步了解...

    第3章-分布式文件系统HDFS.pdf

    此外,HDFS还提供了编程实践接口,使得开发者可以利用这些接口在应用程序中实现文件的读取、写入、创建、删除和重命名等操作。通过这种方式,HDFS能够被广泛应用于大数据处理场景中,如数据挖掘、日志分析和数据仓库...

    如何在python中用HDFS文件系统实现高效存储

    在Python中使用HDFS文件系统实现高效存储是一个涉及大数据处理与存储技术的话题。HDFS是Hadoop项目的核心组件,它为分布式存储提供了可伸缩的、高容错性的系统。而Python是一种广泛使用的高级编程语言,其在数据分析...

    python解析hdfs文件和实现方式

    Python在大数据处理领域有着广泛的应用,特别是在处理分布式文件系统如Hadoop HDFS(Hadoop Distributed File ...理解这些基本操作后,你可以根据具体需求进行更复杂的HDFS文件处理,如分块读取大文件、并行处理等。

    hdfs写原理

    hdfs写的原理,描述客户端如何将数据写的hdfs中的详细过程

    HDFS文件系统技术详解.pdf

    总的来说,HDFS文件系统通过其独特的读写机制、副本策略和丰富的访问接口,实现了大数据环境下的高效、可靠的数据存储和访问。理解并熟练掌握这些知识,对于在Hadoop生态系统中进行数据处理和分析至关重要。

    HDFS文件系统技术详解.pptx

    HDFS 提供了两种文件读写方式:读取文件和写入文件。 读取文件 读取文件的过程如下: 1. 客户端调用 DistributedFileSystem 的 read 方法,获取 DistributedFileSystem 实例。 2. DistributedFileSystem 通过 RPC...

    云计算技术实验报告四HDFS文件的读写

    实验报告“云计算技术实验报告四HDFS文件的读写”主要涵盖了如何在Hadoop的分布式文件系统(HDFS)上进行文件操作,包括文件的上传和下载,以及文件的合并。该实验是针对计算机科学专业的《云计算技术》课程设计,...

    Hadoop HDFS文件系统技术概述.pptx

    Hadoop HDFS文件系统技术概述 Hadoop Distributed File System(HDFS)是一种分布式文件系统,旨在提供高容错、可靠、可扩展的文件存储解决方案。HDFS来自Google的GFS(Google File System),是GFS的开源版本。 ...

    Hadoop HDFS文件系统技术概述.pdf

    Hadoop HDFS文件系统技术概述 概述:HDFS(Hadoop Distributed File System)是Hadoop生态系统中的核心组件,作为分布式文件系统,HDFS提供了高容错、可扩展、可靠的存储解决方案,广泛应用于大数据处理和分析领域。...

    Hadoop存储系统HDFS的文件是分块存储.docx

    #### HDFS文件分块机制 Hadoop分布式文件系统(HDFS)是一种专为存储大型文件而设计的文件系统,它能够高效地处理海量数据。HDFS的基本设计理念之一就是将文件分割成多个块进行存储,每个文件块的默认大小为32MB...

    java管理hdfs文件和文件夹项目hadoop2.4

    本文将深入探讨使用Java管理HDFS文件和文件夹的关键知识点,特别是基于Hadoop 2.4版本。 首先,理解HDFS的基础概念至关重要。HDFS是一种分布式文件系统,设计用于跨大量廉价硬件节点存储和处理大数据。它遵循主从...

Global site tag (gtag.js) - Google Analytics