`
dyllove98
  • 浏览: 1405640 次
  • 性别: Icon_minigender_1
  • 来自: 济南
博客专栏
73a48ce3-d397-3b94-9f5d-49eb2ab017ab
Eclipse Rcp/R...
浏览量:39062
4322ac12-0ba9-3ac3-a3cf-b2f587fdfd3f
项目管理checkList...
浏览量:80071
4fb6ad91-52a6-307a-9e4f-816b4a7ce416
哲理故事与管理之道
浏览量:133167
社区版块
存档分类
最新评论

从HDFS下载文件到本地

 
阅读更多

  使用HDFS java api 下载文件到本地的代码如下:

  String file="hdfs://localhost:9000/user/Administrator/fooo/j-spatial.zip";//hdfs文件 地址
  Configuration config=new Configuration();
  FileSystem fs=FileSystem.get(URI.create(file),config);//构建FileSystem
  InputStream is=fs.open(new Path(file));//读取文件
  IOUtils.copyBytes(is, new FileOutputStream(new File("c:\\likehua.zip")),2048, true);//保存到本地  最后 关闭输入输出流

分享到:
评论

相关推荐

    HDFS文件系统基本文件命令、编程读写HDFS

    3. get:从 HDFS 下载文件到本地文件系统。 4. rm:删除 HDFS 文件或目录。 5. cat:显示 HDFS 文件的内容。 编程读写 HDFS: HDFS 提供了一个 API,允许开发者使用 Java 语言编写程序来操作 HDFS 文件系统。该 ...

    HDFS shell

    7. `get`:从HDFS下载文件到本地。例如,`hdfs dfs -get /user/data localfile` 将/user目录下的data文件下载到本地并命名为localfile。 8. `cat`:查看HDFS文件的内容。例如,`hdfs dfs -cat /user/data` 显示/...

    基于Hadoop HDFS的分布式文件系统操作工具.zip

    支持从HDFS下载文件到本地,并提供下载成功或失败的提示。 2. 文件与目录操作 支持在HDFS上创建和删除文件及目录。 支持检查文件或目录是否存在,并提供相应的提示信息。 3. 文件内容操作 支持读取HDFS文件的...

    Python连接HDFS实现文件上传下载及Pandas转换文本文件到CSV操作

    从标签中我们可以进一步了解到涉及的技术包括Python、HDFS、上传下载、Pandas和CSV。 首先,Python连接HDFS主要依赖于`pyhdfs`模块。这个模块提供了一个简单易用的API来执行读写操作。以下是如何使用`pyhdfs`进行...

    HDFS客户端工具.rar

    相似的,HDFS客户端也支持从HDFS下载文件到本地。用户只需在客户端界面上选中需要下载的文件或目录,点击下载按钮,文件就会被保存到指定的本地路径。对于大文件的下载,客户端通常会提供断点续传功能,提高下载...

    基于HDFS+FTP的文件存储与迁移实验代码.zip

    在HDFS和FTP结合的场景中,FTP可能用于将本地文件上传到HDFS,或者从HDFS下载文件到本地。FTP具有以下特点: 1. **简单易用**:FTP协议简单,易于实现和理解。 2. **跨平台**:支持多种操作系统。 3. **控制与数据...

    本地文件上传到HDFS的demo代码

    从本地上传文件到HDFS上的代码!使用hadoop的API操作,使本地文件的代码上传到HDFS上!!!

    实验2 熟悉常用的HDFS操作

    2. 文件下载:从HDFS下载文件到本地,如果文件名冲突,自动重命名下载的文件。 3. 内容显示:打印出HDFS文件的内容至终端。 4. 文件信息查看:显示文件的权限、大小、创建时间及完整路径。 5. 目录信息查看:递归列...

    大数据实验二-HDFS编程实践

    - **文件上传与下载**:`hdfs dfs -put`用于将本地文件上传至HDFS,`hdfs dfs -get`则用于从HDFS下载文件到本地。 - **文件列表与删除**:`hdfs dfs -ls`列出指定目录下的文件,`hdfs dfs -rm`删除文件或目录。 - **...

    hdfs命令大全

    - **文件传输**:如`copyFromLocal`、`copyToLocal`、`get`等命令,用于从本地文件系统复制文件到HDFS,或将HDFS文件复制到本地文件系统。 掌握这些命令对于有效地使用HDFS至关重要,能够帮助用户更加高效地管理和...

    大数据技术基础实验报告-HDFS常用操作命令.doc

    8. `hdfs dfs -get`: 从HDFS下载文件到本地,同样可以使用`-p`保留源文件的权限和时间戳。 9. `hdfs dfs -mkdir`: 创建新目录,`-p`参数允许创建多级目录。 10. `hdfs dfs -rm -r`: 递归删除文件或目录,`-...

    本地文件上传到HDFS

    - **获取文件系统实例**:使用`FileSystem.get()`方法获取HDFS文件系统的实例。 - **路径检查与创建**:检查目标路径是否存在,若不存在则创建相应的目录结构。 - **文件名提取**:从完整路径中提取出文件名。 - **...

    HDFS-Explore

    用户也可以从HDFS下载文件到本地,只需将文件或文件夹拖出应用即可。 3. **可视化界面**:该工具提供了清晰直观的界面,让用户能以树状结构查看HDFS的目录层级,更容易定位和管理文件。同时,支持搜索功能,帮助...

    idea hadoop-hdfs插件

    2. 文件上传与下载:支持直接将本地文件上传到HDFS,或者从HDFS下载文件到本地,这个功能对于数据的迁移和处理非常实用。 3. 文件操作:包括创建、删除、重命名、移动等文件和目录的基本操作,这些操作都可以在IDEA...

    HDFS管理工具HDFS Explorer下载地址、使用方法.docx

    HDFS Explorer是一款专为Windows平台设计的HDFS文件管理系统,它使得用户能够像操作本地文件系统一样便捷地管理和浏览Hadoop分布式文件系统(HDFS)。尽管官方已经停止更新此软件,但它仍然是许多Hadoop用户在...

    HDFS FS API

    2. 从HDFS下载文件到本地: 使用`FileSystem`对象的`copyToLocalFile`方法可以将HDFS上的文件下载到本地。这个方法有多个重载版本,可以根据需要选择。以下是一个简单的示例: ```java fs.copyToLocalFile(new ...

    云计算技术实验报告四HDFS文件的读写

    实验报告“云计算技术实验报告四HDFS文件的读写”主要涵盖了如何在Hadoop的分布式文件系统(HDFS)上进行文件操作,包括文件的上传和下载,以及文件的合并。该实验是针对计算机科学专业的《云计算技术》课程设计,...

    HDFS部署与Shell命令使用

    - `hadoop fs -get <src> <localdst>`:从HDFS下载文件到本地。 - `hadoop fs -ls <path>`:列出HDFS路径下的文件列表。 - `hadoop fs -rm <path>`:删除HDFS上的文件或目录。 ##### 管理命令dfsadmin `dfsadmin`...

    Hadoop HDFS_Shell命令详解.pdf

    该命令用于从 HDFS 下载文件到本地文件系统。 ##### getmerge **使用方法**: `hadoop fs -getmerge <src> <dst>` 合并多个文件为一个文件,并下载到本地文件系统。 ##### ls **使用方法**: `hadoop fs -ls URI ...

    2大数据技术之Hadoop(HDFS文件系统).doc

    - `bin/hadoop fs -get`:从HDFS下载文件到本地。 - `bin/hadoop fs -cat`:查看HDFS上的文件内容。 - `bin/hadoop fs -mv`:重命名或移动HDFS上的文件或目录。 - `bin/hadoop fs -delete`:删除HDFS上的文件或目录...

Global site tag (gtag.js) - Google Analytics