`
ganliang13
  • 浏览: 253145 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

hadoop 本地文件复制到hdfs目录

阅读更多
public static void main(String[] args) throws Exception {
        String localSrc = "/home/ganliang/test_fileCopyWithProgress.txt";//本地文件
        String dst = "hdfs://localhost:9000/user/ganliang/hadoop_in/test_fileCopyWithProgress.txt";//复制到hdfs目录下
        InputStream in = new BufferedInputStream(new FileInputStream(localSrc));
        Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(URI.create(dst), conf);
        OutputStream out = fs.create(new Path(dst), new Progressable() {//进度条信息
            public void progress() {
                System.out.print(".");
            }
        });
        IOUtils.copyBytes(in, out, 4096, true);//复制
    }
 
分享到:
评论

相关推荐

    本地文件上传到HDFS

    ### 本地文件上传到HDFS知识点详解 #### 一、Hadoop HDFS简介 Hadoop分布式文件系统(HDFS)是Hadoop项目的核心组件之一,主要用于存储大量的数据,并且能够提供高吞吐量的数据访问能力,非常适合大规模数据集上的...

    02_Hadoop 分布式文件系统(HDFS).docx

    《深入理解Hadoop分布式文件系统(HDFS)》 Hadoop分布式文件系统(HDFS)是Apache Hadoop项目的核心组件之一,它是一个高度容错、可扩展的分布式文件系统,旨在运行在廉价的硬件上,处理和存储海量数据。HDFS的...

    上传文件到Hadoop失败的原因分析及解决方法.pdf

    本文主要讨论了在 Java Web 程序中上传文件到 Hadoop HDFS 文件系统中失败的原因分析及解决方法。通过对问题的分析和解决,可以总结出以下知识点: 1. Hadoop 文件上传失败的原因分析: 在上传文件到 Hadoop HDFS ...

    基于Hadoop-3.1.1版本的hdfs操作封装.zip

    1. 文件上传和下载:封装API可以简化文件从本地文件系统到HDFS的上传,以及从HDFS下载到本地的操作。 2. 文件和目录管理:创建、删除、移动和重命名文件或目录,以及列出目录内容。 3. 数据读写:提供高效的数据读取...

    hdfs_design.rar_HDFS-OPERATE_hadoop_hadoop java_hdfs

    例如,使用`hadoop fs -put`命令将本地文件上传到HDFS,使用`hadoop fs -get`下载文件,`hadoop fs -rm`删除文件,以及如何查看目录结构等。这些基本操作是日常管理和维护HDFS的基础。 在Hadoop__java标签中,意味...

    HDFS.zip_Hadoop 平台_hadoop_hdfs

    1. **上传文件**:`hadoop fs -put localfile hdfs://namenode:port/path`,将本地文件上传到HDFS指定路径。 2. **下载文件**:`hadoop fs -get hdfs://namenode:port/path localfile`,从HDFS下载文件到本地。 3....

    Hadoop fs命令详解.docx

    例如,我们可以使用copyFromLocal命令将本地文件复制到HDFS,然后使用Cat命令查看文件的内容。 本文详细介绍了Hadoop fs命令的使用方法和实践操作,希望能够帮助读者更好地理解和使用Hadoop fs命令,提高大数据处理...

    hdfs_video_jar.zip_HDFS video_Hadoop 文件_hdfs_hdfs下MP4视频播放

    在Hadoop平台上打开和播放MP4文件并不像在本地文件系统上那么简单,因为HDFS不提供直接的流式访问支持。通常,我们需要通过Hadoop的API或特定的工具来实现。例如,可以使用`hadoop fs`命令行工具来查看和下载HDFS上...

    《HDFS——Hadoop分布式文件系统深度实践》PDF

    《HDFS——Hadoop分布式文件系统深度实践》这本书是针对Hadoop分布式文件系统(HDFS)的详尽指南,旨在帮助读者深入理解HDFS的工作原理、设计思想以及在实际应用中的最佳实践。HDFS是Apache Hadoop项目的核心组件之...

    Hadoop分布式文件系统HDFS深入教程

    下面是一段Java代码示例,演示了如何使用Hadoop API将本地文件上传到HDFS: ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; ...

    Hadoop框架之HDFS的shell操作

    使用方式为“hadoop fs -put <本地文件路径> <HDFS路径>”,可以将本地文件上传到HDFS。 11. copyFromLocal命令:功能与put命令相同,用于从本地系统复制文件到HDFS。使用方式为“hadoop fs -copyFromLocal <本地...

    Hadoop深入浅出之HDFS介绍.pptx

    `-du`显示文件大小,`-count`统计文件数量,`-mv`和`-cp`分别用于移动和复制文件,`-rm`删除文件,`-put`和`-copyFromLocal`将本地文件上传至HDFS,`-get`和`-copyToLocal`则用于下载文件,`-mkdir`创建目录,`-...

    HDFS实例基本操作

    1. 使用hadoop fs命令行工具:在命令行中,你可以使用`hadoop fs -put`命令将本地文件系统中的文件上传到HDFS。例如,`hadoop fs -put localfile hdfs://namenode:port/remote/path`将把`localfile`复制到HDFS的指定...

    Hadoop源代码分析之HDFS篇

    - **fs**:定义了一个通用的文件系统接口,支持多种文件系统实现,如HDFS、本地文件系统等。 - **hdfs**:实现了Hadoop的分布式文件系统,是本文讨论的重点。 - **ipc**:提供了一个简单的IPC(Inter-Process ...

    Hadoop学习文档笔记,基本原理 HDFS

    - **上传文件**:使用`copyFromLocalFile()`方法将本地文件复制到HDFS,例如:`hdfs.copyFromLocalFile(delSrc, srcPath, destPath);` - **创建文件**:通过`FileSystem`的`create()`方法创建一个新的HDFS文件,...

    实验二:熟悉常用的HDFS操作

    在Java编程实现部分,学生通过`org.apache.hadoop.conf.Configuration`,`org.apache.hadoop.fs.FileSystem`和`org.apache.hadoop.fs.Path`等类,实现了文件存在性判断和本地文件复制到HDFS的功能。`FileSystem.get...

    实验2-Hadoop安装与HDFS基础实践.nbn.zip

    1. 创建文件:使用`hadoop fs -put`命令将本地文件上传到HDFS。 2. 查看文件:使用`hadoop fs -ls`命令列出HDFS目录下的文件和目录。 3. 读取文件:使用`hadoop fs -cat`命令查看文件内容,或`hadoop fs -get`将文件...

    hadoop的hdfs笔记

    - **`copyFromLocal`**: 复制本地文件到HDFS。 - **命令格式**: ``` hadoop fs -copyFromLocal <localsrc> ``` - **示例**: - `hadoop fs -copyFromLocal /home/hadoop/test4 /wwb/` ##### 5. getmerge - ...

    Hadoop分布式文件系统使用指南

    - `hadoop fs -put <localfile> <hdfsdir>`:将本地文件上传到HDFS。 - `hadoop fs -get <hdfsfile> <localdir>`:从HDFS下载文件到本地。 - `hadoop fs -ls <hdfsdir>`:列出HDFS目录下的所有文件和目录。 - `...

    Hadoop中一些hdfs的命令

    - `-put`: 将本地文件复制到HDFS中。 - `<localsrc>`: 指定要复制的本地文件或目录。 - `<dst>`: 指定HDFS中的目标路径。 **示例**: ```shell # 将本地文件a.txt复制到HDFS的/zr/test下 hdfs dfs -put a.txt...

Global site tag (gtag.js) - Google Analytics