`
superlxw1234
  • 浏览: 551396 次
  • 性别: Icon_minigender_1
  • 来自: 西安
博客专栏
Bd1c0a0c-379a-31a8-a3b1-e6401e2f1523
Hive入门
浏览量:44446
社区版块
存档分类
最新评论

复制本地文件到hdfs中的目标文件

 
阅读更多

package com.lxw;

import java.io.BufferedInputStream;
import java.io.FileInputStream;
import java.io.InputStream;
import java.io.OutputStream;
import java.net.URI;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.util.Progressable;

public class URLCat {
	
	public static void main(String[] args) throws Exception  {
		String src = "D:/ip1.txt";
		String dst = "hdfs://localhost:3333/lxw/input/2.txt";
		InputStream in = new BufferedInputStream(new FileInputStream(src));
		
		Configuration conf = new Configuration();
		FileSystem fs = FileSystem.get(URI.create(dst), conf);
		OutputStream os = fs.create(new Path(dst),new Progressable(){
			public void progress() {
				System.out.print(".");
			}
		});
		
		IOUtils.copyBytes(in, os, 4096, true);
		
	}
}
 
分享到:
评论

相关推荐

    本地文件上传到HDFS

    ### 本地文件上传到HDFS知识点详解 #### 一、Hadoop HDFS简介 Hadoop分布式文件系统(HDFS)是Hadoop项目的核心组件之一,主要用于存储大量的数据,并且能够提供高吞吐量的数据访问能力,非常适合大规模数据集上的...

    分布式文件系统HDFS原理与操作

    冗余副本策略允许在hdfs-site.xml文件中设置复制因子以指定副本数量,确保所有数据块都有多个副本存储在不同的DataNode上。机架策略有助于防止机架失效导致的数据丢失,同时提高带宽利用率。心跳机制由DataNode周期...

    利用javaAPI访问HDFS的文件

    示例代码中提供的`uploadToHdfs`方法展示了如何将本地文件上传到HDFS中: ```java private static void uploadToHdfs() throws FileNotFoundException, IOException { String localSrc = "d://qq.txt"; // 本地文件...

    HDFS文件读写操作

    此时,NameNode会检查目标文件是否已存在,以及其父目录是否存在。 2. **NameNode响应**:如果一切条件满足,NameNode会返回允许上传的确认信息,并告知客户端文件将被存储在哪些DataNode上。 3. **文件切分**:...

    实验二:熟悉常用的HDFS操作

    在Java编程实现部分,学生通过`org.apache.hadoop.conf.Configuration`,`org.apache.hadoop.fs.FileSystem`和`org.apache.hadoop.fs.Path`等类,实现了文件存在性判断和本地文件复制到HDFS的功能。`FileSystem.get...

    大数据实验二-HDFS编程实践

    - **文件复制**:`hdfs dfs -copyFromLocal`将本地文件复制到HDFS,`hdfs dfs -copyToLocal`将HDFS中的文件复制到本地。 ##### Java API实践 1. **环境搭建**:首先需要在开发环境中配置好Hadoop相关的依赖,通常...

    分布式文件系统和HDFS那点事

    在检查点过程中,NameNode会将内存中的元数据更新后的状态写入到一个新的FsImage文件中,并清空当前的EditLog文件。这样一来,NameNode就可以在下次启动时更快地恢复元数据的状态。 #### 五、数据块的存储与管理 -...

    hdfs命令大全

    - **文件传输**:如`copyFromLocal`、`copyToLocal`、`get`等命令,用于从本地文件系统复制文件到HDFS,或将HDFS文件复制到本地文件系统。 掌握这些命令对于有效地使用HDFS至关重要,能够帮助用户更加高效地管理和...

    Hadoop分布式文件系统HDFS深入教程

    下面是一段Java代码示例,演示了如何使用Hadoop API将本地文件上传到HDFS: ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; ...

    Hadoop中一些hdfs的命令

    - `-put`: 将本地文件复制到HDFS中。 - `<localsrc>`: 指定要复制的本地文件或目录。 - `<dst>`: 指定HDFS中的目标路径。 **示例**: ```shell # 将本地文件a.txt复制到HDFS的/zr/test下 hdfs dfs -put a.txt...

    hdfs_video_jar.zip_HDFS video_Hadoop 文件_hdfs_hdfs下MP4视频播放

    在Hadoop平台上打开和播放MP4文件并不像在本地文件系统上那么简单,因为HDFS不提供直接的流式访问支持。通常,我们需要通过Hadoop的API或特定的工具来实现。例如,可以使用`hadoop fs`命令行工具来查看和下载HDFS上...

    HDFS命令指南相关学习

    `hdfs dfs -copyFromLocal`将本地文件复制到HDFS,如果目标已存在且使用了`-f`选项,将会覆盖目标文件。 - `hdfs dfs -copyFromLocal <localsrc> URI` 7. `copyToLocal`命令: `hdfs dfs -copyToLocal`从HDFS...

    hdfs.zip_hdfs_hdfs java

    // 指定本地文件路径和HDFS目标路径 Path localPath = new Path("path/to/local/file"); Path hdfsPath = new Path("/hdfs/path/to/destination"); // 将本地文件复制到HDFS fs.copyFromLocalFile(localPath, ...

    《HDFS——Hadoop分布式文件系统深度实践》PDF

    《HDFS——Hadoop分布式文件系统深度实践》这本书是针对Hadoop分布式文件系统(HDFS)的详尽指南,旨在帮助读者深入理解HDFS的工作原理、设计思想以及在实际应用中的最佳实践。HDFS是Apache Hadoop项目的核心组件之...

    Hadoop(HDFS文件系统)命令操作

    - **-appendToFile <localsrc> **:将本地文件追加到 HDFS 文件的末尾。 - **-cat [-ignoreCrc] **:显示 HDFS 文件的内容。忽略 CRC 校验。 - **-checksum **:显示文件的校验和。 - **-chgrp [-R] GROUP PATH**:...

    java大数据内容_2HDFS

    - `-getmerge <src> <localdst>`:将HDFS目录中的所有文件按顺序合并到本地文件。 - `-put <localsrc> <dst>`:将本地文件复制到HDFS。 - `-get [-ignoreCrc] <src> <localdst>`:复制HDFS文件到本地,可忽略CRC校验...

    02_Hadoop 分布式文件系统(HDFS).docx

    这些元数据被存储在一个称为fsimage的磁盘文件中,同时,所有的修改操作则记录在一个edits日志中。SecondNameNode并非备用的NameNode,而是帮助NameNode定期合并fsimage和edits,生成新的检查点,减轻NameNode的压力...

    大数据技术基础实验报告-HDFS常用操作命令.doc

    7. `hdfs dfs -put`: 将本地文件或目录上传到HDFS,`-f`参数强制覆盖目标。 8. `hdfs dfs -get`: 从HDFS下载文件到本地,同样可以使用`-p`保留源文件的权限和时间戳。 9. `hdfs dfs -mkdir`: 创建新目录,`-p`参数...

    深入理解Hadoop HDFS高级教程.txt打包整理.zip

    4. 文件块与副本策略:HDFS中的文件被分割成固定大小的块,默认为128MB。每个块会复制多份,通常默认为3份,分布在不同节点上,以提高容错性。副本策略根据网络拓扑和节点状态动态调整。 5. HDFS操作:用户可以通过...

Global site tag (gtag.js) - Google Analytics