`
sunasheng
  • 浏览: 122558 次
  • 性别: Icon_minigender_1
  • 来自: 北京
文章分类
社区版块
存档分类
最新评论

本地文件上传至hdfs文件系统

阅读更多
将本地文件存储到Hadoop中的hdfs中去,uploadPath问本地文件的路径,hdfsFileName为存入hdfs中的文件名,
一般路径的格式为:
String hdfsPath="hdfs://192.168.248.129:9000/"+hfdsFileName

具体代码:
public static void save(String uploadPath,String hfdsFileName)throws IOException
	{
		long startTime = System.currentTimeMillis();
		//String localPath="/home/localfile/sing.mp3";
		String localPath = uploadPath;
	    String hdfsPath="hdfs://192.168.248.129:9000/"+hfdsFileName;
		Configuration conf = new Configuration();
			
		//设定输入目录和输出目录
		Path inputDir = new Path(localPath);
		Path hdfsFile = new Path(hdfsPath);
		
		FileSystem local = FileSystem.get(conf);
		FileSystem hdfs  = hdfsFile.getFileSystem(conf);
		
		try{
			FileStatus[] inputFiles = local.listStatus(inputDir);//得到本地文件列表
			FSDataOutputStream out = hdfs.create(hdfsFile);//生成HDFS输出流
				
			for(int i = 0;i<inputFiles.length;i++)
			{
				System.out.println(inputFiles[i].getPath().getName());
				FSDataInputStream in = local.open(inputFiles[i].getPath());//打开本地输入流
				byte buffer[] = new byte[256];
				int bytesRead = 0;
				while((bytesRead = in.read(buffer))>0)
				{
					out.write(buffer,0,bytesRead);
				}
				in.close();
			}
			out.close();
			long endTime = System.currentTimeMillis();
			System.out.println("time:"+(endTime-startTime));
		}catch(Exception e)
		{
			e.printStackTrace();
		}
	}
 
0
0
分享到:
评论

相关推荐

    本地文件上传到HDFS

    - **获取文件系统实例**:使用`FileSystem.get()`方法获取HDFS文件系统的实例。 - **路径检查与创建**:检查目标路径是否存在,若不存在则创建相应的目录结构。 - **文件名提取**:从完整路径中提取出文件名。 - **...

    本地文件上传到HDFS的demo代码

    从本地上传文件到HDFS上的代码!使用hadoop的API操作,使本地文件的代码上传到HDFS上!!!

    HDFS文件系统基本文件命令、编程读写HDFS

    这个程序使用 HDFS API 将本地文件上传到 HDFS。首先,它创建了一个 Configuration 对象,然后使用 FileSystem.get() 方法获取 HDFS 文件系统的实例。接着,它使用 copyFromLocalFile() 方法将本地文件上传到 HDFS。...

    利用JAVA代码将本地文件传入HDFS中

    标题 "利用JAVA代码将本地文件传入HDFS中" 涉及到的是在Java编程环境中,使用Hadoop Distributed File System (HDFS) API来上传本地文件系统的文件到HDFS的过程。HDFS是Hadoop的核心组件之一,它提供了一个分布式、...

    上传文件到HDFS

    当我们需要将本地文件系统中的文件上传到HDFS时,可以使用Java API来实现这一功能。以下是对“上传文件到HDFS”的Java代码实现的详细说明。 首先,我们需要引入Hadoop的相关依赖库。在Maven项目中,可以在pom.xml...

    Python连接HDFS实现文件上传下载及Pandas转换文本文件到CSV操作

    标题中的知识点主要涉及Python连接HDFS进行文件上传下载以及Pandas转换文本文件到CSV的操作。在描述中,提到了Python在Linux环境下与HDFS交互的需求,以及使用Pandas进行数据处理的场景。从标签中我们可以进一步了解...

    java操作Hadoop源码之HDFS Java API操作-上传文件

    在Java编程环境中,Hadoop分布式文件系统(HDFS)提供了丰富的Java API,使得开发者能够方便地与HDFS进行交互,包括文件的上传、下载、读写等操作。本篇文章将详细探讨如何使用HDFS Java API来实现文件上传的功能。 ...

    【大数据hadoop实验】本地数据集上传HDFS文件系统.pdf

    【大数据hadoop实验】本地数据集上传HDFS文件系统.pdf

    《Hadoop大数据开发实战》教学教案—03HDFS分布式文件系统.pdf

    Hadoop 大数据开发实战教学教案—03HDFS 分布式文件系统.pdf 本节课程主要介绍 HDFS 的概念、HDFS 存储架构和数据读写流程、HDFS 的 Shell 命令、Java 程序操作 HDFS、Hadoop 序列化、Hadoop 小文件处理、通信机制 ...

    第3章-分布式文件系统HDFS.docx

    分布式文件系统HDFS 大数据技术原理与应用的第三章主要讲述了分布式文件系统HDFS的理论知识点和实践操作。HDFS是Hadoop Distributed File System的缩写,是Hadoop生态系统中的一个核心组件。它是一个分布式文件系统...

    基于Hadoop HDFS的分布式文件系统操作工具.zip

    支持将本地文件上传到HDFS,并提供上传成功或失败的提示。 支持从HDFS下载文件到本地,并提供下载成功或失败的提示。 2. 文件与目录操作 支持在HDFS上创建和删除文件及目录。 支持检查文件或目录是否存在,并...

    上传文件到Hadoop失败的原因分析及解决方法.pdf

    本文主要讨论了在 Java Web 程序中上传文件到 Hadoop HDFS 文件系统中失败的原因分析及解决方法。通过对问题的分析和解决,可以总结出以下知识点: 1. Hadoop 文件上传失败的原因分析: 在上传文件到 Hadoop HDFS ...

    实验二:熟悉常用的HDFS操作

    在Shell命令操作中,学生首先通过`hdfs dfs -put`命令将本地文件上传至HDFS,然后使用`-test -e`检查文件是否存在,最后通过`-appendToFile`命令追加内容或`-copyFromLocal -f`覆盖原有文件。这些命令展示了HDFS的...

    大数据技术原理与应用 第三章 分布式文件系统HDFS 学习指南

    (1)hadoop fs:适用于任何不同的文件系统,比如本地文件系统和 HDFS 文件系统。 (2)hadoop dfs:只能适用于 HDFS 文件系统。 (3)hdfs dfs:跟 hadoop dfs 的命令作用一样,只能适用于 HDFS 文件系统。 一些...

    Hadoop分布式文件系统HDFS深入教程

    下面是一段Java代码示例,演示了如何使用Hadoop API将本地文件上传到HDFS: ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; ...

    HDFS实例基本操作

    2. HDFS API:通过FSDataInputStream,可以读取HDFS文件并写入本地文件系统。 四、HDFS的文件创建与删除 1. 创建文件夹:使用`hadoop fs -mkdir`命令创建目录,如`hadoop fs -mkdir /myfolder`。 2. 删除文件:...

    HDFS分布式文件系统

    - **上传文件**:使用`hdfs dfs -put`命令,例如`hdfs dfs -put bigdata.txt /user/text01`,将本地的`bigdata.txt`文件上传到HDFS的`/user/text01`目录。 - **下载文件**:通过`hdfs dfs -copyToLocal`命令,例如...

    基于HDFS+FTP的文件存储与迁移实验代码.zip

    在HDFS和FTP结合的场景中,FTP可能用于将本地文件上传到HDFS,或者从HDFS下载文件到本地。FTP具有以下特点: 1. **简单易用**:FTP协议简单,易于实现和理解。 2. **跨平台**:支持多种操作系统。 3. **控制与数据...

    文件上传系统(免费开源版)

    4. **存储机制**:文件可以存储在本地服务器硬盘、云存储服务(如AWS S3、阿里云OSS)或者分布式文件系统(如HDFS)上。选择合适的存储方案要考虑成本、扩展性和数据安全性。 5. **权限控制**:系统应支持用户权限...

Global site tag (gtag.js) - Google Analytics