`

一个简单的上传文件到hdfs类

 
阅读更多
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;

public class TestFs {

	public static void main(String[] args) throws IOException {
		Configuration conf=new Configuration();
		conf.set("fs.defaultFS","hdfs://192.168.160.131:9000");
		System.setProperty("HADOOP_USER_NAME","root");
		FileSystem fs=FileSystem.get(conf);
		
		fs.copyFromLocalFile(new Path("D:/kill.bat"),new Path("/wo"));
		fs.close();
	}
}

请注意 从hdfs拷贝到本地事最好用下面这行方法,因为要操作本地的文件调用windows的方法

fs.copyToLocalFile(false, new Path("/wo/kill.bat"), new Path("E:/"), true);   

如果不用这行方法就会报错,因为我的hadoop是在Linux下编译的所以没编译出操作win环境的工具,如果在win下编译会生成一个winutils.exe的文件,然后就随便了.

 

 jar包需要这些

 

  • 大小: 12.4 KB
分享到:
评论

相关推荐

    上传文件到HDFS

    接着,使用`FSDataOutputStream`打开一个到HDFS的新流,读取本地文件并逐块写入HDFS。最后,关闭输出流和文件系统连接。 在实际应用中,你可能需要对异常处理进行细化,比如添加重试机制,或者在文件上传失败后清理...

    Python连接HDFS实现文件上传下载及Pandas转换文本文件到CSV操作

    标题中的知识点主要涉及Python连接HDFS进行文件上传下载以及Pandas转换文本文件到CSV的操作。在描述中,提到了Python在Linux环境下与HDFS交互的需求,以及使用Pandas进行数据处理的场景。从标签中我们可以进一步了解...

    java操作Hadoop源码之HDFS Java API操作-上传文件

    以下是一个简单的例子,假设我们要上传本地文件`local_file_path`到HDFS的`/hdfs_path`: ```java try (InputStream in = new FileInputStream("local_file_path")) { fs.copyFromLocalFile(false, new Path(...

    HDFS-API文件上传、创建、删除、重命名

    以下是一个简单的文件上传示例: ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class HDFSUpload { public static...

    基于HDFS+FTP的文件存储与迁移实验代码.zip

    这个"基于HDFS+FTP的文件存储与迁移实验代码.zip"包含了一个名为"HDFS_FTP_ForMyProject-master"的项目源码,这为我们提供了一个实际操作的平台。这里我们将详细讲解HDFS、FTP以及它们在人工智能领域的应用。 **...

    HDFS文件系统

    3. **客户端(Client)**:用于与HDFS交互,提供API让用户进行文件的创建、删除、重命名等操作,同时也负责将文件分割成块,并上传到DataNode。 #### 三、HDFS文件系统的数据读写 HDFS设计之初就考虑到了大规模数据...

    基于springboot+netty+redis+hdfs实现的一个线上分布式网盘系统,毕业设计项目,个人学习,课设等均可

    基于springboot+netty+redis+hdfs实现的一个线上分布式网盘系统,毕业设计项目,个人学习,课设等均可,项目经过测试,可完美运行! 项目结构 项目主要分为一下几个模块 web-service 主要功能是页面展示,交互 ...

    HDFS存取实例(java)

    以下是一个简单的Java代码示例,展示如何上传和下载文件至HDFS: ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public ...

    基于HDFS对于文件的操作类介绍

    这个是简单的demo 及工具类,关于对于文件操作的。希望能够对大家有所帮助吧

    详细简单的hdfs java的api接口实现

    在HDFS中上传文件,我们需要创建一个`FileSystem`实例,然后使用`FileSystem.create()`方法。这个方法接受一个`Path`对象作为文件路径,并可配置一些参数,如缓冲区大小、权限等。例如: ```java Configuration ...

    hdfs-over-ftp-hadoop-0.20.0.rar_ftp_ftpoverhdfs_hdfs文件传入ftp_java

    描述 "在hadoop分布式文件系统上实现ftp服务" 暗示了这个压缩包包含了一个解决方案,允许用户使用FTP协议来上传、下载或管理HDFS中的文件。这对于那些习惯于使用FTP或者不熟悉Hadoop API的用户来说,是一个便捷的...

    hdfs.zip_hdfs_hdfs java

    要将本地文件上传到HDFS,你需要创建一个`FileSystem`实例,并使用`FileSystem#copyFromLocalFile`方法。以下是一个简单的示例: ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop....

    hadoop web tomcat上传文件

    在描述中提到的"自己写的一个WEB只有上传文件功能",这可能是一个简单的MVC(Model-View-Controller)结构的应用程序,其中Controller负责处理用户的上传请求,Model则处理文件存储到Hadoop的逻辑,而View可能只是一...

    hadoop hdfs ftp

    4. **上传与下载**:通过FTP客户端,用户可以直接上传文件到HDFS或者下载HDFS中的文件到本地系统,这大大简化了非Hadoop环境对HDFS的访问。 5. **权限管理**:Hadoop的权限模型与FTP的权限模型不同,因此在使用FTP...

    java-Hdfs体系结构与基本概念

    * 测试 HDFS 文件上传:使用 Java-HDFS 客户端上传文件到 HDFS。 Eclipse 项目配置 要使用 Java-HDFS 客户端开发 HDFS 应用程序,需要在 Eclipse 中配置相应的项目结构。以下是配置步骤: * 新建一个 Java 项目:...

    HDFS详解和配置文件

    3. **Block分配**:NameNode为每个Block分配一个或多个DataNode作为存储位置。 4. **数据写入**:客户端通过DataNode的流式接口逐块写入数据。 5. **Block确认**:写入完成后,DataNode向NameNode发送确认消息。 6. ...

    hadoop文件上传下载

    要实现文件上传,你需要在Struts2 Action类中创建一个方法,接收上传的文件。使用`@RequestParam`注解获取上传的文件,然后利用Hadoop的HDFS API将文件写入HDFS。HDFS API提供了`DFSClient`或`FileSystem`类,通过...

    基于spring-boot和hdfs的网盘.zip

    标题中的“基于spring-boot和hdfs的网盘.zip”表明这是一个使用Spring Boot框架构建的网盘应用,它集成了Hadoop分布式文件系统(HDFS)。这个应用可能允许用户存储、检索和管理他们的文件在分布式环境中的存储。让...

    intellij idea hdfs plugin

    【Hadoop HDFS】Hadoop是Apache软件基金会的一个开源项目,提供了一个分布式文件系统,名为HDFS(Hadoop Distributed File System)。HDFS设计用于处理大规模数据,它将数据分布在大量的廉价硬件上,实现了高容错性...

Global site tag (gtag.js) - Google Analytics