import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
@RestController
public class HadoopFileController {
@RequestMapping("/hadoop")
public void hadoop() throws URISyntaxException, IOException, InterruptedException {
Configuration conf = new Configuration();
//指定客服端上传hdfs上传副本数为2
// conf.set("dfs.replication","2");
// conf.set("dfs.blocksize","64m");
FileSystem fs= FileSystem.get(new URI("hdfs://192.168.96.130:9000/"),conf,"root");
fs.mkdirs(new Path("/xx/yy/zz"));
fs.close();
}
}
分享到:
相关推荐
Java操作HDFS(Hadoop Distributed File System)是大数据领域中常见的任务,特别是在处理大规模数据时。HDFS是一个分布式文件系统,由Apache Hadoop项目开发,它设计为在廉价硬件上运行,提供高吞吐量的数据访问。...
Java操作HDFS(Hadoop Distributed File System)是大数据处理中常见的任务,这通常涉及到使用Hadoop的Java API。为了在Java环境中与HDFS进行交互,你需要包含一系列的依赖包,这些包提供了必要的功能来读取、写入和...
Java操作HDFS.md
在使用Java操作HDFS之前,你需要确保开发环境中包含了Hadoop相关的jar包。这些包通常位于$HADOOP_HOME/share/hadoop目录下,主要包括common、hdfs、mapreduce和yarn四个部分。将它们添加到你的项目类路径中,以确保...
### Hadoop大数据处理技术-java操作HDFS实验报告知识点解析 #### 实验背景及目标 **实验标题**:“Hadoop大数据处理技术-java操作HDFS(实验报告完整版)” **实验描述**:本实验旨在加深对Hadoop大数据处理技术...
在Java中操作HDFS,我们需要引入Hadoop的相关依赖。对于maven项目,可以在pom.xml文件中添加以下依赖: ```xml <groupId>org.apache.hadoop <artifactId>hadoop-client <version>3.x.x</version> <!-- 使用...
"JAVA操作HDFS案例的简单实现" 本篇文章主要介绍了JAVA操作HDFS案例的简单实现,涵盖了JAVA操作HDFS的基本概念、HDFS的基本操作、 JAVA与HDFS的集成等相关知识点。 1. JAVA操作HDFS的基本概念 HDFS(Hadoop ...
在使用Java操作HDFS之前,你需要在本地安装Hadoop并配置好环境变量,确保`hadoop-client`库在你的项目中可用。你可以通过Maven或Gradle将Hadoop依赖添加到项目中。 3. **连接HDFS** 要连接HDFS,你需要实例化`...
本文将详细讲解如何使用Java API来操作HDFS,特别是创建目录的功能。我们将探讨Hadoop的环境配置、HDFS API的使用以及具体创建目录的步骤。 首先,理解Hadoop的环境配置至关重要。在进行Java编程之前,你需要确保...
本资料主要涵盖了如何使用Eclipse环境进行Java开发,利用Hadoop的HDFS API来操作分布式文件系统。以下是对这些知识点的详细阐述: 1. **HDFS API**:HDFS API是Hadoop的核心组件之一,提供了对分布式文件系统的基本...
【大数据技术基础实验报告-调用Java API实现HDFS操作】 本实验主要涵盖了大数据技术的基础,特别是如何在Linux环境下利用Java API对Hadoop分布式文件系统(HDFS)进行操作。实验涉及的主要步骤包括Eclipse的安装、...
* 文件系统:HDFS 提供了一个文件系统接口,允许用户使用标准的文件操作来访问 HDFS 中的文件。 Java-HDFS 客户端 Java-HDFS 客户端是 HDFS 的 Java 实现,提供了一个 Java API 来访问 HDFS。Java-HDFS 客户端可以...
通过查看和运行这些项目,可以更深入地理解HDFS的Java操作。 这两个项目对于学习和实践Java与HDFS的交互非常有价值,可以作为开发过程中的参考。在实际应用中,还需要考虑错误处理、文件权限、性能优化等因素,确保...
总之,“Java-Operate-HDFS.zip_hdfs”是一个实践性质的学习资源,它提供了Java操作HDFS的基础知识和示例代码,适合初学者和有经验的开发者学习和参考。通过深入研究这些代码,可以更好地理解和掌握如何在分布式环境...
javaAPI操作HDFS,测试可用 window环境需要下载hadoop客户端
在本文中,我们将深入探讨如何使用Java操作HDFS(Hadoop分布式文件系统),以及如何配置高可用性(HA)环境。我们将关注以下几个方面: 1. **HDFSUtil类的构建**: HDFSUtil类是Java中用于与HDFS进行交互的工具类...
在Hadoop生态系统中,Java...总之,Java与Hadoop 2.4的HDFS交互涉及配置、连接、I/O操作以及文件和目录的管理。通过熟练掌握`FileSystem` API,你可以有效地编写管理HDFS的Java程序,实现对大数据集的高效存储和处理。
java操作hadoop的hdfs的各种操作,包括文件创建,删除,文件夹创建,上传文件,下载文件,读取文件等
HDFS Java API 是一组 Java 类库,提供了一组接口来操作 HDFS。下面我们将对 HDFS Java API 进行详细的介绍。 HDFS Java API 概述 HDFS Java API 是一个 Java 库,提供了一个接口来访问 HDFS。该 API 提供了多种...
Hadoop提供了`FileSystem`类来操作HDFS,我们可以使用`FSDataOutputStream`来写入文件。以下是一个简单的示例: ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; ...