`
qingwei201314
  • 浏览: 168212 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
社区版块
存档分类
最新评论

Java操作HDFS

 
阅读更多
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

@RestController
public class HadoopFileController {

    @RequestMapping("/hadoop")
    public void hadoop() throws URISyntaxException, IOException, InterruptedException {
        Configuration conf = new Configuration();
//指定客服端上传hdfs上传副本数为2
//        conf.set("dfs.replication","2");
//        conf.set("dfs.blocksize","64m");
FileSystem fs= FileSystem.get(new URI("hdfs://192.168.96.130:9000/"),conf,"root");
fs.mkdirs(new Path("/xx/yy/zz"));
fs.close();
}
}
分享到:
评论

相关推荐

    java操作hdfs.rar

    Java操作HDFS(Hadoop Distributed File System)是大数据领域中常见的任务,特别是在处理大规模数据时。HDFS是一个分布式文件系统,由Apache Hadoop项目开发,它设计为在廉价硬件上运行,提供高吞吐量的数据访问。...

    java操作hdfs依赖包

    Java操作HDFS(Hadoop Distributed File System)是大数据处理中常见的任务,这通常涉及到使用Hadoop的Java API。为了在Java环境中与HDFS进行交互,你需要包含一系列的依赖包,这些包提供了必要的功能来读取、写入和...

    Java操作HDFS.md

    Java操作HDFS.md

    第7节、使用Java操作HDFS1

    在使用Java操作HDFS之前,你需要确保开发环境中包含了Hadoop相关的jar包。这些包通常位于$HADOOP_HOME/share/hadoop目录下,主要包括common、hdfs、mapreduce和yarn四个部分。将它们添加到你的项目类路径中,以确保...

    Hadoop大数据处理技术-java操作HDFS(实验报告完整版).doc

    ### Hadoop大数据处理技术-java操作HDFS实验报告知识点解析 #### 实验背景及目标 **实验标题**:“Hadoop大数据处理技术-java操作HDFS(实验报告完整版)” **实验描述**:本实验旨在加深对Hadoop大数据处理技术...

    大数据-java操作HDFS基本操作

    在Java中操作HDFS,我们需要引入Hadoop的相关依赖。对于maven项目,可以在pom.xml文件中添加以下依赖: ```xml <groupId>org.apache.hadoop <artifactId>hadoop-client <version>3.x.x</version> <!-- 使用...

    JAVA操作HDFS案例的简单实现

    "JAVA操作HDFS案例的简单实现" 本篇文章主要介绍了JAVA操作HDFS案例的简单实现,涵盖了JAVA操作HDFS的基本概念、HDFS的基本操作、 JAVA与HDFS的集成等相关知识点。 1. JAVA操作HDFS的基本概念 HDFS(Hadoop ...

    java操纵hdfs

    在使用Java操作HDFS之前,你需要在本地安装Hadoop并配置好环境变量,确保`hadoop-client`库在你的项目中可用。你可以通过Maven或Gradle将Hadoop依赖添加到项目中。 3. **连接HDFS** 要连接HDFS,你需要实例化`...

    java操作Hadoop源码之HDFS Java API操作-创建目录

    本文将详细讲解如何使用Java API来操作HDFS,特别是创建目录的功能。我们将探讨Hadoop的环境配置、HDFS API的使用以及具体创建目录的步骤。 首先,理解Hadoop的环境配置至关重要。在进行Java编程之前,你需要确保...

    elcipse java hadoop操作hdfs的api

    本资料主要涵盖了如何使用Eclipse环境进行Java开发,利用Hadoop的HDFS API来操作分布式文件系统。以下是对这些知识点的详细阐述: 1. **HDFS API**:HDFS API是Hadoop的核心组件之一,提供了对分布式文件系统的基本...

    大数据技术基础实验报告-调用Java API实现HDFS操作.doc

    【大数据技术基础实验报告-调用Java API实现HDFS操作】 本实验主要涵盖了大数据技术的基础,特别是如何在Linux环境下利用Java API对Hadoop分布式文件系统(HDFS)进行操作。实验涉及的主要步骤包括Eclipse的安装、...

    java-Hdfs体系结构与基本概念

    * 文件系统:HDFS 提供了一个文件系统接口,允许用户使用标准的文件操作来访问 HDFS 中的文件。 Java-HDFS 客户端 Java-HDFS 客户端是 HDFS 的 Java 实现,提供了一个 Java API 来访问 HDFS。Java-HDFS 客户端可以...

    java对大数据HDFS文件操作

    通过查看和运行这些项目,可以更深入地理解HDFS的Java操作。 这两个项目对于学习和实践Java与HDFS的交互非常有价值,可以作为开发过程中的参考。在实际应用中,还需要考虑错误处理、文件权限、性能优化等因素,确保...

    Java-Operate-HDFS.zip_hdfs

    总之,“Java-Operate-HDFS.zip_hdfs”是一个实践性质的学习资源,它提供了Java操作HDFS的基础知识和示例代码,适合初学者和有经验的开发者学习和参考。通过深入研究这些代码,可以更好地理解和掌握如何在分布式环境...

    java API 操作HDFS

    javaAPI操作HDFS,测试可用 window环境需要下载hadoop客户端

    4、HDFS-java操作类HDFSUtil及junit测试(HDFS的常见操作以及HA环境的配置)

    在本文中,我们将深入探讨如何使用Java操作HDFS(Hadoop分布式文件系统),以及如何配置高可用性(HA)环境。我们将关注以下几个方面: 1. **HDFSUtil类的构建**: HDFSUtil类是Java中用于与HDFS进行交互的工具类...

    java管理hdfs文件和文件夹项目hadoop2.4

    在Hadoop生态系统中,Java...总之,Java与Hadoop 2.4的HDFS交互涉及配置、连接、I/O操作以及文件和目录的管理。通过熟练掌握`FileSystem` API,你可以有效地编写管理HDFS的Java程序,实现对大数据集的高效存储和处理。

    java操作hadoop的hdfs的各种操作

    java操作hadoop的hdfs的各种操作,包括文件创建,删除,文件夹创建,上传文件,下载文件,读取文件等

    hdfs-java-api

    HDFS Java API 是一组 Java 类库,提供了一组接口来操作 HDFS。下面我们将对 HDFS Java API 进行详细的介绍。 HDFS Java API 概述 HDFS Java API 是一个 Java 库,提供了一个接口来访问 HDFS。该 API 提供了多种...

    java操作Hbase之从Hbase中读取数据写入hdfs中源码

    Hadoop提供了`FileSystem`类来操作HDFS,我们可以使用`FSDataOutputStream`来写入文件。以下是一个简单的示例: ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; ...

Global site tag (gtag.js) - Google Analytics