`
gaojingsong
  • 浏览: 1201402 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
文章分类
社区版块
存档分类
最新评论

java操作HDFS文件

阅读更多

java代码操作HDFS文件

 

/**

<dependency>

<groupId>org.apache.hadoop</groupId>

<artifactId>hadoop-core</artifactId>

<version>1.2.1</version>

</dependency>

 

   

* @param args

* @throws Exception 

*/

public static void main(String[] args) throws Exception {

String HDFS = "hdfs://hadoop0:9000";///stu.txt

final FileSystem fileSystem = FileSystem.get(new URI(HDFS), new Configuration());

 

System.out.println(fileSystem.getDefaultBlockSize());

System.out.println(fileSystem.getStatistics());

 

                //打印某一路径下面的文件信息

FileStatus[]  files = fileSystem.listStatus(new Path("/"));

for (FileStatus fileStatus : files) {

System.out.println(fileStatus.getPath()); 

}

             //未完待补充,拿到fileSystem后面根据其API进行展开

   fileSystem.printStatistics() ;

 

}

  • 大小: 93.5 KB
  • 大小: 31.7 KB
  • 大小: 99.1 KB
  • 大小: 82.9 KB
0
6
分享到:
评论

相关推荐

    java管理hdfs文件和文件夹项目hadoop2.4

    本文将深入探讨使用Java管理HDFS文件和文件夹的关键知识点,特别是基于Hadoop 2.4版本。 首先,理解HDFS的基础概念至关重要。HDFS是一种分布式文件系统,设计用于跨大量廉价硬件节点存储和处理大数据。它遵循主从...

    java对大数据HDFS文件操作

    6. **项目示例**:提供的两个项目"java对HDFS文件操作jar包版"和"java对HDFS文件操作maven版.zip.zip"可能包含了上述操作的完整实现。`jar包版`可能是一个已经编译好的可执行程序,可以直接运行。而`maven版`则是一...

    java操作hdfs.rar

    Java操作HDFS(Hadoop Distributed File System)是大数据领域中常见的任务,特别是在处理大规模数据时。HDFS是一个分布式文件系统,由Apache Hadoop项目开发,它设计为在廉价硬件上运行,提供高吞吐量的数据访问。...

    大数据-java操作HDFS基本操作

    在Java中操作HDFS,我们需要引入Hadoop的相关依赖。对于maven项目,可以在pom.xml文件中添加以下依赖: ```xml &lt;groupId&gt;org.apache.hadoop &lt;artifactId&gt;hadoop-client &lt;version&gt;3.x.x&lt;/version&gt; &lt;!-- 使用...

    java操作hdfs依赖包

    Java操作HDFS(Hadoop Distributed File System)是大数据处理中常见的任务,这通常涉及到使用Hadoop的Java API。为了在Java环境中与HDFS进行交互,你需要包含一系列的依赖包,这些包提供了必要的功能来读取、写入和...

    利用javaAPI访问HDFS的文件

    在Java程序中操作HDFS文件主要依赖于`org.apache.hadoop.fs.FileSystem`类,该类提供了许多方法用于执行文件系统操作,如创建文件、删除文件、读写文件等。 ##### 1. 创建文件系统实例 ```java Configuration conf ...

    HDFS文件系统基本文件命令、编程读写HDFS

    HDFS 提供了一个 API,允许开发者使用 Java 语言编写程序来操作 HDFS 文件系统。该 API 包括了 open、read、write、close 等方法,用于读写 HDFS 文件。 使用 HDFS API 可以实现以下操作: 1. 上传本地文件:使用 ...

    elcipse java hadoop操作hdfs的api

    本资料主要涵盖了如何使用Eclipse环境进行Java开发,利用Hadoop的HDFS API来操作分布式文件系统。以下是对这些知识点的详细阐述: 1. **HDFS API**:HDFS API是Hadoop的核心组件之一,提供了对分布式文件系统的基本...

    java操作Hadoop源码之HDFS Java API操作-创建目录

    本文将详细讲解如何使用Java API来操作HDFS,特别是创建目录的功能。我们将探讨Hadoop的环境配置、HDFS API的使用以及具体创建目录的步骤。 首先,理解Hadoop的环境配置至关重要。在进行Java编程之前,你需要确保...

    java操作Hadoop源码之HDFS Java API操作-上传文件

    这里的`false`参数表示不覆盖已存在的HDFS文件。如果希望覆盖,可以传入`true`。 4. **关闭资源**: 在完成文件操作后,记得关闭`FileSystem`实例,释放系统资源: ```java fs.close(); ``` 5. **异常处理**...

    JAVA操作HDFS案例的简单实现

    JAVA操作HDFS是指使用JAVA语言来操作HDFS文件系统,实现文件的上传、下载、删除、创建目录等基本操作。 2. HDFS的基本操作 HDFS提供了多种基本操作,包括文件上传、下载、删除、创建目录等。这些操作都是通过HDFS...

    java-Hdfs体系结构与基本概念

    * 文件系统:HDFS 提供了一个文件系统接口,允许用户使用标准的文件操作来访问 HDFS 中的文件。 Java-HDFS 客户端 Java-HDFS 客户端是 HDFS 的 Java 实现,提供了一个 Java API 来访问 HDFS。Java-HDFS 客户端可以...

    大数据技术基础实验报告-调用Java API实现HDFS操作.doc

    本实验主要涵盖了大数据技术的基础,特别是如何在Linux环境下利用Java API对Hadoop分布式文件系统(HDFS)进行操作。实验涉及的主要步骤包括Eclipse的安装、Java项目的创建以及所需JAR包的添加。 首先,Eclipse是...

    hdfs java代码实现文件基础操作

    使用`FSDataInputStream`的`open()`方法打开HDFS文件,然后将其写入本地文件。 ```java public static void downloadFile(String hdfsFilePath, String localFilePath) throws Exception { FileSystem fs = ...

    02--HDFS Java API操作.docx

    Java API 是 HDFS 的一个编程接口,允许开发者使用 Java 语言来操作 HDFS 中的文件和目录。本文将介绍如何使用 HDFS Java API 实现文件下载和上传操作。 一、HDFS Java API 概述 HDFS Java API 是 Hadoop 中的一...

    hadoop入门java代码hdfs文件操作 wordCount源码

    hadoop入门级的代码 Java编写 eclipse可运行 包含 hdfs的文件操作 rpc远程调用的简单示例 map-reduce的几个例子:wordcount 学生平均成绩 手机流量统计

    第7节、使用Java操作HDFS1

    在Java中操作HDFS(Hadoop ...总结来说,Java操作HDFS涉及多个步骤,包括环境配置、初始化以及使用Hadoop提供的API进行文件操作。理解并熟练掌握这些步骤,将有助于在Java项目中高效地利用HDFS进行数据存取和处理。

    HDFS存取实例(java)

    五、HDFS文件操作示例 以下是一个简单的Java代码示例,展示如何上传和下载文件至HDFS: ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop...

    java操作hadoop的hdfs的各种操作

    java操作hadoop的hdfs的各种操作,包括文件创建,删除,文件夹创建,上传文件,下载文件,读取文件等

    java 从hadoop hdfs读取文件 进行groupby并显示为条形图

    Java API提供了访问HDFS的接口,例如`org.apache.hadoop.fs.FileSystem`类,可以用于读取、写入和管理文件系统中的文件。 2. **Hadoop MapReduce**:MapReduce是Hadoop用于并行处理和分析大数据的编程模型。在GROUP...

Global site tag (gtag.js) - Google Analytics