`
zhaohuafei
  • 浏览: 28253 次
文章分类
社区版块
存档分类
最新评论

HDFS——如何将文件从HDFS上删除

 
阅读更多
用命令行bin/hadoop fs -rm(r) 可以删除hdfs上的文件(夹)

用HDFS的API也是可以的。如下:
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class FileDelete 
{
 public static void main(String[] args) throws Exception
 {
  if(args.length != 1){
   System.out.println("Usage filedelete <target>");
   System.exit(1);
  }
  Configuration conf = new Configuration();
  FileSystem hdfs = FileSystem.get(URI.create(args[0]),conf);
  hdfs.delete(new Path(args[0]),false);
 }
}


分享到:
评论

相关推荐

    《HDFS——Hadoop分布式文件系统深度实践》PDF

    《HDFS——Hadoop分布式文件系统深度实践》这本书是针对Hadoop分布式文件系统(HDFS)的详尽指南,旨在帮助读者深入理解HDFS的工作原理、设计思想以及在实际应用中的最佳实践。HDFS是Apache Hadoop项目的核心组件之...

    java操作Hadoop源码之HDFS Java API操作-上传文件

    本篇文章将详细探讨如何使用HDFS Java API来实现文件上传的功能。 首先,我们需要引入Hadoop相关的jar包。在描述中提到,附件包含了所有必要的jar包,这通常包括`hadoop-common`、`hadoop-hdfs`等核心组件的库文件...

    分布式存储系统——HDFS

    HDFS特别适合于一次写入多次读取的场景,这是因为它将数据分块存储,并在不同的节点上保存每个块的多个副本。然而,HDFS并不适合于需要高并发写入的应用,也不适合存储大量小文件,因为这会严重影响其性能。 HDFS的...

    实验二:熟悉常用的HDFS操作

    在Shell命令操作中,学生首先通过`hdfs dfs -put`命令将本地文件上传至HDFS,然后使用`-test -e`检查文件是否存在,最后通过`-appendToFile`命令追加内容或`-copyFromLocal -f`覆盖原有文件。这些命令展示了HDFS的...

    第4章 HDFS 2 4.1. 简介 2 4.1.1. 概述 2 4.1.2. 组成架构 4 4.1.3. HDFS文件块大小

    4.3.7. 编写Java代码——文件上传 27 4.3.8. 编写Java代码——删除文件夹 30 4.3.9. 编写Java代码——重命名文件 31 4.3.10. 编写Java代码——遍历文件夹 32 4.4. HDFS写数据流程 34 4.5. HDFS读数据流程 35 4.6. ...

    HDFS客户端工具.rar

    《HDFS客户端工具详解——轻松实现Windows与HDFS的数据交互》 在大数据处理领域,Hadoop分布式文件系统(HDFS)扮演着至关重要的角色。它为海量数据存储提供了可靠的解决方案,而HDFS客户端工具则是连接Windows操作...

    大数据技术基础实验报告-调用Java API实现HDFS操作.doc

    通过这些API,我们可以实现数据的上传、下载、查找、删除等基本操作,以及更复杂的文件系统操作。 在实际编程中,我们通常会创建一个Java类,导入Hadoop的相关库,然后使用FileSystem类和Path类等来执行HDFS操作。...

    HDFS原理介绍

    - **存储过程**:当客户端上传一个文件时,HDFS会按照默认设置将文件分割成多个block(例如64MB),并根据NameNode的指示存储到不同的DataNode上。 - **机架感知**:为了提高数据的可靠性和读取效率,HDFS具备机架...

    实验2模板-HDFS环境搭建及基本命令的使用

    通过实践,学生将熟悉伪分布式环境的配置,学习如何创建、上传、查看、下载和删除HDFS上的文件和目录,进一步理解HDFS的工作原理和操作方式。 实验环境概述: 通常,HDFS环境搭建需要一台装有Java开发环境的服务器...

    HDFS源码解析

    《HDFS源码解析——揭示分布式文件系统的内在奥秘》 在大数据时代,Hadoop的HDFS(Hadoop Distributed File System)作为分布式存储系统的重要代表,其高效、可靠的特性为海量数据处理提供了坚实的基础设施。深入...

    hdfs_design.rar_HDFS-OPERATE_hadoop_hadoop java_hdfs

    例如,使用`hadoop fs -put`命令将本地文件上传到HDFS,使用`hadoop fs -get`下载文件,`hadoop fs -rm`删除文件,以及如何查看目录结构等。这些基本操作是日常管理和维护HDFS的基础。 在Hadoop__java标签中,意味...

    PyPI 官网下载 | hdfs3-0.1.2.tar.gz

    今天我们将聚焦于一个特定的Python库——hdfs3,其最新版本hdfs3-0.1.2.tar.gz可以从PyPI官网上获取。这个压缩包包含了该库的源代码和其他相关文件,使得开发者能够轻松地在自己的项目中集成和使用hdfs3。 hdfs3是...

    hdfs.rar_hadoop_hadoop ubuntu_hdfs_分布式系统_基于hadoop

    例如,你可能会找到如何创建、读取和删除HDFS文件的命令,以及如何配置HDFS以适应不同场景的需求。 在实际使用中,HDFS的用户通常需要理解NameNode和DataNode的角色——NameNode是元数据管理器,负责文件系统的命名...

    云计算之HDFS.ppt

    HDFS提供了一系列API供用户与系统交互,如`hdfs.copyFromLocalFile()`方法用于将本地文件上传到HDFS。开发者可以利用这些API进行数据的读写、操作和管理,实现对大数据的高效处理。 总的来说,Hadoop的HDFS是一个...

    hdfs-command-line_Transcript.pdf

    - **示例**:假设你想将名为`myfile.txt`的文件从本地文件系统复制到HDFS的根目录下,可以使用命令:`hadoop fs -copyFromLocal myfile.txt hdfs://localhost/` #### 五、HDFS命令行接口其他常见命令 除了上述提到...

    PyPI 官网下载 | dbnd-hdfs-0.33.0.tar.gz

    1. **数据传输**:利用dbnd-hdfs,你可以方便地将本地文件系统上的数据上传到HDFS,或者将HDFS上的数据下载到本地。 2. **数据操作**:在HDFS上创建、删除、重命名文件和目录,以及列举目录内容。 3. **数据读写**...

    PyPI 官网下载 | dbnd-hdfs-0.34.0.tar.gz

    首先,我们来看标题"PyPI 官网下载 | dbnd-hdfs-0.34.0.tar.gz",这表明该资源是一个从PyPI官方网站获取的压缩包,版本号为0.34.0,文件格式为tar.gz,这是Linux和Unix系统中常见的归档压缩格式,用于将多个文件打包...

    大数据-HDFS用户指南中文版

    HDFS支持一系列Shell命令,这些命令使得用户能够轻松地进行文件和目录的操作,如创建、删除、复制等。以下是其中几个重要的命令: - **5.1 分布式文件系统管理命令(DFSAdmin Command)** DFSAdmin命令集主要用于...

    11HDFS的读写流程&NameNode、DataNode工作机制——好程序

    Hadoop Distributed File System(HDFS)是一种基于分布式计算的文件系统,它遵循“分而治之”的原则,将大文件和大量文件分割成小块,并在多台服务器上分布式存储,以便于并行处理和分析大规模数据。在大数据处理中...

Global site tag (gtag.js) - Google Analytics