hadoop fs -rmr /user 会把所有user目录下的所有目录和文件全都删除
这个命令运用的时候要慎重,他不会给你任何提示的。。。。
但是在hadoop中其实给了一个补救的措施,但是缺省情况下是不会开启的,这个其实就是trash机制,所以不需要提示
在core-site.xml中增加如下配置,表明rm后会在trash中保留多少分钟:
<property>
<name>fs.trash.interval</name>
<value>10080</value>
<description>
Number of minutes between trash checkpoints. If zero, the trash feature is disabled
</description>
</property>
很遗憾的是,hadoop的这个默认值是0,就是直接删除了
经过简单的测试,这个trash功能还是不错的,当rm后,它会move到当前文件夹下的.Trash目录下
如果你删除相同名字的一个文件或目录多次,则hadoop会自动在name后加上数字序列号
这样,如果你误删除后,就可以有选择的恢复文件了
hadoop fs -mkdir /user/oplog/test
hadoop fs -put *.txt /user/oplog/test
hadoop fs -rmr /user/oplog/test
hadoop fs -ls /user/oplog/.Trash/Current/user/oplog
drwxr-xr-x – oplog oplog 0 2010-11-16 10:44 /user/oplog/.Trash/Current/user/oplog/test
hadoop fs -cp /user/oplog/.Trash/Current/user/oplog/test /user/oplog/
hadoop fs -rmr /user/oplog/test
hadoop fs -ls /user/oplog/.Trash/Current/user/oplog
drwxr-xr-x – oplog oplog 0 2010-11-16 10:44 /user/oplog/.Trash/Current/user/oplog/test
drwxr-xr-x – oplog oplog 0 2010-11-16 10:47 /user/oplog/.Trash/Current/user/oplog/test.1
分享到:
相关推荐
在Hadoop生态系统中,数据处理和存储是核心功能,但数据的安全性和管理同样至关重要。当在Hadoop中删除文件或目录时,默认情况下,这些数据会被永久删除,这可能导致不可挽回的数据损失。为了解决这一问题,Hadoop...
在Hadoop 2.7.1的中文文档中,你将学习到以下几个关键知识点: 1. **HDFS(Hadoop Distributed File System)**:Hadoop的核心组件之一,它是一种分布式文件系统,能够以高容错性的方式存储大量数据。HDFS的设计...
在Hadoop生态系统中,Windows平台上的开发和运行通常比Linux环境更为复杂,因为Hadoop主要设计为在Linux上运行。然而,随着Hadoop的普及,开发者们也找到了在Windows上搭建和测试Hadoop环境的方法。标题提到的"hadop...
在Hadoop2.7.1的中文文档中,你会找到关于配置参数的详细解释,包括核心配置、HDFS配置和MapReduce配置。例如,`hdfs-site.xml`用于配置HDFS,`mapred-site.xml`则用于配置MapReduce。此外,还有关于集群部署、安全...
【标题】"实战hadoop中的源码"涵盖了在大数据处理领域深入理解并应用Apache Hadoop的核心技术。Hadoop是开源的分布式计算框架,它允许在大规模集群上存储和处理海量数据。通过研究Hadoop的源码,开发者可以深入了解...
在下面空白的地方点右键,选择“New Hadoop location...”,在弹出的对话框中填写如下内容: * Location name(取个名字) * Map/Reduce Master(Job Tracker 的 IP 和端口,根据 mapred-site.xml 中配置的mapred....
为了在Windows上成功运行Hadoop,你需要将bin目录添加到系统的PATH环境变量中,这样就可以在任何位置调用Hadoop的命令行工具。同时,确保你的JDK已经正确安装并且配置了JAVA_HOME环境变量,因为Hadoop依赖Java运行时...
在提供的信息中,我们关注的是"Hadoop的dll文件",这是一个动态链接库(DLL)文件,通常在Windows操作系统中使用,用于存储可由多个程序共享的功能和资源。Hadoop本身是基于Java的,因此在Windows环境下运行Hadoop...
在Windows上运行Hadoop时,你需要下载与Hadoop版本相匹配的WinUtils,并将其添加到系统的PATH环境变量中,以便Hadoop可以找到并使用这些必要的系统工具。 接下来是"Hadoop.dll"文件,这是Hadoop在Windows环境中运行...
在IT行业中,Hadoop是一个广泛使用的开源框架,主要用于大数据处理和分布式存储。Hadoop 2.7.3是这个框架的一个稳定版本,它包含了多个改进和优化,以提高性能和稳定性。在这个版本中,Winutils.exe和hadoop.dll是两...
为了在Windows上运行Hadoop,你需要正确配置HADOOP_HOME环境变量,并将winutils.exe和hadoop.dll添加到PATH环境变量中。同时,还需要配置Hadoop的相关配置文件,如core-site.xml和hdfs-site.xml,以指定HDFS的存储...
如果你在Windows上尝试运行Hadoop作业或设置Hadoop开发环境,`hadoop.dll`将是必须的。 接着,我们讨论`winutils.exe`。这个工具集包含了多种命令,如创建HDFS目录、设置HDFS权限、管理Hadoop守护进程等。在Linux上...
首先,你需要将Hadoop的安装路径添加到系统PATH环境变量中,包括`hadoop.dll`所在的路径。其次,Eclipse项目中需要有合适的Hadoop依赖,这可以通过Maven或Gradle等构建工具实现。然后,通过配置Eclipse的Run/Debug ...
Hadoop是Apache软件基金会开发的一个开源分布式计算框架,它允许在大规模集群中高效处理和存储海量数据。这个压缩包文件包含的"hadop实用案例"很可能是为了帮助初学者理解和应用Hadoop技术。以下是关于Hadoop的一些...
下面的文档是一些概念介绍和操作教程,可帮助你开始使用Hadoop。如果遇到了问题,你可以向邮件列表求助或者浏览一下存档邮件。 Hadoop快速入门 Hadoop集群搭建 Hadoop分布式文件系统 Hadoop Map-Reduce教程 ...
在Windows环境下安装Hadoop 3.1.0是学习和使用大...通过以上步骤,你可以在Windows环境中成功安装并运行Hadoop 3.1.0。不过,请注意,Windows并非Hadoop的理想运行平台,对于生产环境或深度学习,建议使用Linux集群。
在IT行业中,Hadoop是一个广泛使用的开源框架,主要用于大数据处理和分布式存储。Hadoop 2.7.3是Hadoop发展中的一个重要版本,它包含了众多的优化和改进,旨在提高性能、稳定性和易用性。在这个版本中,`hadoop.dll`...
为了在Eclipse中顺利开发和运行Hadoop程序,你需要确保以下步骤: 1. 安装Java开发工具包(JDK),并配置好`JAVA_HOME`环境变量。 2. 将Hadoop的`bin`目录添加到系统`PATH`环境变量中,这样Eclipse可以找到Hadoop的...
在案例中,你会学习到如何设置和使用Zookeeper来管理和监控Hadoop集群。 5. **Hive**:Hive是基于Hadoop的数据仓库工具,它可以将结构化的数据文件映射为一张数据库表,并提供SQL(HQL,Hive SQL)接口进行查询,...