`

hadoop中的trash机制,恢复删除的文件

 
阅读更多

Hadoop回收站trash,默认是关闭的。

1.修改conf/core-site.xml,增加
Xml代码
<property>  
 <name>fs.trash.interval</name>  
 <value>1440</value>  
 <description>Number of minutes between trash checkpoints.  
 If zero, the trash feature is disabled.  
 </description>  
</property>

 

默认是0.单位分钟。这里我设置的是1天(60*24)
删除数据rm后,会将数据move到当前文件夹下的.Trash目录

2.测试
1)新建目录input
Java代码
hadoop/bin/hadoop fs -mkdir input    

hadoop/bin/hadoop fs -mkdir input  

2)上传文件
Java代码
root@master:/data/soft# hadoop/bin/hadoop fs -copyFromLocal /data/soft/file0* input  

root@master:/data/soft# hadoop/bin/hadoop fs -copyFromLocal /data/soft/file0* input

3)删除目录input
Java代码
[root@master data]# hadoop fs -rmr input  
Moved to trash: hdfs://master:9000/user/root/input  

[root@master data]# hadoop fs -rmr input
Moved to trash: hdfs://master:9000/user/root/input

4)参看当前目录
Java代码
[root@master data]# hadoop fs -ls  
Found 2 items  
drwxr-xr-x   - root supergroup          0 2011-02-12 22:17 /user/root/.Trash  

[root@master data]# hadoop fs -ls
Found 2 items
drwxr-xr-x   - root supergroup          0 2011-02-12 22:17 /user/root/.Trash
发现input删除,多了一个目录.Trash

5)恢复刚刚删除的目录
Java代码
[root@master data]# hadoop fs -mv /user/root/.Trash/Current/user/root/input  /user/root/input  

[root@master data]# hadoop fs -mv /user/root/.Trash/Current/user/root/input  /user/root/input

6)检查恢复的数据
Java代码
[root@master data]# hadoop fs -ls input  
Found 2 items  
-rw-r--r--   3 root supergroup         22 2011-02-12 17:40 /user/root/input/file01  
-rw-r--r--   3 root supergroup         28 2011-02-12 17:40 /user/root/input/file02  

[root@master data]# hadoop fs -ls input
Found 2 items
-rw-r--r--   3 root supergroup         22 2011-02-12 17:40 /user/root/input/file01
-rw-r--r--   3 root supergroup         28 2011-02-12 17:40 /user/root/input/file02

6)删除.Trash目录(清理垃圾)
Java代码
[root@master data]# hadoop fs -rmr .Trash  
Deleted hdfs://master:9000/user/root/.Trash

分享到:
评论

相关推荐

    Hadoop回收站trash-恢复删除的文件

    ### Hadoop回收站trash机制详解 #### 配置回收站功能 首先,为了启用Hadoop的回收站功能,需要在`core-site.xml`配置文件中添加以下内容: ```xml &lt;name&gt;fs.trash.interval &lt;value&gt;1440 &lt;description&gt;Number ...

    12、HDFS Trash垃圾桶回收介绍与示例

    【HDFS Trash垃圾桶回收介绍】 HDFS(Hadoop Distributed File System)是Apache Hadoop项目的核心组件,提供分布式存储服务。...在大规模分布式存储系统中,理解并熟练掌握Trash机制对于数据保护至关重要。

    HA模式部署hadoop1

    默认情况下,HDFS的回收站是关闭的,需要在`core-site.xml`配置文件中开启。通过设置`&lt;property&gt;`标签内的`&lt;name&gt;fs.trash.interval&lt;/name&gt;`属性,可以定义文件在回收站内保留的时间,单位是分钟。例如,设置`...

    基于Hadoop0.21版本的HDFS功能修改.zip

    1. **Trash机制**:Hadoop 0.21引入了垃圾回收机制,允许用户在误删除文件后有一定的恢复时间窗口,增加了系统的友好性和安全性。 2. **副本放置策略**:0.21版本提供了更灵活的副本放置策略,可以依据网络拓扑或...

    云计算基础课件—Hadoop:Google云计算的开源实现 dr.ppt

    6. **空间回收机制**:被删除的文件会先被移动到/trash目录,在这里可以随时恢复数据。 7. **元数据磁盘失效保护**:NameNode可以配置多个副本,以防止元数据丢失。 8. **快照支持**:虽然当前版本的HDFS还不支持...

    云计算基础课件-Hadoop:Google云计算的开源实现 .ppt

    - **空间回收**:文件删除后暂时存放在 `/trash` 目录中,便于恢复。 - **元数据备份**:支持 NameNode 元数据的备份。 - **快照**:尽管当前 HDFS 不支持快照,但这是一个重要的功能,允许回滚到先前的状态。 - ...

    Hadoop 2.X新特性回收站功能的讲解

    默认情况下,回收站功能可能并未启用,需要在`core-site.xml`配置文件中进行设置。 ```xml &lt;name&gt;fs.trash.interval &lt;value&gt;1 ``` ### 启用回收站 启用回收站功能后,当用户执行删除操作时,文件并不会立即从...

    HDFS技术原理深入理解.pptx

    HDFS的Trash回收站是为了解决删除文件后,如何快速恢复删除的文件的问题。Trash回收站目录为/user/用户名/.Trash/,每一个被用户通过Shell删除的文件/目录,fs.trash.interval是指在这个回收周期之内,文件实际上是...

    HDFS可靠性策略

    * 回收站:删除文件时,其实是放入回收站/trash,回收站里的文件可以快速恢复;可以设置一个时间阈值,当回收站里文件的存放时间超过这个阈值,就被彻底删除,并且释放占用的数据块。 HDFS 的高可靠性是通过多种...

Global site tag (gtag.js) - Google Analytics