`
yugouai
  • 浏览: 498527 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
社区版块
存档分类
最新评论

Hadoop回收站trash-恢复删除的文件

 
阅读更多
刚刚测试Hadoop程序,一不小心把数据删掉了~~~好在是在测试机上,不然就蛋痛了,还是设置一下hadoop的回收站,以防万一
首先:
Hadoop回收站trash,默认是关闭的。
习惯了window的同学,建议最好还是把它提前开开,否则误操作的时候,就欲哭无泪了

1.修改conf/core-site.xml,增加
Xml代码 
    <property>  
      <name>fs.trash.interval</name>  
      <value>1440</value>  
      <description>Number of minutes between trash checkpoints.  
      If zero, the trash feature is disabled.  
      </description>  
    </property>  


默认是0.单位分钟。这里我设置的是1天(60*24)
删除数据rm后,会将数据move到当前文件夹下的.Trash目录

2.测试
1)新建目录input
    hadoop/bin/hadoop fs -mkdir input    



2)上传文件
    root@master:/data/soft# hadoop/bin/hadoop fs -copyFromLocal /data/soft/file0* input  



3)删除目录input
    [root@master data]# hadoop fs -rmr input  
    Moved to trash: hdfs://master:9000/user/root/input  



4)参看当前目录
    [root@master data]# hadoop fs -ls  
    Found 2 items  
    drwxr-xr-x   - root supergroup          0 2011-02-12 22:17 /user/root/.Trash  


发现input删除,多了一个目录.Trash

5)恢复刚刚删除的目录
    [root@master data]# hadoop fs -mv /user/root/.Trash/Current/user/root/input  /user/root/input  



6)检查恢复的数据
Java代码 
    [root@master data]# hadoop fs -ls input  
    Found 2 items  
    -rw-r--r--   3 root supergroup         22 2011-02-12 17:40 /user/root/input/file01  
    -rw-r--r--   3 root supergroup         28 2011-02-12 17:40 /user/root/input/file02  



6)删除.Trash目录(清理垃圾)
    [root@master data]# hadoop fs -rmr .Trash  
    Deleted hdfs://master:9000/user/root/.Trash 

空间的回收

文件删除与恢复-用户或者应用删除某个文件,这个文件并没有立刻从HDFS中删除。相反,HDFS将这个文件重命名,并转移到/trash目录。当文件还在/trash目录时,该文件可以被迅速地恢复。文件在/trash中保存的时间是可配置的,当超过这个时间,Namenode就会将该文件从namespace中删除。文件的删除,也将释放关联该文件的数据块。注意到,在文件被用户删除和HDFS空闲空间的增加之间会有一个等待时间延迟。
当被删除的文件还保留在/trash目录中的时候,如果用户想恢复这个文件,可以检索浏览/trash目录并检索该文件。/trash目录仅仅保存被删除文件的最近一次拷贝。/trash目录与其他文件目录没有什么不同,除了一点:HDFS在该目录上应用了一个特殊的策略来自动删除文件,目前的默认策略是删除保留超过6小时的文件,这个策略以后会定义成可配置的接口。
分享到:
评论

相关推荐

    Trash-Cli:Linux上的命令行回收站工具

    如果不想永久删除文件的话(清空回收站),可以利用回收站临时存储被删除了的文件,从而在必要的时候能够帮助我们恢复删除了的文件。 但是,如果在命令行使用 rm 命令进行删除操作,那么你是不可能在回收站中找到...

    HA模式部署hadoop1

    通过设置`&lt;property&gt;`标签内的`&lt;name&gt;fs.trash.interval&lt;/name&gt;`属性,可以定义文件在回收站内保留的时间,单位是分钟。例如,设置`&lt;value&gt;1440&lt;/value&gt;`意味着文件在被删除后将在回收站中保留一天(1440分钟)再被...

    12、HDFS Trash垃圾桶回收介绍与示例

    在HDFS中,文件删除操作默认是不可逆的,但通过启用Trash功能,HDFS引入了一个类似操作系统级别的回收站机制,使得误删的文件和目录可以在一段时间内被找回。这个功能对于大数据处理环境尤为重要,因为数据的丢失...

    Hadoop 2.X新特性回收站功能的讲解

    如果需要恢复被删除的文件,可以使用`hadoop fs -mv`命令将回收站中的文件移动回原来的位置。 ```bash hadoop fs -mv /user/atguigu/.Trash/Current/user/atguigu/input /user/atguigu/input ``` ### 清空回收站 ...

    云计算基础课件-Hadoop:Google云计算的开源实现 .ppt

    - **空间回收**:文件删除后暂时存放在 `/trash` 目录中,便于恢复。 - **元数据备份**:支持 NameNode 元数据的备份。 - **快照**:尽管当前 HDFS 不支持快照,但这是一个重要的功能,允许回滚到先前的状态。 - ...

    云计算基础课件—Hadoop:Google云计算的开源实现 dr.ppt

    6. **空间回收机制**:被删除的文件会先被移动到/trash目录,在这里可以随时恢复数据。 7. **元数据磁盘失效保护**:NameNode可以配置多个副本,以防止元数据丢失。 8. **快照支持**:虽然当前版本的HDFS还不支持...

    HDFS技术原理深入理解.pptx

    HDFS的Trash回收站是为了解决删除文件后,如何快速恢复删除的文件的问题。Trash回收站目录为/user/用户名/.Trash/,每一个被用户通过Shell删除的文件/目录,fs.trash.interval是指在这个回收周期之内,文件实际上是...

    基于Hadoop0.21版本的HDFS功能修改.zip

    1. **Trash机制**:Hadoop 0.21引入了垃圾回收机制,允许用户在误删除文件后有一定的恢复时间窗口,增加了系统的友好性和安全性。 2. **副本放置策略**:0.21版本提供了更灵活的副本放置策略,可以依据网络拓扑或...

    HDFS可靠性策略

    * 回收站:删除文件时,其实是放入回收站/trash,回收站里的文件可以快速恢复;可以设置一个时间阈值,当回收站里文件的存放时间超过这个阈值,就被彻底删除,并且释放占用的数据块。 HDFS 的高可靠性是通过多种...

Global site tag (gtag.js) - Google Analytics