- 浏览: 155241 次
- 性别:
- 来自: 北京
文章分类
- 全部博客 (113)
- Java工具类 (3)
- Hibernate (1)
- Struts>1&2 (0)
- Spring (0)
- Web前端 (1)
- 数据库 (2)
- 中间件 (3)
- 搜索引擎 (11)
- EJB (1)
- Log日志 (1)
- OS操作系统 (7)
- Java文档 (4)
- Security (1)
- Exception&Error (7)
- 日志&心情 (7)
- 开心一下 (3)
- 云计算 (41)
- Cache缓存 (4)
- MongoDB (1)
- OS操作系统 Linux (7)
- jquery (1)
- 机器学习 (2)
- Plugins (2)
- AJAX (1)
- Java工具 (1)
- WebService (1)
最新评论
-
a420144030:
你好,我想计算n篇文章的相似度,用mahout能处理吗,如何做 ...
mahout使用 -
di1984HIT:
OK,真的很牛啊
hadoop常见错误 -
xwl1991:
还真是这个问题 !
quartz报错java.lang.NoSuchMethodError: org.apache.commons.collections.SetUtils.ord
Hadoop回收站trash,默认是关闭的。
1.修改conf/core-site.xml,增加
Xml代码
<property>
<name>fs.trash.interval</name>
<value>1440</value>
<description>Number of minutes between trash checkpoints.
If zero, the trash feature is disabled.
</description>
</property>
默认是0.单位分钟。这里我设置的是1天(60*24)
删除数据rm后,会将数据move到当前文件夹下的.Trash目录
2.测试
1)新建目录input
Java代码
hadoop/bin/hadoop fs -mkdir input
hadoop/bin/hadoop fs -mkdir input
2)上传文件
Java代码
root@master:/data/soft# hadoop/bin/hadoop fs -copyFromLocal /data/soft/file0* input
root@master:/data/soft# hadoop/bin/hadoop fs -copyFromLocal /data/soft/file0* input
3)删除目录input
Java代码
[root@master data]# hadoop fs -rmr input
Moved to trash: hdfs://master:9000/user/root/input
[root@master data]# hadoop fs -rmr input
Moved to trash: hdfs://master:9000/user/root/input
4)参看当前目录
Java代码
[root@master data]# hadoop fs -ls
Found 2 items
drwxr-xr-x - root supergroup 0 2011-02-12 22:17 /user/root/.Trash
[root@master data]# hadoop fs -ls
Found 2 items
drwxr-xr-x - root supergroup 0 2011-02-12 22:17 /user/root/.Trash
发现input删除,多了一个目录.Trash
5)恢复刚刚删除的目录
Java代码
[root@master data]# hadoop fs -mv /user/root/.Trash/Current/user/root/input /user/root/input
[root@master data]# hadoop fs -mv /user/root/.Trash/Current/user/root/input /user/root/input
6)检查恢复的数据
Java代码
[root@master data]# hadoop fs -ls input
Found 2 items
-rw-r--r-- 3 root supergroup 22 2011-02-12 17:40 /user/root/input/file01
-rw-r--r-- 3 root supergroup 28 2011-02-12 17:40 /user/root/input/file02
[root@master data]# hadoop fs -ls input
Found 2 items
-rw-r--r-- 3 root supergroup 22 2011-02-12 17:40 /user/root/input/file01
-rw-r--r-- 3 root supergroup 28 2011-02-12 17:40 /user/root/input/file02
6)删除.Trash目录(清理垃圾)
Java代码
[root@master data]# hadoop fs -rmr .Trash
Deleted hdfs://master:9000/user/root/.Trash
发表评论
-
用Sqoop把数据从HDFS导入到MYSQL
2012-10-27 23:30 2356转自:http://www.kaifajie.cn/mySQL ... -
大数据的储存:百度HDFS集群的数据压缩
2012-08-30 17:48 12112012年4月13日,由IT168(ITP ... -
用sqoop进行mysql和hdfs系统间的数据互导
2012-07-31 16:32 1944转自:http://abloz.com/2012/07/19/ ... -
从hive将数据导出到mysql
2012-07-31 16:31 1826转自:http://abloz.com/2012/07/20/ ... -
Hive SQL
2012-07-19 13:49 1427转自:http://www.tbdata.org/ ... -
Hive优化总结
2012-07-09 15:18 4335优化时,把hive sql当做ma ... -
hadoop/mapred 优化方法
2012-06-12 11:47 1397从三个方面着手优化 : 1. hadoop配置 2. ... -
hadoop集群dfs.data.dir目录权限问题导致节点无法启动
2012-06-11 18:32 6228安装使用Hive的时候发现文件无法从本地拷贝到hadoo ... -
hadoop中的balancer
2012-06-11 15:49 1148对于HDFS集群,经常长时间的运行,尤其是大量的delete操 ... -
Hadoop集群上使用Lzo压缩
2012-05-28 11:03 935转自:http://www.tech126.com/hadoo ... -
使用Hive读取Hbase中的数据
2012-05-23 13:12 2276转自:http://www.4ucode.com/Study/ ... -
在XP系统下配置eclipse集成hadoop开发
2012-05-05 11:09 1050一、目的:由于hadoop只能在Linux环境下运行,所以对于 ... -
使用Hive读取Hbase中的数据
2012-04-18 14:24 1099转自:http://www.4ucode.com/Study/ ... -
Web日志分析方法概述 让复杂的数据挖掘变得简单可行
2012-04-13 16:31 874志在计算机系统中是一个非常广泛的概念,任何程序都有可能输出日志 ... -
应用sqoop将MySQL数据库中的数据导入Hbase
2012-04-12 11:31 2066转自:http://www.bwxxkj.com/a/jish ... -
Hadoop 和DBMS 的互补性
2012-03-29 12:22 673随着Microsoft 也加入Hadoop 阵营,Hadoop ... -
Hadoop 中的两表join
2012-03-29 12:20 852转自:http://www.gemini52013 ... -
各版本编译hadoop eclipse plugin
2012-03-29 12:19 1386转自:http://www.gemini52013 ... -
hadoop常见错误
2012-03-24 13:04 1671错误1:bin/hadoop dfs 不能正常启动,持续提 ... -
hbase运维
2012-03-23 17:33 1308转自:http://blog.bluedavy.c ...
相关推荐
### Hadoop回收站trash机制详解 #### 配置回收站功能 首先,为了启用Hadoop的回收站功能,需要在`core-site.xml`配置文件中添加以下内容: ```xml <name>fs.trash.interval <value>1440 <description>Number ...
【HDFS Trash垃圾桶回收介绍】 HDFS(Hadoop Distributed File System)是Apache Hadoop项目的核心组件,提供分布式存储服务。...在大规模分布式存储系统中,理解并熟练掌握Trash机制对于数据保护至关重要。
默认情况下,HDFS的回收站是关闭的,需要在`core-site.xml`配置文件中开启。通过设置`<property>`标签内的`<name>fs.trash.interval</name>`属性,可以定义文件在回收站内保留的时间,单位是分钟。例如,设置`...
1. **Trash机制**:Hadoop 0.21引入了垃圾回收机制,允许用户在误删除文件后有一定的恢复时间窗口,增加了系统的友好性和安全性。 2. **副本放置策略**:0.21版本提供了更灵活的副本放置策略,可以依据网络拓扑或...
6. **空间回收机制**:被删除的文件会先被移动到/trash目录,在这里可以随时恢复数据。 7. **元数据磁盘失效保护**:NameNode可以配置多个副本,以防止元数据丢失。 8. **快照支持**:虽然当前版本的HDFS还不支持...
- **空间回收**:文件删除后暂时存放在 `/trash` 目录中,便于恢复。 - **元数据备份**:支持 NameNode 元数据的备份。 - **快照**:尽管当前 HDFS 不支持快照,但这是一个重要的功能,允许回滚到先前的状态。 - ...
默认情况下,回收站功能可能并未启用,需要在`core-site.xml`配置文件中进行设置。 ```xml <name>fs.trash.interval <value>1 ``` ### 启用回收站 启用回收站功能后,当用户执行删除操作时,文件并不会立即从...
HDFS的Trash回收站是为了解决删除文件后,如何快速恢复删除的文件的问题。Trash回收站目录为/user/用户名/.Trash/,每一个被用户通过Shell删除的文件/目录,fs.trash.interval是指在这个回收周期之内,文件实际上是...
* 回收站:删除文件时,其实是放入回收站/trash,回收站里的文件可以快速恢复;可以设置一个时间阈值,当回收站里文件的存放时间超过这个阈值,就被彻底删除,并且释放占用的数据块。 HDFS 的高可靠性是通过多种...