`
gyq211
  • 浏览: 6449 次
  • 性别: Icon_minigender_1
  • 来自: 广州
社区版块
存档分类
最新评论

Linux下使用快速删除海量小文件的方法

阅读更多

1、建立一个空的文件夹:

mkdir ~/test

2、用rsync删除目标目录:

rsync --delete-before -a -H -v --progress --stats ~/test/ ~/logs/

这样我们要删除的logs目录就会被清空了,删除的速度会非常快

 

选项说明:

–delete-before 接收者在传输之前进行删除操作

–progress 在传输时显示传输过程

-a 归档模式,表示以递归方式传输文件,并保持所有文件属性

-H 保持硬连接的文件

-v 详细输出模式

–stats 给出某些文件的传输状态

分享到:
评论

相关推荐

    Linux下正确快速删除海量文件的方法分享

    ### Linux下正确快速删除海量文件的方法 #### 前言 在长期运行的Linux服务器上,随着业务的增长或系统的日常操作,可能会积累大量的无用文件(即所谓的“垃圾文件”)。这些文件不仅占用宝贵的磁盘空间,还可能...

    准备迁移到最新的 Linux 文件系统 .pdf

    Extent 是一种提高磁盘文件描述符效率的方法,它可以减少删除大型文件所需的时间等操作,从而优化文件系统的整体性能。 **持久性预分配:** 对于需要在实际使用磁盘空间之前进行分配的应用程序,Ext4 支持持久性预...

    rsync备份海量文件时占用大量内存的解决方法

    在2.X的版本中,rsync备份时都是先列表再备份(添加或者删除),在处理大量文件时,会耗费比较多的内存。 备份的时候,rsync扫描到的每个文件(目录也一样),在它的列表中约占100字节的内存,如果加了–delete参数的话...

    Linux下正确删除海量文件的姿势

     近在优化服务器时发现postfix下的maildrop目录和clientmqueue目录下发现有大量的文件,进入这些目录里使用ls命令是愚蠢的做法,而直接执行 rm * ,没有任何反应,文件数量也没有减少,也是说,在海量文件目录里...

    博睿数据海量小文件分布式存储系统1

    博睿数据海量小文件分布式存储系统,简称BRFS,是为了解决大量小文件(1KB-50KB)存储问题而设计的。在传统的Linux文件系统中,小文件数量过多会导致索引节点(inode)耗尽,影响磁盘空间的有效利用,同时也不支持...

    Linux下基于epoll机制的海量配电终端信息采集C_S模型.pdf

    【Linux下基于epoll机制的海量配电终端信息采集C/S模型】 随着配电自动化技术的快速发展,传统的配电采集模型已无法满足大规模配电终端实时采集的需求。Linux操作系统中的epoll机制成为解决这一问题的关键技术。...

    linux基础命令教程

     linux基础命令教程目录:ShellLinux的登陆Linux的登陆续关机和注销显示当前工作目录中的内容显示隐藏的文件显示其他目录中的文件建立目录删除目录切换目录复制文件移动文件创建文件删除文件通配符pwd增加用户搜索...

    Linux技巧:一次删除一百万个文件的快方法

     昨天,我看到一个非常有趣的删除一个目录下的海量文件的方法。这个方法来自http://www.quora.com/How-can-someone-rapidly-delete-400-000-files里的Zhenyu Lee。  他没有使用find 或 xargs,他很有创意的利用...

    文件存储的使用

    在Linux或Unix系统中,我们通常使用EXT2、EXT3、EXT4或XFS等文件系统。 在描述中提到的“简单数据的存储”,这可能是指文本文件或二进制文件的存储。文本文件通常包含可读性强的字符,如ASCII或Unicode编码,而二...

    find命令查询指定时间的大文件并删除

    假设你想要删除/home/testfile目录下,修改时间超过2天且后缀为`.dat`的文件,可以使用以下命令: ```bash find /home/testfile -mtime +2 -name "*.dat" -type f -exec rm {} \; ``` 这条命令的含义是: - `/home...

    Linux常用指令速查 CHM

    6. `rm`:删除文件或目录,使用时需谨慎。 7. `cp`:复制文件或目录。 8. `mv`:移动或重命名文件或目录。 9. `cat`:查看或合并文件内容。 10. `more` 和 `less`:分页查看文件内容,适用于大文件。 11. `grep`:...

    linux编程高手(*.pdf)

    linux 编程高手 目录 用“mkdir”命令建立目录 用“du”命令检查文件及目录占用空间 使用“ls”命令浏览目录内容 用“groupdel”命令删除组 用“uname”命令获得系统信息 ...海量Linux技术文章 红联形象logo

    Linux基础命令教程豪华版

    包含了linux的常用命令:Shell Linux的登陆 Linux的登陆续 关机和注销 显示当前工作目录中的内容 显示隐藏的文件 显示其他目录中的文件 建立目录 删除目录 切换目录 复制文件 移动文件 ...Linux海量资源

    Linux培训系列整合版

    目录 介绍 bash 介绍 bash-shell 您在运行 bash 吗? 关于 bash 使用“cd” 路径 绝对路径 相对路径 使用“..” 使用“..”(续) ...使用 Linux 命令 使用 Linux 命令-介绍“ls” ...海量Linux技术文章

    利用javaAPI访问HDFS的文件

    在Java程序中操作HDFS文件主要依赖于`org.apache.hadoop.fs.FileSystem`类,该类提供了许多方法用于执行文件系统操作,如创建文件、删除文件、读写文件等。 ##### 1. 创建文件系统实例 ```java Configuration conf ...

    mongodb-linux-x86-64-rhel70-4.0.28.tgz

    MongoDB是一款开源、分布式、高性能的NoSQL数据库,特别适合处理海量数据和高并发场景。在Linux环境下,MongoDB提供了针对不同操作系统版本的二进制发行包,如本例中的"mongodb-linux-x86_64-rhel70-4.4.20.tgz"。这...

    练成Linux系统高手教程

    #### 海量Linux技术文章 教程中提到红联Linux论坛和门户,这些都是丰富的Linux技术资源。通过这些平台,读者可以获取更多关于Linux的知识和技巧,不断深化自己的技能。 - **红联Linux门户**:[www.linux110.com]...

    分布式文件系统FastDFS介绍

    需要注意的是,即使是不使用小文件合并存储功能的情况下,也推荐使用V3.x版本。 #### 五、FastDFS系统架构 FastDFS的系统架构主要包括两个角色:TrackerServer和StorageServer。 - **TrackerServer**:负责调度和...

Global site tag (gtag.js) - Google Analytics