`
willsunforjava
  • 浏览: 167859 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

转:Linux下使用rsync最快速删除海量文件的方法

 
阅读更多

转:http://www.ha97.com/4107.html

 

如果要在Linux 下删除海量文件,需要删除数十万个文件。这个时候,我们常用的删除命令rm -fr * 就不好用了,因为要等待的时间太长。所以必须要采取一些非常手段。可以使用rsync 来实现快速删除大量文件。

1、先安装rsync:
yum install rsync
2、建立一个空的文件夹:
mkdir /tmp/test
3、用rsync删除目标目录:
rsync --delete-before -a -H -v --progress --stats /tmp/test/ log/
这样我们要删除的log目录就会被清空了,删除的速度会非常快。rsync实际上用的是替换原理,处理数十万个文件也是秒删。

选项说明
–delete-before 接收者在传输之前进行删除操作
–progress 在传输时显示传输过程
-a 归档模式,表示以递归方式传输文件,并保持所有文件属性
-H 保持硬连接的文件
-v 详细输出模式
–stats 给出某些文件的传输状态

分享到:
评论

相关推荐

    rsync备份海量文件时占用大量内存的解决方法

    在2.X的版本中,rsync备份时都是先列表再备份(添加或者删除),在处理大量文件时,会耗费比较多的内存。 备份的时候,rsync扫描到的每个文件(目录也一样),在它的列表中约占100字节的内存,如果加了–delete参数的话...

    linux 下rsync文件夹同步配置

    ### Linux下rsync文件夹同步配置详解 #### 引言 在Linux环境下,rsync工具因其高效、稳定、灵活的特点,被广泛应用于文件备份、数据迁移以及文件夹同步等场景。本文将详细介绍如何在Linux系统中配置rsync进行...

    linux下Rsync+sersync实现文件数据实时同步

    总结,`Rsync`和`sersync`都是Linux下的高效文件同步工具,各有优势。`Rsync`适用于大型文件和定期同步,而`sersync`则适用于小文件的实时同步。两者结合使用,可以构建出既实时又稳定的数据同步方案,满足各种复杂...

    rsync常见错误及解决方法

    但是,在使用rsync时,可能会遇到各种错误,本文将总结一些常见的rsync错误及其解决方法。 一、@ERROR: chroot failed(rsync error: error starting client-server protocol (code 5)) 这种错误的原因是服务器端的...

    linux rsync命令使用手册

    1. **快速检查算法**:默认情况下,Rsync 使用一种“快速检查”算法来查找那些在大小或最后修改时间上发生变化的文件。 2. **属性更新**:当快速检查表明文件数据无需更新时,可以直接在目标文件上更新其他保持属性...

    Linux下rsync文件同步详解

    Linux 下 rsync 文件同步详解 rsync 简介 RSYNC 是一个快速、可靠、功能强大且免費的 Unix 和 Linux 文件同步工具。它能够快速地同步文件和目录,从而实现文件的备份、镜像和同步。rsync 的主要功能包括文件同步...

    bat脚本 rsync免密码 传输windows文件到Linux系统

    2、然后将putty key文件夹下的公钥添加到目标linux下。(当然你也可以自己创建“秘钥对”) Centos添加公钥的文件是:~/.ssh/authorized_keys 3、进入到“auto_rsync_bat”文件夹下,修改批处理文件“rsync-demo....

    rsync rsync是linux系统下的数据镜像备份工具。使用快速增量备份工具Remote Sync可以远程同步

    **rsync:Linux系统的高效数据备份与同步工具** rsync是一款强大的、开源的、基于Unix哲学的文件同步和备份工具,广泛应用于Linux操作系统。它的全称是Remote Sync,正如其名,rsync能够实现本地及远程的数据同步,...

    linuxrsync安装配置及命令详解.pdf

    Linux rsync 安装配置是 Linux 系统中的一种数据同步工具,通过 rsync 命令可以实现文件的同步、备份和恢复。rsync 服务器可以实现文件的实时同步,降低数据丢失的风险。 服务端操作 1. 安装 rsync 服务:使用 ...

    使用Linux的rsync命令实现多服务器镜像同步.doc

    使用 Linux 的 rsync 命令实现多服务器镜像同步 在 Linux 系统中,rsync 命令是实现文件同步和备份的强大工具。rsync 命令可以实现多服务器镜像同步,使得文件在不同服务器之间保持一致。本文将详细介绍使用 rsync ...

    Linux下rsync安装配置使用教程.doc

    Linux下的rsync是一款强大的文件和数据同步工具,它支持本地或网络环境下的文件同步,具有高效、稳定的特点。本教程将详细介绍如何在Redhat AS4系统上安装、配置及使用rsync。 首先,我们来看看服务器端的配置: 1...

    Linux下删除大量文件

    ### Linux下删除大量文件的方法与比较 在Linux环境中,经常需要处理大量的文件操作,比如删除。本文将介绍几种常见的在Linux环境下批量删除文件的方法,并通过实际测试对比它们的效率。 #### 一、背景介绍 在...

    Linux下rsync服务的深入分析

    ### Linux下rsync服务的深入分析 #### 一、引言 `rsync`是一款功能强大的数据同步工具,被广泛应用于文件备份与同步场景。它不仅支持本地文件系统的同步,还可以通过网络进行远程同步,其高效的数据传输算法使得在...

    linux中rsync异步服务器实现文件同步与备份.docx

    Linux 中 Rsync 异步服务器实现文件同步与备份是使用 Rsync 工具和 SSH protocol 来实现文件同步和备份的方法。该方法可以快速同步大型、复杂的目录,例如论坛的附件目录,并且可以利用 SSH public key 和 cron 来...

    linux系统下rsync配置

    此文档本人总结了linux下如何配置两台linux系统之间快速传递庞大数据的方法,总结其他很简单,一个看做服务端,一个看做客户端。通过配置rsync即可。前提是要安装rsync的rpm包,运维的小伙伴很实用!

    Windows平台下使用rsync实现文件同步.docx

    Windows 平台下使用 rsync 实现文件同步 Windows 平台下使用 rsync 实现文件同步是通过在服务器端和客户端安装 cwRsync 软件来实现的。cwRsync 是一个基于 rsync 的同步工具,能够实现文件的双向同步。 在服务器端...

Global site tag (gtag.js) - Google Analytics