`

Linux下使用rsync最快速删除海量文件的方法

OS 
阅读更多

1、先安装rsync:
yum install rsync


2、建立一个空的文件夹:
mkdir /tmp/test


3、用rsync删除目标目录:
rsync --delete-before -a -H -v --progress --stats /tmp/test/ log/
这样我们要删除的log目录就会被清空了,删除的速度会非常快。rsync实际上用的是替换原理,处理数十万个文件也是秒删。

选项说明
–delete-before 接收者在传输之前进行删除操作
–progress 在传输时显示传输过程
-a 归档模式,表示以递归方式传输文件,并保持所有文件属性
-H 保持硬连接的文件
-v 详细输出模式
–stats 给出某些文件的传输状态

 

分享到:
评论

相关推荐

    rsync备份海量文件时占用大量内存的解决方法

    在2.X的版本中,rsync备份时都是先列表再备份(添加或者删除),在处理大量文件时,会耗费比较多的内存。 备份的时候,rsync扫描到的每个文件(目录也一样),在它的列表中约占100字节的内存,如果加了–delete参数的话...

    linux 下rsync文件夹同步配置

    ### Linux下rsync文件夹同步配置详解 #### 引言 在Linux环境下,rsync工具因其高效、稳定、灵活的特点,被广泛应用于文件备份、数据迁移以及文件夹同步等场景。本文将详细介绍如何在Linux系统中配置rsync进行...

    linux下Rsync+sersync实现文件数据实时同步

    总结,`Rsync`和`sersync`都是Linux下的高效文件同步工具,各有优势。`Rsync`适用于大型文件和定期同步,而`sersync`则适用于小文件的实时同步。两者结合使用,可以构建出既实时又稳定的数据同步方案,满足各种复杂...

    Linux下删除大量文件

    ### Linux下删除大量文件的方法与比较 在Linux环境中,经常需要处理大量的文件操作,比如删除。本文将介绍几种常见的在Linux环境下批量删除文件的方法,并通过实际测试对比它们的效率。 #### 一、背景介绍 在...

    bat脚本 rsync免密码 传输windows文件到Linux系统

    2、然后将putty key文件夹下的公钥添加到目标linux下。(当然你也可以自己创建“秘钥对”) Centos添加公钥的文件是:~/.ssh/authorized_keys 3、进入到“auto_rsync_bat”文件夹下,修改批处理文件“rsync-demo....

    Linux下rsync文件同步详解

    Linux 下 rsync 文件同步详解 rsync 简介 RSYNC 是一个快速、可靠、功能强大且免費的 Unix 和 Linux 文件同步工具。它能够快速地同步文件和目录,从而实现文件的备份、镜像和同步。rsync 的主要功能包括文件同步...

    linux系统下rsync配置

    此文档本人总结了linux下如何配置两台linux系统之间快速传递庞大数据的方法,总结其他很简单,一个看做服务端,一个看做客户端。通过配置rsync即可。前提是要安装rsync的rpm包,运维的小伙伴很实用!

    linux rsync命令使用手册

    1. **快速检查算法**:默认情况下,Rsync 使用一种“快速检查”算法来查找那些在大小或最后修改时间上发生变化的文件。 2. **属性更新**:当快速检查表明文件数据无需更新时,可以直接在目标文件上更新其他保持属性...

    rsync rsync是linux系统下的数据镜像备份工具。使用快速增量备份工具Remote Sync可以远程同步

    rsync的使用方法通常有两种:一种是本地同步,如`rsync -avz /src/directory /dest/directory`;另一种是远程同步,如`rsync -avz -e ssh user@remote_host:/src/directory /dest/directory`。 在提供的文件列表中...

    使用Linux的rsync命令实现多服务器镜像同步.doc

    使用 Linux 的 rsync 命令实现多服务器镜像同步 在 Linux 系统中,rsync 命令是实现文件同步和备份的强大工具。rsync 命令可以实现多服务器镜像同步,使得文件在不同服务器之间保持一致。本文将详细介绍使用 rsync ...

    Windows平台下使用rsync实现文件同步.docx

    Windows 平台下使用 rsync 实现文件同步 Windows 平台下使用 rsync 实现文件同步是通过在服务器端和客户端安装 cwRsync 软件来实现的。cwRsync 是一个基于 rsync 的同步工具,能够实现文件的双向同步。 在服务器端...

    Linux下rsync安装配置使用教程.doc

    Linux下的rsync是一款强大的文件和数据同步工具,它支持本地或网络环境下的文件同步,具有高效、稳定的特点。本教程将详细介绍如何在Redhat AS4系统上安装、配置及使用rsync。 首先,我们来看看服务器端的配置: 1...

    用Rsync实现Linux文件系统备份.pdf

    Linux 文件系统备份使用 Rsync 在 Linux 操作系统中,文件系统备份是非常重要的一项任务。传统的备份方法存在一些不足之处,如每次都需要将所有文件和数据重新在网络上传输一遍,效率非常低下。为了解决这个问题,...

    linux-DuplexRsync使用rsync和fswatch进行DropBoxGoogleDrive风格的双向同步

    “Linux-DuplexRsync使用rsync和fswatch进行DropBoxGoogleDrive风格的双向同步”这个标题表明我们正在讨论一个Linux工具,名为DuplexRsync,它利用了rsync和fswatch这两个开源工具来实现类似于DropBox和GoogleDrive...

    linuxrsync安装配置及命令详解.pdf

    Linux rsync 安装配置是 Linux 系统中的一种数据同步工具,通过 rsync 命令可以实现文件的同步、备份和恢复。rsync 服务器可以实现文件的实时同步,降低数据丢失的风险。 服务端操作 1. 安装 rsync 服务:使用 ...

    Rsync实现文件备份同步

    它使用一种称为“滚动检查”的算法,可以在不完整传输文件的情况下发现并应用变化,这使得即使在网络带宽有限的情况下,Rsync也能高效地工作。 ### 3. 主要特点 - **增量同步**:Rsync能够识别并只传输源文件与...

    linux中rsync异步服务器实现文件同步与备份.docx

    Rsync的异步服务器功能可以满足快速、安全、自动化地同步和备份文件的需求。通过上述步骤,用户可以定期备份重要数据到远程服务器上,或者在多个服务器间进行文件同步。同时,结合SSH协议,用户能够确保传输过程的...

    linux系统下rsync文件同步配置工作笔记linux操作系统电脑资料.doc

    在Linux系统中,rsync是一个强大的文件同步工具,常用于数据备份和镜像服务。它支持本地或远程的文件同步,具有速度快、占用资源少的特点。以下是对rsync配置的详细说明: 首先,确保两台服务器都已安装了rsync。在...

Global site tag (gtag.js) - Google Analytics