案例:tom blog的file服务器,因为所有的图片都是以/data/xxx/xxx/blog/yeah/month/day/article/xxx.jpg,文件不大,但是目录深,数量多。
以ftp,sftp传大量小文件毫无疑问非常慢;而rsync是需要文件遍历之后再传输的,rsync给每个文件的每层目录都分配一个FD(文件描述符),对系统资源浪费极大,几个小时都还没遍历完。
这样的情况下,下面的传输方法就非常实用:
tar -cf - /data/xxx/xxx/blog | ssh user@dst_host tar -C target_dir -xvf -
将目录打包到标准输出,再通过ssh通道传送到远端之后解包。
这个命令的机制是不遍历的,又不需要占用系统太多的FD,是个折衷的办法,能解决文件备份的问题。
PS:
如果我要
tar -cf - /data/xxx/blog |ssh root@dst_host tar -cf target_dir.tar -
行不?
或者换一种说法:
我现在机器上硬盘空间不够了
想把目录用tar 打成包传到另一台机器上(本机不留,因为没有空间了)
上面命令可以吧?
解决方法:
tar -cf - /data/xxx/blog | ssh root@host "cat > my.tar"
- 浏览: 19382 次
- 性别:
- 来自: douzhua
最新评论
-
woodding2008:
还以为跟storm有关系呢
PhpStorm的变量类型提示
相关推荐
### 海量数据的备份与恢复 在当前大数据时代,数据的价值越来越被重视,因此确保数据的安全性成为了每个企业必须面对的重要课题。本文将重点探讨海量数据的备份和恢复技术,通过对传统数据与海量数据备份及恢复方法...
- 海量小文件备份方法:使用专门的工具进行小文件优化,减少备份时间和存储空间。 - 操作系统备份方法:包括系统状态备份和文件系统备份,确保系统配置和关键文件的安全。 综上所述,交通行业企业应正确认识数据...
针对海量小文件备份,采用多级索引和并发处理技术,显著提升备份速度。 鼎甲备份容灾一体机提供了D2T直接存储功能,可以直接将备份数据传输到磁带库,便于长期存储和快速恢复。对于高可用性需求,它提供了共享存储...
在2.X的版本中,rsync备份时都是先列表再备份(添加或者删除),在处理大量文件时,会耗费比较多的内存。 备份的时候,rsync扫描到的每个文件(目录也一样),在它的列表中约占100字节的内存,如果加了–delete参数的话...
这种小文件的存储、备份方式对于存储系统提出了更高要求。 2. 传统文件服务器的局限性:在面对规模庞大、数量众多的应用文件时,传统的单台文件服务器已经难以满足用户需求。特别是当系统需要扩容时,单纯依靠增加...
【基于Hadoop集群下海量小文件存储的研究与优化】 在当今大数据时代,如何高效地存储和处理海量数据已经成为一个至关重要的课题。Hadoop作为一种开源的分布式计算框架,因其优秀的并行处理能力,广泛应用于大数据...
博睿数据海量小文件分布式存储系统,简称BRFS,是为了解决大量小文件(1KB-50KB)存储问题而设计的。在传统的Linux文件系统中,小文件数量过多会导致索引节点(inode)耗尽,影响磁盘空间的有效利用,同时也不支持...
在大数据时代,电子文件备份技术是档案信息化管理的核心。随着信息技术的迅猛发展,尤其是云计算、大数据、人工智能等技术的融合与应用,档案管理面临着海量数据存储与备份的全新挑战和机遇。本篇文章详细探讨了电子...
在这个例子中,`DatabaseName`是你想要备份的数据库的名称,`D:\Backup\DatabaseName.bak`是备份文件的路径和名称,`WITH COMPRESSION`启用备份压缩以节省存储空间,`STATS=10`则表示每10%的进度显示一次备份状态。...
电子文件备份不仅是数据安全的关键环节,也是业务连续性和灾难恢复的基础。本文将深入探讨大数据环境下的电子文件备份技术,旨在揭示其核心原理、挑战以及应对策略。 首先,大数据备份的核心在于高效的数据处理和...
在数字化时代,数据量的急剧增长使得处理海量文件成为一项常见的任务。尤其是对于企业和科研机构,经常需要复制、移动或备份大量的巨型文件。这时,普通的文件管理系统往往无法胜任,因此专业的文件复制工具显得尤为...
完成备份后,验证备份文件的完整性至关重要。可以使用SQL Server的RESTORE VERIFYONLY命令检查备份文件是否可恢复,确保在真正需要时能成功还原数据。 综上所述,"C#带进度条数据库备份"涉及了数据库备份策略、C#...
文件系统技术内幕 大数据时代海量数据存储之道 文件系统技术是计算机科学中的一种技术,旨在管理和存储计算机文件。随着大数据时代的来临,海量数据存储面临着巨大的挑战。为了更好地应对这一挑战,本书深入浅出地...
6. **低成本存储**:采用高压缩技术,降低了存储成本,同时简化了备份和恢复操作。 7. **文件格式统一**:利用PRINT TO技术将电子文件转化为统一格式(如TIF),便于不同用户间查看和交流,降低了硬件要求。 使用...
《NbuExplorer:深入探索诺基亚备份文件的利器》 在数字时代,手机数据的安全与备份至关重要。诺基亚用户在这方面拥有一个强大的工具——NbuExplorer,这是一款专为诺基亚手机备份文件设计的浏览器。通过Nbu...
【NAS海量文件存储数据异地容灾方案】 NAS(Network Attached Storage)网络附加存储是一种专门用于文件级别的集中存储和共享的解决方案。它允许多台服务器通过网络访问统一的存储空间,适用于处理大量的文件数据,...
MySQL大数据备份工具是数据库管理员在处理海量数据时不可或缺的实用程序,它们能够高效、安全地对超过2GB的数据进行备份,确保数据的完整性和可恢复性。MySQL作为世界上最流行的开源关系型数据库管理系统之一,其...