如何快速复制大批量小文件的技巧

1，在需要对大量小文件进行移动或复制时，用cp、mv都会显得很没有效率，可以用tar先压缩再解压缩的方式。

 

2，在网络环境中传输时，可以再结合nc命令，通过管道和tcp端口进行传输。

如下（懒得写了，直接引用别人的成果：http://blog.chinaunix.net/u/8059/showart_726220.html）

nc和tar可以用来快速的在两台机器之间传输文件和目录，比ftp和scp要来得简单的多。由于nc是一个超轻量的命令，所以一般busybox都会集成它。当一个linux终端，比如linux pda, 通过usblan的方式连接到另一台linux主机的时候，这样的嵌入式终端上一般不会集成ftp server, ssh server这样比较笨重的服务，这个时候， nc可能成为唯一的上传手段。

比如将机器A上的mytest目录上传到到机器 B(192.168.0.11)上，只需要：

在机器B上，用nc来监听一个端口，随便就好，只要不被占用；并且将收到的数据用tar展开。-l代表监听模式。
#nc -l 4444 |tar -C /target/dir -xf -

然后，在A上通过nc和 tar发送mytest目录。使用一致的4444的端口。
#tar -C mytest|nc 192.168.0.11 4444

 

 

评论

3 楼 tedeyang 2010-05-04  

gongji 写道

我觉得楼主这个方法很常见，只是我想。一定有更好的方法等待楼主去发现。

如果有更好的办法为什么不指导我一下呢？

2 楼 gongji 2010-05-04  

我觉得楼主这个方法很常见，只是我想。一定有更好的方法等待楼主去发现。

1 楼 tedeyang 2010-05-02  

为什么要踩我？
如果注意的话，我是不把blog发布到博客首页也不发布到论坛的，除非是想和人讨论的话题。
blog=web log，自己记录一下而已，没什么水平的东西也不好意思发到博客首页或论坛让人笑话。诸君就不要苛求了，打击我的积极性啊。