经过近1个月的断断续续的日夜工作,俺的机器终于把maven的中央仓库的jar包全部sync下来了。 总结几点经验:
1.rsync的时候排除掉那些压缩包, --exclude "*.zip" --exclude "*.gz" --exclude "*.war" --exclude "*.bz" --exclude "*.bz2"。 这些压缩文件通常都没什么用。
2.限制一下下载速度,貌似从中央仓库同步内容,速度不限制反而更慢,甚至根本同步不下来。
3.限制一下最大下载文件大小, 用--max-size=选项,我设置的是12m。 正常的符合maven惯例的jar文件通常很小,所以限制一下大小可以把大量的垃圾文件排除掉,这样比排除指定的文件类型更有效。
4.要选择合适的时间去同步。 通常下午,晚上会比较慢(能有几十k就不错了),尽量避免。而在凌晨以后快的时候可以接近700k。
不过由于内容实在太多,网速的日夜差距,虽然我的带宽是5M,但同步下来仍然花了漫长的时间, 经过近一月的努力down下来了整个maven库(不包括上面排除掉的),花掉了共66G的硬盘空间。
分享到:
相关推荐
rsync-maven-wagon是一个基于Java开发的Maven插件,它的主要功能是利用本地的rsync命令来执行项目的部署操作。在Maven的世界里,wagon是一个接口,它定义了如何与远程仓库交互,比如上传、下载文件。rsync-maven-...
2. **使用PPC64 AIX软件仓库**:有些第三方软件仓库可能提供了预编译的AIX版本的`rsync`包,你可以直接通过这些仓库进行安装,简化了从源码编译的过程。 3. **通过OpenAFS工具**:如果你的系统已经安装了OpenAFS,...
本文旨在提供rsync服务器架设的基础指南,帮助读者理解rsync的工作原理及基本操作流程,适用于初学者和有一定经验的系统管理员。 #### 10. 更新日志 - 2023-04-01: 初始版本发布。 - 2023-04-15: 添加防火墙配置...
rsync -avzup --progress --iconv=GBK,UTF-8 --protect-args --password-file=/etc/rsync.pass rsync@192.168.0.1::module /local/path ``` 这里的`--iconv=GBK,UTF-8`意味着`rsync`将从GBK编码转换为UTF-8编码...
下面是关于rsync数据同步手册的知识点总结: 一、系统环境 在开始使用rsync之前,需要了解系统环境的基本配置。包括操作系统、文件系统、网络连接等方面的设置。了解系统环境可以帮助我们更好地配置rsync和解决...
**一键安装Rsync脚本** 是一个为了简化Rsync服务端环境部署而设计的实用工具。Rsync(Remote Sync)是一种高效、强大的文件同步和备份工具,广泛应用于系统管理员之间同步数据、备份服务器或者在多台机器间进行文件...
下面是 rsync 的一些重要知识点: 1. rsync 的基本使用:rsync 可以在两个文件之间同步文件的内容和权限,例如:$ rsync main.c machineB:/home/userB1。这样可以确保目的端的文件内容和源端保持一致。 2. rsync ...
rsync rpm安装包
windows rsync工具类windows rsync工具类windows rsync工具类windows rsync工具类windows rsync工具类windows rsync工具类windows rsync工具类windows rsync工具类windows rsync工具类windows rsync工具类
Rsync是另一个非常重要的工具,它用于高效地同步和备份文件。在本教程中,我们将深入探讨如何在Cygwin环境下安装rsync 3.0.8版本,并学习其基本用法。 首先,我们需要获取`rsync-3.0.8`的安装包。这个过程可以通过...
linux发行版中大多都自带rsync,不过版本比较低,一般都是2.6.X 在2.X的版本中,rsync备份时都是先列表再备份(添加或者删除),在处理大量文件时,会耗费比较多的内存。 备份的时候,rsync扫描到的每个文件(目录也...
### Linux下rsync文件夹同步配置详解 #### 引言 在Linux环境下,rsync工具因其高效、稳定、灵活的特点,被广泛应用于文件备份、数据迁移以及文件夹同步等场景。本文将详细介绍如何在Linux系统中配置rsync进行...
rsync常见错误及解决方法 rsync是一款功能强大的远程数据同步工具,它可以在不同的主机之间同步文件和目录。但是,在使用rsync时,可能会遇到各种错误,本文将总结一些常见的rsync错误及其解决方法。 一、@ERROR: ...
在使用Rsync时,有几个重要的参数和选项需要注意。例如,"-a"选项用于归档模式,保留文件的属性(如权限、时间戳等);"-v"选项增加输出的详细程度,帮助用户跟踪同步过程;"-z"选项启用压缩,减少在网络上传输的...
RSYNC是一种强大的、高效的数据同步工具,常用于备份和镜像任务。它的架构设计使得它在数据传输过程中能实现快速同步,因为RSYNC利用了差异算法,只传输文件的改变部分,而不是整个文件。 在RSYNC的架构中,主要...
rsync 服务端、客户端安装 rsync 是一个功能强大且广泛使用的文件同步工具,它可以在 Linux 和 Unix 系统之间同步文件。rsync 服务端和客户端安装是实现文件同步的基础,本文将详细介绍 rsync 服务端和客户端安装的...
rsync-3.1.1pre1是我们讨论的版本,它代表了rsync在某个时间点的预发布版本,通常包含了开发者最新的改进和修复。 rsync的核心特性在于它的增量同步技术,能够快速地识别并仅传输源目录与目标目录之间的差异部分,...