`
euler13
  • 浏览: 17983 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

rsync maven中央仓库的几点经验

    博客分类:
  • java
阅读更多
经过近1个月的断断续续的日夜工作,俺的机器终于把maven的中央仓库的jar包全部sync下来了。 总结几点经验:

1.rsync的时候排除掉那些压缩包, --exclude "*.zip" --exclude "*.gz" --exclude "*.war" --exclude "*.bz" --exclude "*.bz2"。 这些压缩文件通常都没什么用。

2.限制一下下载速度,貌似从中央仓库同步内容,速度不限制反而更慢,甚至根本同步不下来。

3.限制一下最大下载文件大小, 用--max-size=选项,我设置的是12m。 正常的符合maven惯例的jar文件通常很小,所以限制一下大小可以把大量的垃圾文件排除掉,这样比排除指定的文件类型更有效。

4.要选择合适的时间去同步。 通常下午,晚上会比较慢(能有几十k就不错了),尽量避免。而在凌晨以后快的时候可以接近700k。

不过由于内容实在太多,网速的日夜差距,虽然我的带宽是5M,但同步下来仍然花了漫长的时间, 经过近一月的努力down下来了整个maven库(不包括上面排除掉的),花掉了共66G的硬盘空间。
分享到:
评论
1 楼 fanlianwei 2014-02-04  
请问你是从哪个镜像同步的?

相关推荐

    rsync-maven-wagon:一个使用本地rsync命令进行部署的Maven插件

    rsync-maven-wagon是一个基于Java开发的Maven插件,它的主要功能是利用本地的rsync命令来执行项目的部署操作。在Maven的世界里,wagon是一个接口,它定义了如何与远程仓库交互,比如上传、下载文件。rsync-maven-...

    aix下rsync安装包

    2. **使用PPC64 AIX软件仓库**:有些第三方软件仓库可能提供了预编译的AIX版本的`rsync`包,你可以直接通过这些仓库进行安装,简化了从源码编译的过程。 3. **通过OpenAFS工具**:如果你的系统已经安装了OpenAFS,...

    rsync_架设手册

    本文旨在提供rsync服务器架设的基础指南,帮助读者理解rsync的工作原理及基本操作流程,适用于初学者和有一定经验的系统管理员。 #### 10. 更新日志 - 2023-04-01: 初始版本发布。 - 2023-04-15: 添加防火墙配置...

    ubuntu rsync中文乱码 window ubuntu rsync同步中文乱码.docx

    rsync -avzup --progress --iconv=GBK,UTF-8 --protect-args --password-file=/etc/rsync.pass rsync@192.168.0.1::module /local/path ``` 这里的`--iconv=GBK,UTF-8`意味着`rsync`将从GBK编码转换为UTF-8编码...

    rsync数据同步手册.pdf

    下面是关于rsync数据同步手册的知识点总结: 一、系统环境 在开始使用rsync之前,需要了解系统环境的基本配置。包括操作系统、文件系统、网络连接等方面的设置。了解系统环境可以帮助我们更好地配置rsync和解决...

    一键安装Rsync脚本

    **一键安装Rsync脚本** 是一个为了简化Rsync服务端环境部署而设计的实用工具。Rsync(Remote Sync)是一种高效、强大的文件同步和备份工具,广泛应用于系统管理员之间同步数据、备份服务器或者在多台机器间进行文件...

    rsync同步的艺术

    下面是 rsync 的一些重要知识点: 1. rsync 的基本使用:rsync 可以在两个文件之间同步文件的内容和权限,例如:$ rsync main.c machineB:/home/userB1。这样可以确保目的端的文件内容和源端保持一致。 2. rsync ...

    rsync rpm安装包

    rsync rpm安装包

    windows rsync工具类

    windows rsync工具类windows rsync工具类windows rsync工具类windows rsync工具类windows rsync工具类windows rsync工具类windows rsync工具类windows rsync工具类windows rsync工具类windows rsync工具类

    cygwin 下 rsync-3.0.8安装及使用说明

    Rsync是另一个非常重要的工具,它用于高效地同步和备份文件。在本教程中,我们将深入探讨如何在Cygwin环境下安装rsync 3.0.8版本,并学习其基本用法。 首先,我们需要获取`rsync-3.0.8`的安装包。这个过程可以通过...

    rsync备份海量文件时占用大量内存的解决方法

    linux发行版中大多都自带rsync,不过版本比较低,一般都是2.6.X 在2.X的版本中,rsync备份时都是先列表再备份(添加或者删除),在处理大量文件时,会耗费比较多的内存。 备份的时候,rsync扫描到的每个文件(目录也...

    linux 下rsync文件夹同步配置

    ### Linux下rsync文件夹同步配置详解 #### 引言 在Linux环境下,rsync工具因其高效、稳定、灵活的特点,被广泛应用于文件备份、数据迁移以及文件夹同步等场景。本文将详细介绍如何在Linux系统中配置rsync进行...

    rsync常见错误及解决方法

    rsync常见错误及解决方法 rsync是一款功能强大的远程数据同步工具,它可以在不同的主机之间同步文件和目录。但是,在使用rsync时,可能会遇到各种错误,本文将总结一些常见的rsync错误及其解决方法。 一、@ERROR: ...

    Rsync4.1.0客户端+服务端

    在使用Rsync时,有几个重要的参数和选项需要注意。例如,"-a"选项用于归档模式,保留文件的属性(如权限、时间戳等);"-v"选项增加输出的详细程度,帮助用户跟踪同步过程;"-z"选项启用压缩,减少在网络上传输的...

    RSYNC的架构手册

    RSYNC是一种强大的、高效的数据同步工具,常用于备份和镜像任务。它的架构设计使得它在数据传输过程中能实现快速同步,因为RSYNC利用了差异算法,只传输文件的改变部分,而不是整个文件。 在RSYNC的架构中,主要...

    rsync服务端、客户端安装

    rsync 服务端、客户端安装 rsync 是一个功能强大且广泛使用的文件同步工具,它可以在 Linux 和 Unix 系统之间同步文件。rsync 服务端和客户端安装是实现文件同步的基础,本文将详细介绍 rsync 服务端和客户端安装的...

    rsync-3.1.1pre1.tar

    rsync-3.1.1pre1是我们讨论的版本,它代表了rsync在某个时间点的预发布版本,通常包含了开发者最新的改进和修复。 rsync的核心特性在于它的增量同步技术,能够快速地识别并仅传输源目录与目标目录之间的差异部分,...

Global site tag (gtag.js) - Google Analytics