`
zhangchibang
  • 浏览: 346184 次
社区版块
存档分类
最新评论

svn备份策略

阅读更多
http://www.svn8.com/svnpz/20080702/836.html



(本文例子基于FreeBSD/Linux实现,windows环境请自己做出相应修改)
  配置管理的一个重要使命是保证数据的安全性,防止服务器应硬盘损坏、误操作造成数据无法恢复的灾难性后果。因此制定一个完整的备份策略非常重要。

   一般来说,备份策略应规定如下几部分内容:备份频度、备份方式、备份存放地点、备份责任人、灾难恢复检查措施及规定。

  备份频度、存放地点等内容可以根据自己的实际情况自行制定;本文重点描述备份方式。

  svn备份一般采用三种方式:1)svnadmin dump 2)svnadmin hotcopy 3)svnsync.

注意,svn备份不宜采用普通的文件拷贝方式(除非你备份的时候将库暂停),如copy命令、rsync命令。
笔者曾经用 rsync命令来做增量和全量备份,在季度备份检查审计中,发现备份出来的库大部分都不可用,因此最好是用svn本身提供的功能来进行备份。

优缺点分析:
==============
第一种svnadmin dump是官方推荐的备份方式,优点是比较灵活,可以全量备份也可以增量备份,并提供了版本恢复机制。
  缺点是:如果版本比较大,如版本数增长到数万、数十万,那么dump的过程将非常慢;备份耗时,恢复更耗时;不利于快速进行灾难恢复。
  个人建议在版本数比较小的情况下使用这种备份方式。
第二种svnadmin hotcopy原设计目的估计不是用来备份的,只能进行全量拷贝,不能进行增量备份;
   优点是:备份过程较快,灾难恢复也很快;如果备份机上已经搭建了svn服务,甚至不需要恢复,只需要进行简单配置即可切换到备份库上工作。
   缺点是:比较耗费硬盘,需要有较大的硬盘支持(俺的备份机有1TB空间,呵呵)。
第三种svnsync实际上是制作2个镜像库,当一个坏了的时候,可以迅速切换到另一个。不过,必须svn1.4版本以上才支持这个功能。
  优点是:当制作成2个镜像库的时候起到双机实时备份的作用;
  缺点是:当作为2个镜像库使用时,没办法做到“想完全抛弃今天的修改恢复到昨晚的样子”;而当作为普通备份机制每日备份时,操作又较前2种方法麻烦。     


下面具体描述这三种的备份的方法:
===============

1、svnadmin dump备份工具
------------------------
    这是subversion官方推荐的备份方式。

    1)定义备份策略:
       备份频度:每周六进行一次全量备份,每周日到周五进行增量备份
       备份地点:备份存储路径到/home/backup/svn/
       备份命名:全量备份文件名为:weekly_fully_backup.yymmdd,增量备份文件命名为:daily-incremental-backup.yymmdd
       备份时间:每晚21点开始
       备份检查:每月末进行svnadmin load恢复试验。
    2)建立全量备份脚本:
       在~/下建立一个perl脚本文件,名为weekly_backup.pl,执行全量备份,并压缩备份文件,代码如下(本代码只针对一个库的备份,如果是多个库请做相应改动):
    
#!/usr/bin/perl -w
my $svn_repos="/home/svn/repos/project1";
my $backup_dir="/home/backup/svn/";
my $next_backup_file = "weekly_fully_backup.".`date +%Y%m%d`;

$youngest=`svnlook youngest $svn_repos`;
chomp $youngest;

print "Backing up to revision $youngestn";
my $svnadmin_cmd="svnadmin dump --revision 0youngest $svn_repos >$backup_dir/$next_backup_file";
`$svnadmin_cmd`;
open(LOG,">$backup_dir/last_backed_up"); #记录备份的版本号
print LOG $youngest;
close LOG;
#如果想节约空间,则再执行下面的压缩脚本
print "Compressing dump file...n";
print `gzip -g $backup_dir/$next_backup_file`;

  3)建立增量备份脚本:
    在全量备份的基础上,进行增量备份:在~/下建立一个perl脚本文件,名为:daily_backup.pl,代码如下:

#!/usr/bin/perl -w
my $svn_repos="/home/svn/repos/project1";
my $backup_dir="/home/backup/svn/";
my $next_backup_file = "daily_incremental_backup.".`date +%Y%m%d`;

open(IN,"$backup_dir/last_backed_up");
$previous_youngest = <IN>;
chomp $previous_youngest;
close IN;

$youngest=`svnlook youngest $svn_repos`;
chomp $youngest;
if ($youngest eq $previous_youngest)
{
  print "No new revisions to backup.n";
  exit 0;
}
my $first_rev = $previous_youngest + 1;
print "Backing up revisions $youngest ...n";
my $svnadmin_cmd = "svnadmin dump --incremental --revision $first_revyoungest $svn_repos > $backup_dir/$next_backup_file";
`$svnadmin_cmd`;
open(LOG,">$backup_dir/last_backed_up"); #记录备份的版本号
print LOG $youngest;
close LOG;
#如果想节约空间,则再执行下面的压缩脚本
print "Compressing dump file...n";
print `gzip -g $backup_dir/$next_backup_file`;
  
   4)配置/etc/crontab文件
   配置 /etc/crontab 文件,指定每周六执行weekly_backup.pl,指定周一到周五执行daily_backup.pl;
   具体步骤俺就不啰嗦了.
  
   5)备份恢复检查
   在月底恢复检查中或者在灾难来临时,请按照如下步骤进行恢复:恢复顺序从低版本逐个恢复到高版本;即,先恢复最近的一次完整备份 weekly_full_backup.071201(举例),然后恢复紧挨着这个文件的增量备份 daily_incremental_backup.071202,再恢复后一天的备份071203,依次类推。如下:
user1>mkdir newrepos
user1>svnadmin create newrepos
user1>svnadmin load newrepos < weekly_full_backup.071201
user1>svnadmin load newrepos < daily_incremental_backup.071202
user1>svnadmin load newrepos < daily_incremental_backup.071203
....

如果备份时采用了gzip进行压缩,恢复时可将解压缩和恢复命令合并,简单写成:
user1>zcat weekly_full_backup.071201 | svnadmin load newrepos
user1>zcat daily_incremental_backup.071202 | svnadmin load newrepos
...

(这部分内容很多参考了《版本控制之道》)
    

2、svnadmin hotcopy整库拷贝方式
-------------------------
   svnadmin hotcopy是将整个库都“热”拷贝一份出来,包括库的钩子脚本、配置文件等;任何时候运行这个脚本都得到一个版本库的安全拷贝,不管是否有其他进程正在使用版本库。
   因此这是俺青睐的备份方式。

  1)定义备份策略

    备份频度:每天进行一次全量备份,
    备份地点:备份目录以日期命名,备份路径到 /home/backup/svn/${mmdd}
    备份保留时期:保留10天到15天,超过15天的进行删除。
    备份时间:每晚21点开始
    备份检查:备份完毕后自动运行检查脚本、自动发送报告。

  2)建立备份脚本
  在自己home目录 ~/下创建一个文件,backup.sh:

#!/bin/bash
SRCPATH=/home/svn/repos/; #定义仓库parent路径
DISTPATH=/home/backup/svn/`date +%m%d`/ ; #定义存放路径;
if [ -d "$DISTPATH" ]
then
else
   mkdir $DISTPATH
   chmod g+s $DISTPATH
fi
echo $DISTPATH
svnadmin hotcopy $SRCPATH/Project1 $DISTPATH/Project1 >/home/backup/svn/cpreport.log 2>&1;
svnadmin hotcopy $SRCPATH/Project2 $DISTPATH/Project2
cp $SRCPATH/access  $DISTPATH; #备份access文件
cp $SRCPATH/passwd  $DISTPATH; #备份passwd文件
perl /home/backup/svn/backup_check.pl #运行检查脚本
perl /home/backup/svn/deletDir.pl  #运行删除脚本,对过期备份进行删除。

  3)建立检查脚本
  在上面指定的地方/home/backup/svn/下建立一个perl脚本:backup_check.pl
备份完整性检查的思路是:对备份的库运行 svnlook youngest,如果能正确打印出最新的版本号,则表明备份文件没有缺失;如果运行报错,则说明备份不完整。我试过如果备份中断,则运行svnlook youngest会出错。
  perl脚本代码如下:

#! /usr/bin/perl
## Author:xuejiang
## 2007-11-10
## http://www.scmbbs.com
use strict;
use Carp;
use Net::SMTP;

#### defined the var #######

my $smtp =Net::SMTP->new('mail.scmbbs.com', Timeout => 30, Debug => 0)|| die "cann't connect to mail.scmbbs.comn";

my $bkrepos="/home/backup/svn/".&get_day;#定义备份路径
my $ssrepos="http://www.scmbbs.com/repos";#定义仓库url
my @repos = ("project1","project2");

my $title="echo "如下是昨晚备份结果与真实库对比的情况,如果给出备份版本数,则表示备份成功;如果给报错信息或没有备份版本数,则表示备份失败:" >./report";
system $title  || die "exec failedn";
foreach my $myrepos(@repos)
{
    my $bkrepos1=$bkrepos."/".$myrepos;
  my $ssrepos1=$ssrepos."/".$myrepos;
  my $svnlookbk1 = "echo "$myrepos 昨晚备份的版本是:">>./report;svnlook youngest ".$bkrepos1." >> ./report 2>&1";
  my $svnlookss1 = "echo "$myrepos 真实库中的最新版本及最后修改时间是:">>./report;svn log -r'HEAD' ".$ssrepos1." >> ./report 2>&1";
  system $svnlookbk1 || die "exec failedn";
  system $svnlookss1 || die "exec failedn";

}

my $body       ="echo "=========================================================================" >>./report";
my $bottom     ="echo "备份位置:来自http://www.scmbbs.com的".$bkrepos."" >>./report";

system $body       || die "exec failedn";
system $bottom     || die "exec failedn";


###### report the result ####


open(SESAME,"./report")|| die "can not open ./report";
my @svnnews = <SESAME>;
close(SESAME);
foreach my $line1 (@svnnews)
{
      print $line1."n";
}

my @email_addresses =("scm@list.scmbbs.com","leader1@scmbbs.com","leader2@scmbbs.com");
my $to              = join(', ', @email_addresses);
$smtp->mail("scm@scmbbs.com");
$smtp->recipient(@email_addresses);
$smtp->data();
$smtp->datasend("Toton");
$smtp->datasend("From: svnReport@scmbbs.comn");
$smtp->datasend("Subject:svn备份检查报告".&get_today."n");
$smtp->datasend("Reply-to:scm@scmbbs.comn");
$smtp->datasend("@svnnews");
$smtp->dataend();
$smtp->quit;


#############


sub get_today
{
my( $sec, $min, $hour, $day, $month, $year ) = localtime( time() );
$year += 1900;
$month++;
my $today = sprintf( "%04d%02d%02d", $year, $month, $day);
return $today;
}
sub get_day
{
    my( $sec, $min, $hour, $day, $month, $year ) = localtime( time() );
$year += 1900;
$month++;
my $today = sprintf( "%02d%02d", $month, $day);
return $today;
}

  
  4)定义删除脚本

   由于是全量备份,所以备份不宜保留太多,只需要保留最近10来天的即可,对于超过15天历史的备份基本可以删除了。
   在/home/backup/svn/下建立一个perl脚本:deletDir.pl
   (注意,删除svn备份库可不像删除普通文件那么简单)
   脚本代码请参看我的另一个帖子:http://www.scmbbs.com/cn/systp/2007/12/systp6.php

   5)修改/etc/crontab 文件
   在该文件中指定每晚21点执行“backup.sh”脚本。

3、svnsync备份
-----------------------
  参阅:http://www.scmbbs.com/cn/svntp/2007/11/svntp4.php
  使用svnsync备份很简单,步骤如下:
1)在备份机上创建一个空库:svnadmin create Project1
2)更改该库的钩子脚本pre-revprop-change(因为svnsync要改这个库的属性,也就是要将源库的属性备份到这个库,所以要启用这个脚本):  
  cd SMP/hooks;
  cp pre-revprop-change.tmpl pre-revprop-change;
  chmod 755 pre-revprop-change;
  vi pre-revprop-change;
  将该脚本后面的三句注释掉,或者干脆将它弄成一个空文件。
3)初始化,此时还没有备份任何数据:
svnsync init file:///home/backup/svn/svnsync/Project1/  http://svntest.subversion.com/repos/Project1
  语法是:svnsync init {你刚创建的库url} {源库url}
  注意本地url是三个斜杠的:///
4)开始备份(同步):
  svnsync sync file:///home/backup/svn/svnsync/Project1
5)建立同步脚本
  备份完毕后,建立钩子脚本进行同步。在源库/hooks/下建立/修改post-commit脚本,在其中增加一行,内容如下:

    /usr/bin/svnsync sync  --non-interactive file:///home/backup/svn/svnsync/Project1

  你可能已经注意到上面的备份似乎都是本地备份,不是异地备份。实际上,我是通过将远程的备份机mount(请参阅mount命令)到svn服务器上来实现的,逻辑上看起来是本地备份,物理上实际是异地备份。
分享到:
评论
2 楼 jinjiankang 2011-01-17  
$youngest=`svnlook youngest $svn_repos`;

查看版本库最新的修订号,即HEAD修订号。
1 楼 wangxc 2010-05-26  
你好,我按照你介绍的方法在创建完weekly_backup.pl脚本文件,我将这个文件复制了一个为.sh的文件,我在执行这个.sh文件时提示
Backing up to revision 280svnadmin: Syntax error in revision argument '0youngest';

请问一下,你写的youngest是做什么用的?请先生叫我!谢谢

相关推荐

    SVN服务器几种备份策略.docx

    为了确保SVN服务器的数据安全,必须实施有效的备份策略。本篇文章主要介绍了三种在FreeBSD/Linux环境下适用于SVN服务器的备份方法,并警告了不推荐使用常规文件复制方式如`copy`或`rsync`进行备份,因为这些方法可能...

    SVN 备份脚本

    SVN(Subversion)是一种广泛使用的版本...通过理解这些概念和步骤,您可以根据具体需求构建自己的SVN备份策略,确保项目数据的安全性和可恢复性。记得测试备份脚本并验证恢复过程,确保在真正需要时能够成功恢复数据。

    svnsync.sh svnhotcopy_daily.sh svn 备份

    结合描述,我们可以看出这是一个完整的SVN备份策略:每当源仓库有新的提交或更新时,`svnsync.sh`会将这些变更同步到备份服务器;同时,`svnhotcopy_daily.sh`会在每天的某个固定时间点创建一个热备份,以防万一同步...

    SVN备份完整详解

    总的来说,理解并正确实施SVN备份策略对于任何依赖SVN进行版本控制的组织来说至关重要。无论是Windows还是Linux环境,都需要规划备份频度、方式和存储位置,以及灾难恢复计划,以最大程度地减少数据丢失的风险。定期...

    SVN增量备份脚本及MD5加密工具

    增量备份是SVN备份策略的一种,它只备份自上次备份以来发生改变的数据,从而节省存储空间和备份时间。在这个"SVN增量备份脚本及MD5加密工具"中,包含了两个批处理脚本和一个MD5加密工具,旨在简化和增强SVN仓库的...

    SVN备份方案

    ### SVN备份方案详解 #### 一、备份与恢复机制 在IT行业中,版本控制系统是确保项目稳定性和可追溯性的重要工具之一。对于Subversion (SVN) 这样的集中式版本控制系统来说,确保数据的安全性至关重要。本文将详细...

    SVN备份操作(包括完全备份,增量备份和同步版本库)

    ### SVN备份操作详解 #### 一、概述 版本控制系统的核心目标之一是确保数据的安全性和可靠性。对于企业级项目管理而言,任何因硬件故障或软件错误导致的数据丢失都是无法接受的。因此,制定全面且可靠的备份策略...

    SVN(windows平台)自动备份脚本

    通过以上步骤,你可以在Windows上设置一个自动备份SVN仓库的脚本,并结合任务计划程序定时运行,实现高效且可靠的备份策略。务必根据你的具体需求调整备份频率和目标位置,以满足项目管理的最佳实践。

    windows下svn异地备份与还原

    在Windows环境下,Subversion(简称svn)作为一款广泛使用的版本控制系统,对于团队协作和项目管理起着至关重要的作用。...文件"svn备份与还原.txt"很可能是详细的操作步骤和指南,建议仔细阅读并按照指导进行实践。

    svn 备份 bat

    通过以上步骤,你就创建了一个自定义的SVN备份bat脚本,实现了自动化SVN仓库的备份。这个脚本可以根据具体需求进行调整,例如增加加密备份、压缩备份等高级功能。记得定期检查并更新脚本,确保它与你的SVN服务器配置...

    svn备份、还原与迁移操作手册.docx

    SVN 备份、还原与迁移操作手册 ...SVN 备份、还原与迁移操作是非常重要的,需要根据项目的需求和风险程度来确定备份策略和恢复策略,并需要注意备份与迁移操作的注意事项,以确保数据的安全和业务连续性。

    SVN_BackUp.rar_svn 自动备份_svn备份

    【SVN自动备份与双服务器备份策略】 在软件开发过程中,源代码管理是至关重要的环节,SVN(Subversion)作为一款广泛应用的版本控制系统,能够有效地管理代码版本,确保团队协作的顺畅。然而,仅仅使用SVN进行版本...

    svn备份方案补充

    本篇文章将详细探讨“svn备份方案补充”,主要聚焦于如何在Linux环境下实现svn版本库的自动全量备份。 首先,理解svn的核心概念至关重要。svn是一个分布式版本控制系统,它允许团队成员对同一份代码进行协作编辑,...

    Windows下SVN的备份方案

    6. **备份策略**:制定合理的备份策略至关重要。这可能包括每日全量备份,加上每周或每月的差异或增量备份。同时,应设置保留一定数量的旧备份,以便追溯较远的历史版本。 7. **测试恢复**:定期测试备份的完整性与...

    windows&linux svn自动化全备份&增量备份脚本

    【标题】:“Windows&Linux SVN自动化全...在实施这些备份策略时,确保备份的完整性和安全性至关重要,定期测试备份的可恢复性也是必要的。通过遵循上述步骤和使用提供的资源,您可以建立一个可靠且高效的SVN备份系统。

    SVN增量备份-附带脚本

    增量备份是SVN备份的一种策略,它只备份自上次备份以来发生改变的数据,从而减少备份所需的时间和存储空间。 在"SVN增量备份-附带脚本"这个主题中,我们将探讨如何使用提供的脚本来实现这一功能。 1. **dump.bat**...

    SVNBackUp.rar_SVNBackup _svn_svn 自动备份_svn备份

    在压缩包中的“SVN备份程序”,可能包含以下文件和文件夹: - 安装程序或可执行文件:用于安装和运行`SVNBackup`。 - 配置文件:包含备份计划和参数设置。 - 备份脚本:可能使用bash、批处理或其他脚本语言编写,...

    SVN自动备份代码/文档功能

    3. **优化备份策略**:除了每日备份,还可以考虑增加增量备份或者差异备份,以节省存储空间。`svnadmin hotcopy`命令可以用于创建快照式的备份,速度更快,但不包含历史信息。此外,可以设定备份文件的保留策略,...

    SVN备份恢复

    3. **备份策略**: - 定期备份:根据项目的重要性设置备份频率,例如每天、每周或每月。 - 灾难恢复计划:除了常规备份,还应有在紧急情况下的快速恢复策略,如实时或近实时备份。 4. **恢复过程**: - **恢复...

    windows下svn的备份

    总结,Windows下使用Subversion进行备份的关键在于编写合适的批处理脚本,利用`svnadmin`工具进行完全备份和增量备份,并结合合适的备份策略以最大化效率和数据安全性。同时,定期测试备份以验证其有效性也是至关...

Global site tag (gtag.js) - Google Analytics