- 浏览: 162955 次
- 性别:
- 来自: 南京
文章分类
最新评论
-
宋建勇:
示例不错,讲解也实在!受益了。
非主流并发工具之 ForkJoinPool -
yugouai:
我是用了0.11.0也是报同样的错误,是不是需要设置什么参数才 ...
Hive开窗函数测试-cube,rollup -
wankunde:
yugouai 写道你好,开窗函数的语法是您上面描述那样的吗? ...
Hive开窗函数测试-cube,rollup -
yugouai:
你好,开窗函数的语法是您上面描述那样的吗?hive> S ...
Hive开窗函数测试-cube,rollup -
wankunde:
yugouai 写道请问一下,什么叫hive的开窗函数?这个是 ...
Hive开窗函数测试-cube,rollup
rsync 跨机器备份数据文件
By :wankun 2012-12-24
一. 软件介绍
备份指定文件夹中所有文件到备机中。
二. 测试环境
1. 机器一:22.202.32.81 主机 Linux
2. 机器二:22.202.32.33 备机 Linux
3. 两台机器上都装有rsync(没有的可以到centos的安装包中找一个,装下)
三. 主机配置
1. 主配置文件有三个
a) rsyncd.conf 主要配置
b) rsyncd.motd 备机登陆时显示的欢迎信息
c) rsyncd.secrets 登陆的密码信息
# Distributed under the terms of the GNU General Public License v2 # Minimal configuration file for rsync daemon # See rsync(1) and rsyncd.conf(5) man pages for help
# This line is required by the /etc/init.d/rsyncd script pid file = /var/run/rsyncd.pid port = 873 address = 22.202.32.81 uid = root gid = root
use chroot = yes read only = yes
#limit access to private LANs #hosts allow=192.168.1.0/255.255.255.0 10.0.1.0/255.255.255.0 hosts allow=22.202.32.0/255.255.255.0 hosts deny=*
max connections = 5 motd file = /etc/rsyncd.motd
#This will give you a separate log file #log file = /var/log/rsync.log
#This will log every file transferred - up to 85,000+ per user, per sync #transfer logging = yes
log format = %t %a %m %f %b syslog facility = local3 timeout = 300
[uploadfile] path = /data/oims_data/upload_files list=yes ignore errors auth users = oims secrets file = /etc/rsyncd.secrets comment = This is upload_files
[oracle_data] path = /data/oims list=no ignore errors comment = This is RHEL 4 opt auth users = oracle secrets file = /etc/rsyncd.secrets
[root_file] path = /data/root_dir list=yes ignore errors auth users = root secrets file = /etc/rsyncd.secrets comment = This is root_files
[java_app] path = /opt/apache-tomcat-7.0.32/webapps/oims list=yes ignore errors comment = Java APP FILES auth users = root secrets file = /etc/rsyncd.secrets
|
四. 启动rsync服务器
1. /usr/bin/rsync --daemon --config=/etc/rsyncd.conf
#--config用于指定rsyncd.conf的位置,如果在/etc下可以不写
五. 通过rsync客户端来同步数据
通过shell 取指定密码文件,删除不存在的数据 获取java_app数据到本地oims目录下
RSync实现文件备份同步转自:http://www.mike.org.cn/blog/index.php?load=read&id=639###pp=0 [rsync实现网站的备份,文件的同步,不同系统的文件的同步,如果是windows的话,需要windows版本cwrsync] 一、什么是rsync rsync,remote synchronize顾名思意就知道它是一款实现远程同步功能的软件,它在同步文件的同时,可以保持原来文件的权限、时间、软硬链接等附加信息。 rsync是用 “rsync 算法”提供了一个客户机和远程文件服务器的文件同步的快速方法,而且可以通过ssh方式来传输文件,这样其保密性也非常好,另外它还是免费的软件。 rsync 包括如下的一些特性: 能更新整个目录和树和文件系统; 二、架设rsync服务器 架设rsync 服务器比较简单,写一个配置文件rsyncd.conf 。文件的书写也是有规则的,我们可以参照rsync.samba.org 上的文档来做。当然我们首先要安装好rsync这个软件才行; A、rsync的安装; 获取rsync rysnc的官方网站:http://rsync.samba.org/可以从上面得到最新的版本。目前最新版是3.05。当然,因为rsync是一款如此有用的软件,所以很多Linux的发行版本都将它收录在内了。 软件包安装 # sudo apt-get install rsync 注:在debian、ubuntu 等在线安装方法; 其它Linux发行版,请用相应的软件包管理方法来安装。 源码包安装 tar xvf rsync-xxx.tar.gz rsync的主要有以下三个配置文件rsyncd.conf(主配置文件)、rsyncd.secrets(密码文件)、rsyncd.motd(rysnc服务器信息) 服务器配置文件(/etc/rsyncd.conf),该文件默认不存在,请创建它。 具体步骤如下: #touch /etc/rsyncd.conf #创建rsyncd.conf,这是rsync服务器的配置文件。 下一就是我们修改rsyncd.conf和rsyncd.secrets和rsyncd.motd文件的时候了。 设定/etc/rsyncd.conf rsyncd.conf是rsync服务器主要配置文件。我们先来个简单的示例,后面在详细说明各项作用。 比如我们要备份服务器上的/home和/opt,在/home中我想把easylife和samba目录排除在外; # Distributed under the terms of the GNU General Public License v2 # This line is required by the /etc/init.d/rsyncd script use chroot = yes #limit access to private LANs max connections = 5 #This will give you a separate log file #This will log every file transferred - up to 85,000+ per user, per sync log format = %t %a %m %f %b [rhel4home] [rhel4opt] 注:关于auth users是必须在服务器上存在的真实的系统用户,如果你想用多个用户以,号隔开,比如auth users = easylife,root 设定密码文件 密码文件格式很简单,rsyncd.secrets的内容格式为: 用户名:密码 我们在例子中rsyncd.secrets的内容如下类似的;在文档中说,有些系统不支持长密码,自己尝试着设置一下吧。 easylife:keer chown root.root rsyncd.secrets #修改属主 注:1、将rsyncd.secrets这个密码文件的文件属性设为root拥有, 且权限要设为600, 否则无法备份成功! 出于安全目的,文件的属性必需是只有属主可读。 设定rsyncd.motd 文件; 它是定义rysnc服务器信息的,也就是用户登录信息。比如让用户知道这个服务器是谁提供的等;类似ftp服务器登录时,我们所看到的 linuxsir.org ftp ……。 当然这在全局定义变量时,并不是必须的,你可以用#号注掉,或删除;我在这里写了一个 rsyncd.motd的内容为: ++++++++++++++++++++++++++++++++++++++++++++++ 三、rsyncd.conf服务器的配置详解 A、全局定义 在rsync 服务器中,全局定义有几个比较关健的,根据我们前面所给的配置文件 rsyncd.conf 文件; pid file = /var/run/rsyncd.pid 注:告诉进程写到 /var/run/rsyncd.pid 文件中; 注:服务器端传输文件时,要发哪个用户和用户组来执行,默认是nobody。 如果用nobody 用户和用户组,可能遇到权限问题,有些文件从服务器上拉不下来。所以我就偷懒,为了方便,用了root 。不过您可以在定义要同步的目录时定义的模块中指定用户来解决权限的问题。 use chroot = yes 注:用chroot,在传输文件之前,服务器守护程序在将chroot 到文件系统中的目录中,这样做的好处是可能保护系统被安装漏洞侵袭的可能。缺点是需要超级用户权限。另外对符号链接文件,将会排除在外。也就是说,你在 rsync服务器上,如果有符号链接,你在备份服务器上运行客户端的同步数据时,只会把符号链接名同步下来,并不会同步符号链接的内容;这个需要自己来尝 试 read only = yes 注:read only 是只读选择,也就是说,不让客户端上传文件到服务器上。还有一个 write only选项,自己尝试是做什么用的吧; #limit access to private LANs 注:在您可以指定单个IP,也可以指定整个网段,能提高安全性。格式是ip 与ip 之间、ip和网段之间、网段和网段之间要用空格隔开; max connections = 5 注:客户端最多连接数 motd file = /etc/rsyncd/rsyncd.motd 注:motd file 是定义服务器信息的,要自己写 rsyncd.motd 文件内容。当用户登录时会看到这个信息。比如我写的是: ++++++++++++++++++++++++++++++++++++++++++++++ log file = /var/log/rsync.log 注:rsync 服务器的日志; transfer logging = yes 注:这是传输文件的日志 log format = %t %a %m %f %b B、模块定义 模块定义什么呢?主要是定义服务器哪个目录要被同步。每个模块都要以[name]形式。这个名字就是在rsync 客户端看到的名字,其实有点象Samba服务器提供的共享名。而服务器真正同步的数据是通过path 指定的。我们可以根据自己的需要,来指定多个模块。每个模块要指定认证用户,密码文件、但排除并不是必须的 下面是前面配置文件模块的例子: [rhel4home] #模块它为我们提供了一个链接的名字,在本模块中链接到了/home目录;要用[name] 形式 path = /home #指定文件目录所在位置,这是必须指定的 注:exclude是排除的意思,也就是说,要把/home目录下的easylife和samba排除在外; easylife/和samba/目录之间有空格分开 [rhel4opt] 四、启动rsync服务器及防火墙的设置 启动rsync服务器相当简单,有以下几种方法 A、--daemon参数方式,是让rsync以服务器模式运行 #/usr/bin/rsync --daemon --config=/etc/rsyncd/rsyncd.conf #--config用于指定rsyncd.conf的位置,如果在/etc下可以不写 B、xinetd方式 修改services加入如下内容 rsync 873/tcp # rsync 这一步一般可以不做,通常都有这两行(我的RHEL4和GENTOO默认都有)。修改的目的是让系统知道873端口对应的服务名为rsync。如没有的话就自行加入。 设定 /etc/xinetd.d/rsync, 简单例子如下: # default: off 上述, 主要是要打开rsync這個daemon, 一旦有rsync client要连接時, xinetd会把它转介給 rsyncd(port 873)。然后service xinetd restart, 使上述设定生效. rsync服务器和防火墙 Linux 防火墙是用iptables,所以我们至少在服务器端要让你所定义的rsync 服务器端口通过,客户端上也应该让通过。 #iptables -A INPUT -p tcp -m state --state NEW -m tcp --dport 873 -j ACCEPT 如果你不太懂防火墙的配置,可以先service iptables stop 将防火墙关掉。当然在生产环境这是很危险的,做实验才可以这么做哟! 五、通过rsync客户端来同步数据 A、语法详解 rsync的命令格式可以为: rsync有六种不同的工作模式: 1. 拷贝本地文件;当SRC和DES路径信息都不包含有单个冒号":"分隔符时就启动这种工作模式。 rsync中的参数 -r 是递归 B、一些实例 B1、列出rsync 服务器上的所提供的同步内容; 首先:我们看看rsync服务器上提供了哪些可用的数据源 # rsync --list-only root@192.168.145.5:: rhel4home This is RHEL 4 data 注:前面是rsync所提供的数据源,也就是我们在rsyncd.conf中所写的[rhel4home]模块。而“This is RHEL 4 data”是由[rhel4home]模块中的 comment = This is RHEL 4 data 提供的;为什么没有把rhel4opt数据源列出来呢?因为我们在[rhel4opt]中已经把list=no了。 $ rsync --list-only root@192.168.145.5::::rhel4home ++++++++++++++++++++++++++++++++++++++++++++++ Password: 后面的root@ip中,root是指定密码文件中的用户名,之后的::rhel4home这是rhel4home模块名 B2、rsync客户端同步数据; #rsync -avzP root@192.168.145.5::rhel4home rhel4home 注: 这个命令的意思就是说,用root用户登录到服务器上,把rhel4home数据,同步到本地当前目录rhel4home上。当然本地的目录是可以你自己 定义的。如果当你在客户端上当前操作的目录下没有rhel4home这个目录时,系统会自动为你创建一个;当存在rhel4home这个目录中,你要注意 它的写权限。 #rsync -avzP --delete linuxsir@linuxsir.org::rhel4home rhel4home 这回我们引入一个--delete 选项,表示客户端上的数据要与服务器端完全一致,如果 linuxsirhome目录中有服务器上不存在的文件,则删除。最终目的是让linuxsirhome目录上的数据完全与服务器上保持一致;用的时候要 小心点,最好不要把已经有重要数所据的目录,当做本地更新目录,否则会把你的数据全部删除; 設定 rsync client 设定密码文件 #rsync -avzP --delete --password-file=rsyncd.secrets root@192.168.145.5::rhel4home rhel4home 这次我们加了一个选项 --password-file=rsyncd.secrets,这是当我们以root用户登录rsync服务器同步数据时,密码将读取rsyncd.secrets这个文件。这个文件内容只是root用户的密码。我们要如下做; # touch rsyncd.secrets # rsync -avzP --delete --password-file=rsyncd.secrets root@192.168.145.5::rhel4home rhel4home 注:这里需要注意的是这份密码文件权限属性要设得只有属主可读。 这样就不需要密码了;其实这是比较重要的,因为服务器通过crond 计划任务还是有必要的; B3、让rsync客户端自动与服务器同步数据 服务器是重量级应用,所以数据的网络备份还是极为重要的。我们可以在生产型服务器上配置好rsync 服务器。我们可以把一台装有rysnc机器当做是备份服务器。让这台备份服务器,每天在早上4点开始同步服务器上的数据;并且每个备份都是完整备份。有时 硬盘坏掉,或者服务器数据被删除,完整备份还是相当重要的。这种备份相当于每天为服务器的数据做一个镜像,当生产型服务器发生事故时,我们可以轻松恢复数 据,能把数据损失降到最低;是不是这么回事?? step1:创建同步脚本和密码文件 注: 我们在 /etc/cron.daily/中创建了两个文件rhel4home.sh和rhel4opt.sh ,并且是权限是755的。创建了两个密码文件root用户用的是rsyncrhel4root.secrets ,easylife用户用的是 rsyncrhel4easylife.secrets,权限是600; 我们编辑rhel4home.sh,内容是如下的: #!/bin/sh 我们编辑 rhel4opt.sh ,内容是: #!/bin/sh 注:你可以把rhel4home.sh和rhel4opt.sh的内容合并到一个文件中,比如都写到rhel4bak.sh中; 接着我们修改 /etc/rsyncd/rsyncrhel4root.secrets和rsyncrhel4easylife.secrets的内容; # echo "mike" > /etc/rsyncd/rsyncrhel4root.secrets 然后我们再/home目录下创建rhel4homebak 和rhel4optbak两个目录,意思是服务器端的rhel4home数据同步到备份服务器上的/home/rhel4homebak 下,rhel4opt数据同步到 /home/rhel4optbak/目录下。并按年月日归档创建目录;每天备份都存档; #mkdir /home/rhel4homebak step2:修改crond服务器的配置文件 加入到计划任务 #crontab -e 加入下面的内容: # Run daily cron jobs at 4:10 every day backup rhel4 data: 注:第一行是注释,是说明内容,这样能自己记住。 # killall crond 注:杀死crond 服务器的进程; 六、FAQ Q:如何通过ssh进行rsync,而且无须输入密码? A:可以通过以下几个步骤 1. 通过ssh-keygen在server A上建立SSH keys,不要指定密码,你会在~/.ssh下看到identity和identity.pub文件 Q:如何通过在不危害安全的情况下通过防火墙使用rsync? 这通常有两种情况,一种是服务器在防火墙内,一种是服务器在防火墙外。无论哪种情况,通常还是使用ssh,这时最好新建一个备份用户,并且配置sshd 仅允许这个用户通过RSA认证方式进入。如果服务器在防火墙内,则最好限定客户端的IP地址,拒绝其它所有连接。如果客户机在防火墙内,则可以简单允许防 火墙打开TCP端口22的ssh外发连接就ok了。 Q:我能将更改过或者删除的文件也备份上来吗? A:当然可 以。你可以使用如:rsync -other -options -backupdir = ./backup-2000-2-13 ...这样的命令来实现。这样如果源文件:/path/to/some/file.c改变了,那么旧的文件就会被移到./backup- 2000-2-13/path/to/some/file.c,这里这个目录需要自己手工建立起来 Q:我需要在防火墙上开放哪些端口以适应rsync? Q:我如何通过rsync只复制目录结构,忽略掉文件呢? Q:为什么我总会出现"Read-only file system"的错误呢? A:看看是否忘了设"read only = no"了 Q:为什么我会出现'@ERROR: invalid gid'的错误呢? A:rsync使用时默认是用uid=nobody;gid=nobody来运行的,如果你的系统不存在nobody组的话,就会出现这样的错误,可以试试gid = ogroup或者其它 Q:绑定端口873失败是怎么回事? Q:为什么我认证失败? > bash$ rsync -a 144.16.251.213::test test 应该是没有以你的用户名登陆导致的问题,试试rsync -a max@144.16.251.213::test test Q: 出现以下这个讯息, 是怎么一回事? A: 这是因为密码设错了, 无法登入成功, 请再检查一下 rsyncd.secrets 中的密码设定, 二端是否一致? Q: 出现以下这个讯息, 是怎么一回事? password file must not be other-accessible A: 这表示 rsyncd.secrets 的档案权限属性不对, 应设为 600。请下 chmod 600 rsyncd.secrets Q: 出现以下这个讯息, 是怎么一回事? @ERROR: chroot failed A: 这通常是您的 rsyncd.conf 中的 path 路径所设的那个目录并不存在所致.请先用 mkdir开设好备份目录. 完! 感谢,Thanks! <script src="./RSync%E5%AE%9E%E7%8E%B0%E6%96%87%E4%BB%B6%E5%A4%87%E4%BB%BD%E5%90%8C%E6%AD%A5%20-%20iTech%20-%20%E5%8D%9A%E5%AE%A2%E5%9B%AD_files/google-analytics.js" type="text/javascript"></script>
|
相关推荐
使用 Rsync 进行文件备份和镜像操作需要在进行备份操作的源机器(称为 Rsync 服务器)和目标机器(称为 Rsync 客户端)上都安装 Rsync。在服务器和客户端安装 Rsync 的方法和过程是完全一样的。接下来,在服务器机器...
本地同步备份是指使用 rsync 命令在本地机器上同步备份文件或目录。例如: rsync -av 源目录 目标目录 这将同步源目录中的所有文件和目录到目标目录中。 远程同步备份 远程同步备份是指使用 rsync 命令和 ssh ...
其中,Rsync作为一个强大的文件传输工具,通过使用SSH协议,可以实现高效、安全的文件同步与备份。本文将探讨如何在Linux中利用Rsync异步服务器来完成这一任务。 首先,Rsync的异步同步机制允许用户仅传输变化的...
在对rsync服务器配置结束以后,下一步就需要在客户端发出rsync命令来实现将服务器端的文件备份到客户端来。rsync是一个功能非常强大的工具,其命令也有很多功能特色选项。 一、rsync的六种工作模式: 1.1、拷贝本地...
rsync 是一个功能强大且灵活的备份工具,常用于远程同步备份数据。下面是 rsync 备份的重点和简单总结: 1. rsync 服务端和客户端: rsync 服务端需要开启 rsync 服务和 sshd 服务,并需要设置用户账户。客户端则...
2. **本地和远程同步**:RSync不仅支持在同一台机器上的文件和目录之间进行同步,还可以通过SSH等协议在远程主机间进行安全的数据传输。 3. **压缩与解压缩**:在传输过程中,RSync可以实时压缩数据,降低网络负载...
rsync是linux下一款文件同步工具,介绍如下: Rsync是一个远程数据同步工具,可通过LAN/WAN快速同步多台主机间的文件。Rsync本来是用以取代rcp的一个工具,它当前由 rsync.samba.org维护。Rsync使用所谓的“Rsync演...
Rsync是一款在Unix和Linux环境下广泛使用的数据镜像备份工具,它具有多种特性,使其成为高效、安全的文件同步和备份解决方案。以下是对Rsync功能和配置的详细解析。 1. **镜像备份**:Rsync能够完全复制一个目录树...
这意味着rsync不仅限于同一台机器内的文件操作,而是能够在本地与远程系统之间建立连接,实现跨系统的数据迁移。通过结合SSH(Secure Shell)等安全协议,rsync可以安全地在不同服务器之间传输数据,确保数据在传输...
结合实际操作,rsync将成为你数据管理和备份的强大工具。 总之,rsync 3.0.8在Cygwin环境下的安装和使用涉及多个方面,从下载安装包到理解各种命令选项,再到实际应用,都需要一定的学习和实践。熟练掌握rsync,...
随着技术的发展,rsync已扩展至支持跨平台应用,包括Windows与Linux之间的数据同步。 **优点**: 1. **增量备份**:rsync仅同步发生变化的数据,极大提高了数据传输效率。 2. **保留文件属性**:rsync能保持原文件...
Rsync(Remote Sync)是一种高效、强大的文件同步和备份工具,广泛应用于系统管理员之间同步数据、备份服务器或者在多台机器间进行文件迁移。通过这个脚本,用户可以快速搭建rsync服务端,避免手动配置复杂的过程。 ...
rsync Server是一款在Linux操作系统中广泛使用的数据镜像备份工具,其主要功能在于实现高效、安全的数据同步和备份。rsync的核心特性在于它的快速增量备份技术,能够仅对发生变化的数据进行传输,极大地节省了网络...
通过这个客户端,Windows用户可以与其他Rsync服务器进行数据交换,实现跨平台的文件同步。安装完成后,用户可以在命令行环境中输入rsync命令,执行文件同步操作。 而cwRsyncServer_4.1.0_Installer.exe则是Rsync...
在Windows Server上安装和使用rsync 4.0.5版本,可以帮助用户实现跨平台的数据同步和备份。 rsync的核心功能包括本地和远程的数据同步,支持增量传输,这意味着只有文件的变化部分才会被传输,大大节省了网络带宽。...
Rsync 命令是一种功能强大的工具,用于实现文件的同步和备份。下面对 Rsync 命令的参数进行详细解释。 1. 命令格式 Rsync 命令的格式可以分为六种: * rsync [OPTION]... SRC DEST * rsync [OPTION]... SRC [USER...
- **增量备份**:RSYNC支持增量备份,这意味着它在同步数据时只会传输那些已经更改过的文件部分,而SCP在进行远程同步时没有这种智能的增量传输机制,总是传输所有文件。 - **文件完整性与真实性**:RSYNC在同步...
1. **分割文件**:目标机器(假设为2号机)将文件B按固定大小S字节分割成多个数据块,最后一块可能小于S。 2. **执行校验**:对每个数据块执行两次校验:一次为32位的滚动弱校验,一次为128位的MD4强校验。 3. **...