[centos] rsync+inotify实时同步

1. 声明：rsync inotify 需要逆向思考，当只做rsync不实时同步时，我们一般是从rsync服务端向rsync客户端同步数据。当需要添加inotify实现实时同步数据时，我们就需要从rsync客户端向各rsync服务端同步数据，这样rsync客户端就变成了master，而rsync服务端就变成了slave。

原理：当web3的本地目录，也就是需要同步的目录发生变化时，比如有文件改名、更新、删除、权限变化，此时就使用inotify命令查找这些变化，进行相应的轮询工作

服务器地址分配：

Web1：192.168.1.103 （rsync 服务节点）

Web2：192.168.1.104 （rsync 服务节点）

Web3：192.168.1.105  （rsync 内容发布节点、inotify）

同步的目录是 /mnt ,自动同步顺序为 web2,web3——web1。我们将web1 配置成 rsync 的服务器即可。

 

2.配置 rsync 服务器端（web1）

[1] 安装rsync软件

# yum install rsync

 [2] 手动创建rsync配置文件

# vim /etc/rsyncd.conf
uid = root                              #全局配置开始，运行rsync的用户
gid = root                              #运行rsync的用户组
usechroot = no                     		#是否让进程离开工作目录
max connections = 20            		#最大并发数
timeout = 600                       	#连接超时时间
pid file = /var/run/rsyncd.pid          #指定rsync的pid存放路径
lock file = /var/run/rsync.lock         #指定rsync的锁文件存放路径
log file = /var/log/rsyncd.log          #指定rsync的日志存放路径
[web_log]                            	#模块配置开始
path = /data/web_log/             		#需要备份的文件路径
ignore errors                         	#忽略一些无关的I/O错误
read only = false                    	#false为关闭,true表示开启。表示只读，不允许上传文件
writeonly = false                    	#不允许下载
list = false                            #客户请求可以使用模块列表时是否被列出
hosts allow = 192.168.1.0/24            #可以访问此模块的主机，*表示任何主机，此处是网段，某个主机直接写ip
hosts deny = 0.0.0.0/32                 #禁止访问此模块的主机地址
auth users = backuser                   #自定义连接该模块的用户名，多个用户用逗号分隔
secrets file = /etc/rsync.password 		#指定一个包含“用户名：密码”格式的文件

 [3] 创建备份目录

# mkdir -p /data/web_log/

 [4] 建立 rsync 用户名和密码文件

# echo"backuser:123" >> /etc/rsync.password

 [5] 为 /etc/rsync.password授权为 600（这个文件的权限必须是 600）

# chmod  600 /etc/rsync.password

 [6] 启动rsync并添加开启自动启动

# /usr/bin/rsync --daemon  &
# echo "/usr/bin/rsync --daemon" >> /etc/rc.local

 

二、配置 rsync 服务器端（web2），和web1配置一样

# yum install rsync
# vim /etc/rsyncd.conf
uid = root
gid = root
usechroot = no
max connections = 20
timeout = 600
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock  
log file = /var/log/rsyncd.log
[web_log]
path = /data/web_log/             #定义你需要备份的路径，可以跟web1上不一样
ignore errors
read only = false
writeonly = false
list = false
hosts allow = *
hosts deny = 0.0.0.0/32
auth users = backuser
secrets file = /etc/rsync.password

# mkdir -p /data/web_log/
# echo "backuser:123" >> /etc/rsync.password
# chmod  600 /etc/rsync.password
# /usr/bin/rsync --daemon  &
# echo "/usr/bin/rsync --daemon" >> /etc/rc.local

#到此，服务器端配置完成

 三、客户端配置（web3）：

[1] 设置 rsync 客户端的密码文件，客户端只需要设置 rsync 同步的密码即可，不用设置用户名
# yum install rsync
# echo "123" > /etc/rsync.password
[2] 将密码文件的权限设置成 600（这个文件的权限必须是600）
# chmod 600 /etc/rsync.password

 

四、配置 Inotify（在 web3上配置）

[1] 安装 inotify 软件包

wget http://cloud.github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz
# yum install gcc        #如果没安装gcc的请安装，已安装请跳过此步。
# tar zxf inotify-tools-3.14.tar.gz
# cd inotify-tools-3.14
# ./configure && make && make install

 [2] 在web3上测试一下是否可以同步文件

rsync -vzrtopg --progress /mnt/ backuser@192.168.1.103::web_log  --password-file=/etc/rsync.password    #上传文件
rsync -vzrtopg --progress  backuser@192.168.1.103::web_log /opt/ --password-file=/etc/rsync.password     #下载文件 

 [3] 写一个脚本来实现，当/mnt/中文件有变化时，让各rsync服务节点同步数据：

# vim /root/inotify.sh
#!/bin/bash
src=/mnt/                  #此文件是rsync客户端本地文件，需要上传到各个rsync服务节点
des1=web_log          # web1上需要同步的目录
des2=web_log          # web2上需要同步的目录
host1=192.168.1.103      #rsync服务节点1
host2=192.168.1.104      #rsync服务节点2
user1=backuser                 #连接rsync使用的用户名web1上
user2=backuser                 #连接rsync使用的用户名web2上
/usr/local/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -emodify,delete,create,attrib $src | while read file
do
/usr/bin/rsync -vzrtopg --delete --progress $src $user1@$host1::$des1 --password-file=/etc/rsync.password
/usr/bin/rsync -vzrtopg --delete --progress $src $user2@$host2::$des2 --password-file=/etc/rsync.password
echo "${files} was rsynced" >> /var/log/rsync.log 2>&1
done

 [4] 或写成如下脚本

# vim /root/inotify.sh
#!/bin/bash
/usr/local/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -e modify,delete,create,attrib /mnt/ | while read file
do
/usr/bin/rsync -vzrtopg --delete --progress /mnt/ backuser@192.168.1.103::web_log --password-file=/etc/rsync.password
/usr/bin/rsync -vzrtopg --delete --progress /mnt/ backuser@192.168.1.104::web_log --password-file=/etc/rsync.password
echo "${files} was rsynced" >> /var/log/rsync.log 2>&1
done

 [5] 给予执行权限

# chmod +x /root/inotify.sh
# /root/inotify.sh &        #在后台执行

 [6] 最后，将此脚本加入系统自启动文件

# echo "/root/inotify.sh" >> /etc/rc.local

 [7] 向/mnt/下添加内容，去103上查看是否同步

# ls /data/web_log/
1 11  2  3  4  5  6  7  9

 [8] 编写监听inotify进程脚本，防止inotify由于某种原因中断无法实时同步（如果不需要监听，此步可以跳过）

# vim /root/inotifyjianting.sh
#!/bin/bash
ps -lef |pgrep inotify &> /dev/null    #如果有inotify进程在运行，那么echo $? 返回值是0，条件为真。否则返回值为非0  
if [ -z $? ] ;then                #关键在$?这个变量 ，它是代表上一条命令执行后的退出状态，如果是0的话表示成功，非0表示未开启
echo "inotify runing 正在运行...."
else
/root/inotify.sh &
echo "inotify runing 已运行....."
fi
# chmod +x /root/inotifyjianting.sh

 [10] 添加定时任务计划

# crontab -e
* * * * *     /root/inotifyjianting.sh & > /dev/null