Redis主从配置

Redis的主从复制功能非常强大，一个master可以拥有多个slave，而一个slave又可以拥有多个slave，如此下去，形成了强大的多级服务器集群架构。下面是关于redis主从复制的一些特点：

1. master可以有多个slave
2. 除了多个slave连到相同的master外，slave也可以连接其他slave形成图状结构
3. 主从复制不会阻塞master。也就是说当一个或多个slave与master进行初次同步数据时，master可以继续处理client发来的请求。相反slave在初次同步数据时则会阻塞不能处理client的请求。
4. 主从复制可以用来提高系统的可伸缩性,我们可以用多个slave 专门用于client的读请求，比如sort操作可以使用slave来处理。也可以用来做简单的数据冗余
5. 可以在master禁用数据持久化，只需要注释掉master 配置文件中的所有save配置，然后只在slave上配置数据持久化。

主从复制的过程

当设置好slave服务器后，slave会建立和master的连接，然后发送sync命令。无论是第一次同步建立的连接还是连接断开后的重新连接，master都会启动一个后台进程，将数据库快照保存到文件中，同时master主进程会开始收集新的写命令并缓存起来。后台进程完成写文件后，master就发送文件给slave，slave将文件保存到磁盘上，然后加载到内存恢复数据库快照到slave上。接着master就会把缓存的命令转发给slave。而且后续master收到的写命令都会通过开始建立的连接发送给slave。从master到slave的同步数据的命令和从 client发送的命令使用相同的协议格式。当master和slave的连接断开时slave可以自动重新建立连接。如果master同时收到多个 slave发来的同步连接命令，只会使用启动一个进程来写数据库镜像，然后发送给所有slave。

主从配置

1. 基本环境

假设我有两台机器:

master: 192.168.1.1

slave: 192.168.1.2

.下载

使用的版本是: redis-2.4.13

>cd redis-2.4.13
>make
>sudo make install

2. 安装主服务器

vi redis.conf

根据自己的需要修改一些参数

.修改磁盘上保存数据库文件的位置:

dbfilename /redisdb/dump.rdb

.修改日志级别

#如果只要输出少量日志的话，可以用waring

loglevel warning

.修改日志文件的位置

logfile /tmp/redis.log

3. 安装和配置从机

cp redis.conf /etc/redis_slave.conf

vi redis_slave.conf

修改其中的一行

配置master的ip地址和redis-server的端口。

slaveof <masterip> <port>

4. 启动和测试

主机: redis-server /etc/redis.conf

从机: redis-server /etc/redis_slave.conf

在主机上启动redis客户端:

ssh 192.168.1.1
redis-cli
>set k1 v1
>get k1
"v1"

.登陆从机，并在从机上启动客户端：

ssh 192.168.1.2
redis-cli
>get k1
"v1"

可以看到redis已经把数据同步过来了。

从Redis源码中，可以发现rdb文件采用的是lzf压缩算法进行实现，默认lzf压缩算法是开启的。

这样你可以通过其他的客户端程序或者Web平台去读取Slave磁盘数据库的数据，真正达到了读写分离的目的。

---

使用主从模式，在master上关掉所有持久化，在slave上使用AOF持久化：

$cat /opt/redis/etc/redis.conf

######Master config
###General 配置
daemonize yes     #使用daemon 方式运行程序，默认为非daemon方式运行
pidfile /tmp/redis.pid  #pid文件位置
port 6379   #使用默认端口
timeout 30   # client 端空闲断开连接的时间
loglevel warning  #日志记录级别，默认是notice，我这边使用warning,是为了监控日志方便。使用warning后，只有发生告警才会产生日志，这对于通过判断日志文件是否为空来监控报警非常方便。
logfile /opt/logs/redis/redis.log   #日志产生的位置
databases 16   #默认是0，也就是只用1 个db,我这边设置成16，方便多个应用使用同一个redis server。使用select n 命令可以确认使用的redis db ,这样不同的应用即使使用相同的key也不会有问题。

###下面是SNAPSHOTTING持久化方式的策略。为了保证数据相对安全，在下面的设置中，更改越频繁，SNAPSHOTTING越频繁，也就是说，压力越大，反而花在持久化上的资源会越多。所以我选择了master-slave模式，并在master关掉了SNAPSHOTTING。
#save 900 1     #在900秒之内，redis至少发生1次修改则redis抓快照到磁盘
#save 300 100   #在300秒之内，redis至少发生100次修改则redis抓快照到磁盘
#save 60 10000  #在60秒之内，redis至少发生10000次修改则redis抓快照到磁盘
rdbcompression yes  #使用压缩
dbfilename dump.rdb  #SNAPSHOTTING的文件名
dir /opt/data/redis/ #SNAPSHOTTING文件的路径

###REPLICATION 设置，
#slaveof    #如果这台机器是台redis slave，可以打开这个设置。如果使用master-slave模式，我就会在master上把SNAPSHOTTING关了，这样可以不用在master上做持久化，而是在slave上做，这样可以大大提高master 内存使用率和系统性能。
#slave-serve-stale-data yes  #如果slave 无法与master 同步，是否还可以读

### SECURITY 设置
#requirepass aaaaaaaaa   #redis性能太好，用个passwd 意义不大
#rename-command FLUSHALL ""  #可以用这种方式关掉非常危险的命令，如FLUSHALL这个命令，它清空整个 Redis 服务器的数据，而且不用确认且从不会失败

###LIMIT 设置
maxclients 0 #无client连接数量限制
maxmemory 14gb #redis最大可使用的内存量，我的服务器内存是16G，如果使用redis SNAPSHOTTING的copy-on-write的持久会写方式，会额外的使用内存，为了使持久会操作不会使用系统VM，使redis服务器性能下降，建议保留redis最大使用内存的一半8G来留给持久化使用，我个人觉得非常浪费。我没有在master上不做持久化，使用主从方式
maxmemory-policy volatile-lru  #使用LRU算法删除设置了过期时间的key,但如果程序写的时间没有写key的过期时间，建议使用allkeys-lru，这样至少保证redis不会不可写入。

###APPEND ONLY MODE 设置
appendonly no  #不使用AOF，AOF是另一种持久化方式，我没有使用的原因是这种方式并不能在服务器或磁盘损坏的情况下，保证数据可用性。
appendfsync everysec
no-appendfsync-on-rewrite no
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb

###SLOW LOG 设置
slowlog-log-slower-than 10000  #如果操作时间大于0.001秒，记录slow log,这个log是记录在内存中的，可以用redis-cli slowlog get 命令查看
slowlog-max-len 1024  #slow log 的最大长度

###VIRTUAL MEMORY 设置
vm-enabled no   #不使用虚拟内存，在redis 2.4版本，作者已经非常不建议使用VM。
vm-swap-file /tmp/redis.swap
vm-max-memory 0
vm-page-size 32
vm-pages 134217728
vm-max-threads 4

###ADVANCED CONFIG 设置，下面的设置主要是用来节省内存的，我没有对它们做修改
hash-max-zipmap-entries 512
hash-max-zipmap-value 64
list-max-ziplist-entries 512
list-max-ziplist-value 64
set-max-intset-entries 512
zset-max-ziplist-entries 128
zset-max-ziplist-value 64
activerehashing yes

###INCLUDES 设置 ，使用下面的配置，可以配置一些个另其它的设置，如slave的配置
#include /path/to/local.conf
#include /path/to/other.conf
#include /opt/redis/etc/slave.conf  如果是slave server,把这个注释打开

slave 配置

$cat /opt/redis/etc/slave.conf

######slave config
###REPLICATION 设置，
slaveof redis01 6397  #如果这台机器是台redis slave，可以打开这个设置。如果使用master-slave模式，我就会在master上把SNAPSHOTTING关了，这样可以不用在master上做持久化，而是在slave上做，这样可以大大提高master 内存使用率和系统性能。
slave-serve-stale-data no  #如果slave 无法与master 同步，设置成slave不可读，方便监控脚本发现问题。
###APPEND ONLY MODE 设置
appendonly yes  #在slave上使用了AOF,以保证数据可用性。

其它后继数据备份工作

1、用redis-cli bgsave 命令每天凌晨一次持久化一次master redis上的数据，并CP到其它备份服务器上。

2、用redis-cli bgrewriteaof 命令每半小时持久化一次 slave redis上的数据，并CP到其它备份服务器上。

3、写个脚本 ，定期get master和slave上的key,看两个是否同步，如果没有同步，及时报警。