一、背景
公司的业务在大量的使用redis,访问量大的业务我们有在使用codis集群,redis 3.0集群,说到redis 3.0集群,我们线上已经跑了半年多了,集群本身没有出现过任务问题,但是由于我们这个业务是海外的,集群建在aws的ec2上,由于ec2的网络抖动或 者ec2本身的原因,导致主从切换,目前aws的技术正在跟进,这个集群目前的QPS 50w+,集群本身已经做到了高可用和横向扩展,但是,实际情况一些小的业务没必要上集群,单个实例就可以满足业务需求,那么我们就要想办法如何保证单个 实例的高可用,最近也在看相关的文档,做一些测试,大家有在使用redis主从+lvs 漂VIP的方案,也有使用redis主从+哨兵 漂VIP的方案,甚至有在代码逻辑做故障切换等等,各种各样的方案都有,下面我介绍一下redis主从+哨兵 漂VIP的方案,后面我们打算线上大规模的使用这个方案。
二、环境
1
2
3
4
5
6
7
8
|
#redis 100.10.32.54:6400 主库 100.10.32.55:6400 从库 100.10.32.250 VIP #sentinel 100.10.32.54:26400 sentinel 本地节点 100.10.32.54:26400 sentinel 本地节点 100.10.32.57:26400 sentinel 仲裁节点 |
三、部署
1、安装
1
|
yum -y install redis
|
2、撰写redis配置文件(100.10.32.54 和100.10.32.55)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
|
vim /etc/redis_6400 .conf
daemonize yes
pidfile "/var/run/redis_6400.pid"
port 6400 tcp-backlog 65535 bind 0.0.0.0 timeout 0 tcp-keepalive 0 loglevel notice logfile "/var/log/redis/redis_6400.log"
maxmemory 8gb maxmemory-policy allkeys-lru databases 16 save 900 1 save 300 10 save 60 10000 stop-writes-on-bgsave-error yes
rdbcompression yes
rdbchecksum yes
dbfilename "dump.rdb"
dir "/data/redis/6400"
slave-serve-stale-data yes
slave- read -only yes
repl-disable-tcp-nodelay no slave-priority 100 appendonly no appendfilename "appendonly.aof"
appendfsync everysec no-appendfsync-on-rewrite no auto-aof-rewrite-percentage 100 auto-aof-rewrite-min-size 64mb lua- time -limit 5000
slowlog-log-slower-than 10000 slowlog-max-len 128 notify-keyspace-events ""
hash -max-ziplist-entries 512
hash -max-ziplist-value 64
list-max-ziplist-entries 512 list-max-ziplist-value 64 set -max-intset-entries 512
zset-max-ziplist-entries 128 |
3、撰写sentinel配置文件(100.10.32.54 、100.10.32.55 和100.10.32.57)
1
2
3
4
5
6
7
8
9
10
11
|
vim /etc/redis-sentinel6400 .conf
daemonize yes
port 26400 dir "/data/redis/redis_sentinels"
pidfile "/var/run/redis/sentinel6400.pid"
logfile "/data/redis/redis_sentinels/sentinel6400.log"
sentinel monitor master6400 100.10.32.54 6400 2 sentinel down-after-milliseconds master6400 6000 sentinel failover-timeout master6400 18000 sentinel client-reconfig-script master6400 /opt/notify_master6400 .sh ##仲裁节点无需添加这行配置,client-reconfig-script参数是在sentinel做failover的过程中调用脚本漂vip到新的master上
|
PS:
关于sentinel 的一些工作原理和参数说明,请参阅:http://redisdoc.com/topic/sentinel.html
4、撰写漂VIP的脚本(100.10.32.54 、100.10.32.55)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
|
vim /opt/notify_master6400 .sh
#!/bin/bash MASTER_IP=$6 LOCAL_IP= '100.10.32.54' #从库修改为100.10.32.55
VIP= '100.10.32.250'
NETMASK= '24' INTERFACE= 'eth0' if [ ${MASTER_IP} = ${LOCAL_IP} ]; then
/sbin/ip addr add ${VIP}/${NETMASK} dev ${INTERFACE}
/sbin/arping -q -c 3 -A ${VIP} -I ${INTERFACE}
exit 0
else /sbin/ip addr del ${VIP}/${NETMASK} dev ${INTERFACE}
exit 0
fi exit 1
|
1
|
chmod +x /opt/notify_master6400 .sh #赋予可执行权限
|
PS:
这 里大概说一下这个脚本的工作原理,sentinel在做failover的 过程中会传出6个参数,分别是<master-name>、 <role>、 <state>、 <from-ip>、 <from-port>、 <to-ip> 、<to-port>,其中第6个参数from-ip也就是新的master的ip,对应脚本中的MASTER_IP,下面的if判断大家应 该都很了然了,如果MASTER_IP=LOCAL_IP,那就绑定VIP,反之删除VIP。
5、启动redis服务(100.10.32.54、100.10.32.55)
1
|
redis-server /etc/redis_6400 .conf
|
6、初始化主从(100.10.32.55)
1
|
redis-cli -p 6400 slaveof 10.10.32.54 6400 |
7、绑定VIP到主库(100.10.32.54)
1
|
/sbin/ip addr add 100.10.32.250 /24 dev eth0
|
8、启动sentinel服务(100.10.32.54、100.10.32.55、100.10.32.57)
1
|
redis-server /etc/redis-sentinel6400 .conf --sentinel
|
至此,整个高可用方案已经搭建完成。
1
2
3
4
5
6
7
8
9
10
|
[root@localhost tmp] # redis-cli -h 100.10.32.54 -p 6400 info Replication
# Replication role:master connected_slaves:1 slave0:ip=100.10.32.55,port=6400,state=online,offset=72669,lag=1 master_repl_offset:72669 repl_backlog_active:1 repl_backlog_size:1048576 repl_backlog_first_byte_offset:2 repl_backlog_histlen:72668 |
1
2
3
4
5
6
7
|
[root@localhost tmp] # redis-cli -h 100.10.32.54 -p 26400 info Sentinel
# Sentinel sentinel_masters:1 sentinel_tilt:0 sentinel_running_scripts:0 sentinel_scripts_queue_length:0 master0:name=master6400,status=ok,address=100.10.32.54:6400,slaves=1,sentinels=3 |
1
2
3
4
|
[root@localhost tmp] # ip a |grep eth0
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP qlen 1000 inet 100.10.32.54 /24 brd 100.10.32.255 scope global eth0
inet 100.10.32.250 /24 scope global secondary eth0
|
四、测试
1、把主库停掉
1
|
redis-cli -h 100.10.32.54 -p 6400 shutdown
|
2、看从库是否提升为主库
1
2
3
4
5
6
7
8
9
|
[root@localhost tmp] # redis-cli -h 100.10.32.55 -p 6400 info Replication
# Replication role:master connected_slaves:0 master_repl_offset:0 repl_backlog_active:0 repl_backlog_size:1048576 repl_backlog_first_byte_offset:0 repl_backlog_histlen:0 |
3、看VIP是否漂移到100.10.32.55上
1
2
3
4
|
[root@localhost tmp] # ip a |grep eth0
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP qlen 1000 inet 100.10.32.55 /24 brd 100.10.32.255 scope global eth0
inet 100.10.32.250 /24 scope global secondary eth0
|
4、看Sentinel的监控状态
1
2
3
4
5
6
7
|
[root@localhost tmp] # redis-cli -p 26400 info Sentinel
# Sentinel sentinel_masters:1 sentinel_tilt:0 sentinel_running_scripts:0 sentinel_scripts_queue_length:0 master0:name=master6400,status=ok,address=100.10.32.55:6400,slaves=1,sentinels=3 |
本文出自 “屌丝运维男” 博客,请务必保留此出处http://navyaijm.blog.51cto.com/4647068/1745569
相关推荐
Redis 集群是一种高可用性的 Redis 部署方式,通过将多个 Redis 节点组成一个集群,可以提高整个系统的可用性和性能。在 Redis 集群中,每个节点既可以作为主节点也可以作为从节点,主节点负责写入数据,而从节点...
**Redis单例操作** 在非集群环境中,Redis通常以单例模式运行。Spring-data-redis同样提供了一种方便的方式来管理单个Redis实例,主要使用`JedisConnectionFactory`和`RedisTemplate`。 1. **配置单例Redis**:...
这是基于Redis Sentinel实现的高可用性特性,Sentinel系统会监控Redis主从服务器,并在主服务器出现问题时自动进行主从切换。 作者还提出了两个疑问。第一个疑问是关于主从读写分离的问题。作者怀疑在...
主从复制是Redis高可用性的关键,通过复制,可以将读请求分散到多个从节点,减轻主节点压力,并为故障转移提供可能。当主节点出现故障时,可以从正常运行的从节点中选取一个新的主节点。 此外,Redis还支持Lua脚本...
在本文中,我们将探讨如何使用PHP结合Redis数据库来实现一个购物车的单例类。首先,我们需要了解单例模式的基本概念。...这对于需要构建高性能和高可用性购物车系统的开发者来说,是一个非常实用和有价值的参考。
在Java面试中,高并发、高可用和分布式是考察开发者技术深度和广度的重要领域。以下将详细解析这些关键知识点: 1. **高并发** 高并发是指系统在同一时间处理大量请求的能力。在Java中,实现高并发通常涉及线程...
Redis 作为一种内存数据库,以其高性能、低延迟的特点,被广泛应用于消息队列场景。本文将详细介绍如何利用 Java 和 Jedis(Java 客户端库)来实现基于 Redis 的消息队列。 #### 二、Jedis 库简介 Jedis 是一个高...
同意-Redis-Wrappers 这些... RedisSentinelPool:Redis哨兵的高可用性待办事项并非所有Jedis方法都已实现,但可以轻松扩展类用法所有提供程序都需要在其中包含Jedis客户端或JedisPool的RedisRemoteBaseProvider或Redis
《Redis实战Java源代码》是基于Java实现的与Redis数据库交互的开源项目,它提供了丰富的API和工具,便于开发者在Java应用中高效地使用Redis。...同时,这也会帮助你理解设计高可用、高性能分布式系统的关键技术。
3. 主从复制:用于提高Redis服务的可用性和数据安全性,主节点的数据会实时同步到从节点。 4. 分布式锁:Redis提供了分布式锁实现,如SETNX命令配合超时机制实现简单锁。 5. 持久化:RDB快照和AOF日志两种方式保证...
Kafka作为消息队列,面试中会涉及它的消息模型、分区机制、消费者模型以及高可用性和高可靠性的实现。 设计模式是解决软件设计中常见问题的经验总结,面试者应熟悉常见的23种设计模式,如工厂模式、代理模式、装饰...
在分布式系统中,Spring与Redis的集成是实现高可用性和可扩展性的关键。在“6.2、spring集群和单片机 淘淘商城1”的主题下,我们将探讨如何在Spring环境中配置Redis以及单片机(Singletons)的应用。 首先,为了在...
- 缓存:Redis作为一种高性能的内存数据结构服务器,常用于缓存热点数据,减少对DB的访问压力。 - 排行榜:利用有序集合进行实时更新和查询排名。 - 消息队列:通过发布/订阅模型或list数据结构实现消息传递。 -...
哨兵模式则主要应用于Redis的高可用性保障,通过监控主节点状态并能在主节点故障时自动完成故障转移;集群模式则进一步提高了系统的可扩展性和容错性。 - **单线程机制与数据持久化**:Redis采用单线程模型处理...
5. **Sentinel支持**:对于使用Redis Sentinel进行高可用性设置的场景,Jedis也提供了相应的支持。可以创建`SentinelPool`来连接到Sentinel系统,获取主从服务器的信息,实现故障转移的透明化。 6. **Lua脚本支持**...
2. 对Redis的底层模型、数据持久化机制、多数据类型的应用、高可用机制有深入理解,熟练应对各种缓存问题,如缓存击穿、缓存穿透和缓存雪崩。 3. 熟悉Couchbase的部署、数据同步、水平扩展和故障转移,熟练使用Redis...
这不再使用 Ruby 的单例模块。 这是因为当从Whirl::Job::Base的子类(在子进程中执行)中调用instance时,父进程无权访问该实例,因为没有共享内存。 使用Whirl::Redis.new代替。 此外,在Whirl::Job::Base子类中,...
- **高可用性与高并发**:讲解如何构建高可用系统、负载均衡策略、集群部署、性能调优等。 #### 二、面试真题解析 - **知识点概览**:通过分析近年来Java高级架构面试真题,总结出高频考点和技术趋势。 - **核心...
集群模式下,Redisson能够与多个Redis节点进行通信,以实现数据的高可用性和负载均衡。下面是一个简单的集群模式连接示例: ```java Config config = new Config(); config.useClusterServers() .setScanInterval...