`

redis单例高可用(转)

阅读更多

 

 

一、背景

   公司的业务在大量的使用redis,访问量大的业务我们有在使用codis集群,redis 3.0集群,说到redis 3.0集群,我们线上已经跑了半年多了,集群本身没有出现过任务问题,但是由于我们这个业务是海外的,集群建在aws的ec2上,由于ec2的网络抖动或 者ec2本身的原因,导致主从切换,目前aws的技术正在跟进,这个集群目前的QPS 50w+,集群本身已经做到了高可用和横向扩展,但是,实际情况一些小的业务没必要上集群,单个实例就可以满足业务需求,那么我们就要想办法如何保证单个 实例的高可用,最近也在看相关的文档,做一些测试,大家有在使用redis主从+lvs 漂VIP的方案,也有使用redis主从+哨兵 漂VIP的方案,甚至有在代码逻辑做故障切换等等,各种各样的方案都有,下面我介绍一下redis主从+哨兵 漂VIP的方案,后面我们打算线上大规模的使用这个方案。

二、环境

1
2
3
4
5
6
7
8
#redis
100.10.32.54:6400 主库
100.10.32.55:6400 从库
100.10.32.250 VIP
#sentinel
100.10.32.54:26400 sentinel 本地节点
100.10.32.54:26400 sentinel 本地节点 
100.10.32.57:26400 sentinel 仲裁节点

三、部署

1、安装

1
yum -y install redis

2、撰写redis配置文件(100.10.32.54 和100.10.32.55)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
vim /etc/redis_6400.conf
 
daemonize yes
pidfile "/var/run/redis_6400.pid"
port 6400
tcp-backlog 65535
bind 0.0.0.0
timeout 0
tcp-keepalive 0
loglevel notice
logfile "/var/log/redis/redis_6400.log"
maxmemory 8gb
maxmemory-policy allkeys-lru
databases 16
save 900 1
save 300 10
save 60 10000
stop-writes-on-bgsave-error yes
rdbcompression yes
rdbchecksum yes
dbfilename "dump.rdb"
dir "/data/redis/6400"
slave-serve-stale-data yes
slave-read-only yes
repl-disable-tcp-nodelay no
slave-priority 100
appendonly no
appendfilename "appendonly.aof"
appendfsync everysec
no-appendfsync-on-rewrite no
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
lua-time-limit 5000
slowlog-log-slower-than 10000
slowlog-max-len 128
notify-keyspace-events ""
hash-max-ziplist-entries 512
hash-max-ziplist-value 64
list-max-ziplist-entries 512
list-max-ziplist-value 64
set-max-intset-entries 512
zset-max-ziplist-entries 128

3、撰写sentinel配置文件(100.10.32.54 、100.10.32.55 和100.10.32.57)

1
2
3
4
5
6
7
8
9
10
11
vim /etc/redis-sentinel6400.conf
 
daemonize yes
port 26400
dir "/data/redis/redis_sentinels"
pidfile "/var/run/redis/sentinel6400.pid"
logfile "/data/redis/redis_sentinels/sentinel6400.log"
sentinel monitor master6400 100.10.32.54 6400 2
sentinel down-after-milliseconds master6400 6000
sentinel failover-timeout master6400 18000
sentinel client-reconfig-script master6400 /opt/notify_master6400.sh   ##仲裁节点无需添加这行配置,client-reconfig-script参数是在sentinel做failover的过程中调用脚本漂vip到新的master上

PS:

关于sentinel 的一些工作原理和参数说明,请参阅:http://redisdoc.com/topic/sentinel.html

4、撰写漂VIP的脚本(100.10.32.54 、100.10.32.55)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
vim /opt/notify_master6400.sh
 
#!/bin/bash
MASTER_IP=$6
LOCAL_IP='100.10.32.54' #从库修改为100.10.32.55
VIP='100.10.32.250'
NETMASK='24'         
INTERFACE='eth0' 
if [ ${MASTER_IP} = ${LOCAL_IP} ]; then
         /sbin/ip addr add ${VIP}/${NETMASK} dev ${INTERFACE}
         /sbin/arping -q -c 3 -A ${VIP} -I ${INTERFACE}
        exit 0
else
         /sbin/ip addr del ${VIP}/${NETMASK} dev ${INTERFACE}
        exit 0
fi
exit 1
1
chmod +x /opt/notify_master6400.sh   #赋予可执行权限

PS:

这 里大概说一下这个脚本的工作原理,sentinel在做failover的 过程中会传出6个参数,分别是<master-name>、 <role>、 <state>、 <from-ip>、 <from-port>、 <to-ip> 、<to-port>,其中第6个参数from-ip也就是新的master的ip,对应脚本中的MASTER_IP,下面的if判断大家应 该都很了然了,如果MASTER_IP=LOCAL_IP,那就绑定VIP,反之删除VIP。

 

5、启动redis服务(100.10.32.54、100.10.32.55)

1
redis-server /etc/redis_6400.conf

6、初始化主从(100.10.32.55)

1
redis-cli -p 6400 slaveof 10.10.32.54 6400

7、绑定VIP到主库(100.10.32.54)

1
/sbin/ip addr add 100.10.32.250/24 dev eth0

8、启动sentinel服务(100.10.32.54、100.10.32.55、100.10.32.57)

1
redis-server /etc/redis-sentinel6400.conf --sentinel

至此,整个高可用方案已经搭建完成。

1
2
3
4
5
6
7
8
9
10
[root@localhost tmp]# redis-cli -h 100.10.32.54  -p 6400 info  Replication
# Replication
role:master
connected_slaves:1
slave0:ip=100.10.32.55,port=6400,state=online,offset=72669,lag=1
master_repl_offset:72669
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:2
repl_backlog_histlen:72668
1
2
3
4
5
6
7
[root@localhost tmp]# redis-cli -h 100.10.32.54  -p 26400 info Sentinel
# Sentinel
sentinel_masters:1
sentinel_tilt:0
sentinel_running_scripts:0
sentinel_scripts_queue_length:0
master0:name=master6400,status=ok,address=100.10.32.54:6400,slaves=1,sentinels=3
1
2
3
4
[root@localhost tmp]# ip a |grep eth0
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP qlen 1000
    inet 100.10.32.54/24 brd 100.10.32.255 scope global eth0
    inet 100.10.32.250/24 scope global secondary eth0

四、测试

1、把主库停掉

1
redis-cli -h 100.10.32.54  -p 6400 shutdown

2、看从库是否提升为主库

1
2
3
4
5
6
7
8
9
[root@localhost tmp]# redis-cli -h 100.10.32.55 -p 6400 info Replication
# Replication
role:master
connected_slaves:0
master_repl_offset:0
repl_backlog_active:0
repl_backlog_size:1048576
repl_backlog_first_byte_offset:0
repl_backlog_histlen:0

3、看VIP是否漂移到100.10.32.55上

1
2
3
4
[root@localhost tmp]# ip a |grep eth0
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP qlen 1000
    inet 100.10.32.55/24 brd 100.10.32.255 scope global eth0
    inet 100.10.32.250/24 scope global secondary eth0

4、看Sentinel的监控状态

1
2
3
4
5
6
7
[root@localhost tmp]# redis-cli -p 26400 info  Sentinel
# Sentinel
sentinel_masters:1
sentinel_tilt:0
sentinel_running_scripts:0
sentinel_scripts_queue_length:0
master0:name=master6400,status=ok,address=100.10.32.55:6400,slaves=1,sentinels=3

本文出自 “屌丝运维男” 博客,请务必保留此出处http://navyaijm.blog.51cto.com/4647068/1745569

分享到:
评论

相关推荐

    使用java时间连接池连接redis,单例模式和集群模式.docx

    Redis 集群是一种高可用性的 Redis 部署方式,通过将多个 Redis 节点组成一个集群,可以提高整个系统的可用性和性能。在 Redis 集群中,每个节点既可以作为主节点也可以作为从节点,主节点负责写入数据,而从节点...

    redis集群以及Spring-data-redis操作集群

    **Redis单例操作** 在非集群环境中,Redis通常以单例模式运行。Spring-data-redis同样提供了一种方便的方式来管理单个Redis实例,主要使用`JedisConnectionFactory`和`RedisTemplate`。 1. **配置单例Redis**:...

    RedisRepository 分享和纠错

    这是基于Redis Sentinel实现的高可用性特性,Sentinel系统会监控Redis主从服务器,并在主服务器出现问题时自动进行主从切换。 作者还提出了两个疑问。第一个疑问是关于主从读写分离的问题。作者怀疑在...

    Redis数据库 v5.0.14.zip

    主从复制是Redis高可用性的关键,通过复制,可以将读请求分散到多个从节点,减轻主节点压力,并为故障转移提供可能。当主节点出现故障时,可以从正常运行的从节点中选取一个新的主节点。 此外,Redis还支持Lua脚本...

    PHP+redis实现的购物车单例类示例

    在本文中,我们将探讨如何使用PHP结合Redis数据库来实现一个购物车的单例类。首先,我们需要了解单例模式的基本概念。...这对于需要构建高性能和高可用性购物车系统的开发者来说,是一个非常实用和有价值的参考。

    java面试题_高并发、高可用、分布式(9题)

    在Java面试中,高并发、高可用和分布式是考察开发者技术深度和广度的重要领域。以下将详细解析这些关键知识点: 1. **高并发** 高并发是指系统在同一时间处理大量请求的能力。在Java中,实现高并发通常涉及线程...

    java redis使用之利用jedis实现redis消息队列.docx

    Redis 作为一种内存数据库,以其高性能、低延迟的特点,被广泛应用于消息队列场景。本文将详细介绍如何利用 Java 和 Jedis(Java 客户端库)来实现基于 Redis 的消息队列。 #### 二、Jedis 库简介 Jedis 是一个高...

    redis-pipeline:通过透明使用jedis管道来提高Java中Redis性能的实用程序类

    同意-Redis-Wrappers 这些... RedisSentinelPool:Redis哨兵的高可用性待办事项并非所有Jedis方法都已实现,但可以轻松扩展类用法所有提供程序都需要在其中包含Jedis客户端或JedisPool的RedisRemoteBaseProvider或Redis

    javaredis源码-RedisInAction:Redis实战Java源代码

    《Redis实战Java源代码》是基于Java实现的与Redis数据库交互的开源项目,它提供了丰富的API和工具,便于开发者在Java应用中高效地使用Redis。...同时,这也会帮助你理解设计高可用、高性能分布式系统的关键技术。

    Spring、Java、redis、zk、MySQL等面试题总结

    3. 主从复制:用于提高Redis服务的可用性和数据安全性,主节点的数据会实时同步到从节点。 4. 分布式锁:Redis提供了分布式锁实现,如SETNX命令配合超时机制实现简单锁。 5. 持久化:RDB快照和AOF日志两种方式保证...

    整理了一份大厂常考面试题,这份pdf包括 Java基础、Java并发、JVM、MySQL、Redis、Spring、

    Kafka作为消息队列,面试中会涉及它的消息模型、分区机制、消费者模型以及高可用性和高可靠性的实现。 设计模式是解决软件设计中常见问题的经验总结,面试者应熟悉常见的23种设计模式,如工厂模式、代理模式、装饰...

    6.2、spring 集群和单片机 淘淘商城1

    在分布式系统中,Spring与Redis的集成是实现高可用性和可扩展性的关键。在“6.2、spring集群和单片机 淘淘商城1”的主题下,我们将探讨如何在Spring环境中配置Redis以及单片机(Singletons)的应用。 首先,为了在...

    Java面试宝典:包含Redis各种使用场景,分布式事务,分布式锁,DB,异步并发,JVM,微服务组件,常见的设计模式等

    - 缓存:Redis作为一种高性能的内存数据结构服务器,常用于缓存热点数据,减少对DB的访问压力。 - 排行榜:利用有序集合进行实时更新和查询排名。 - 消息队列:通过发布/订阅模型或list数据结构实现消息传递。 -...

    jt09日常笔记

    哨兵模式则主要应用于Redis的高可用性保障,通过监控主节点状态并能在主节点故障时自动完成故障转移;集群模式则进一步提高了系统的可扩展性和容错性。 - **单线程机制与数据持久化**:Redis采用单线程模型处理...

    jedis-3.6.2.zip

    5. **Sentinel支持**:对于使用Redis Sentinel进行高可用性设置的场景,Jedis也提供了相应的支持。可以创建`SentinelPool`来连接到Sentinel系统,获取主从服务器的信息,实现故障转移的透明化。 6. **Lua脚本支持**...

    程序员简历技能描述怎么写高大上-java篇

    2. 对Redis的底层模型、数据持久化机制、多数据类型的应用、高可用机制有深入理解,熟练应对各种缓存问题,如缓存击穿、缓存穿透和缓存雪崩。 3. 熟悉Couchbase的部署、数据同步、水平扩展和故障转移,熟练使用Redis...

    whirl:用于循环作业的淡化宝石。 预装了 Redis 和 HTTParty。 考虑到 Heroku 的使用情况而构建

    这不再使用 Ruby 的单例模块。 这是因为当从Whirl::Job::Base的子类(在子进程中执行)中调用instance时,父进程无权访问该实例,因为没有共享内存。 使用Whirl::Redis.new代替。 此外,在Whirl::Job::Base子类中,...

    java 高级架构进阶学习

    - **高可用性与高并发**:讲解如何构建高可用系统、负载均衡策略、集群部署、性能调优等。 #### 二、面试真题解析 - **知识点概览**:通过分析近年来Java高级架构面试真题,总结出高频考点和技术趋势。 - **核心...

    Redisson的基本使用.txt

    集群模式下,Redisson能够与多个Redis节点进行通信,以实现数据的高可用性和负载均衡。下面是一个简单的集群模式连接示例: ```java Config config = new Config(); config.useClusterServers() .setScanInterval...

Global site tag (gtag.js) - Google Analytics