转载请注明出处哈:http://carlosfu.iteye.com/blog/2269678
一、引出热点key问题
我们通常使用 缓存 + 过期时间的策略来帮助我们加速接口的访问速度,减少了后端负载,同时保证功能的更新,一般情况下这种模式已经基本满足要求了。
但是有两个问题如果同时出现,可能就会对系统造成致命的危害:
(1) 这个key是一个热点key(例如一个重要的新闻,一个热门的八卦新闻等等),所以这种key访问量可能非常大。
(2) 缓存的构建是需要一定时间的。(可能是一个复杂计算,例如复杂的sql、多次IO、多个依赖(各种接口)等等)
于是就会出现一个致命问题:在缓存失效的瞬间,有大量线程来构建缓存(见下图),造成后端负载加大,甚至可能会让系统崩溃 。
二、四种解决方案(注释:第1,2种方法来自Tim Yang博客)
我们的目标是:尽量少的线程构建缓存(甚至是一个) + 数据一致性 + 较少的潜在危险,下面会介绍四种方法来解决这个问题:
1. 使用互斥锁(mutex key): 这种解决方案思路比较简单,就是只让一个线程构建缓存,其他线程等待构建缓存的线程执行完,重新从缓存获取数据就可以了(如下图)
如果是单机,可以用synchronized或者lock来处理,如果是分布式环境可以用分布式锁就可以了(分布式锁,可以用memcache的add, redis的setnx, zookeeper的添加节点操作)。
下面是Tim yang博客的代码,是memcache的伪代码实现
- if (memcache.get(key) == null) {
- // 3 min timeout to avoid mutex holder crash
- if (memcache.add(key_mutex, 3 * 60 * 1000) == true) {
- value = db.get(key);
- memcache.set(key, value);
- memcache.delete(key_mutex);
- } else {
- sleep(50);
- retry();
- }
- }
如果换成redis,就是:
- String get(String key) {
- String value = redis.get(key);
- if (value == null) {
- if (redis.setnx(key_mutex, "1")) {
- // 3 min timeout to avoid mutex holder crash
- redis.expire(key_mutex, 3 * 60)
- value = db.get(key);
- redis.set(key, value);
- redis.delete(key_mutex);
- } else {
- //其他线程休息50毫秒后重试
- Thread.sleep(50);
- get(key);
- }
- }
- }
2. "提前"使用互斥锁(mutex key):
在value内部设置1个超时值(timeout1), timeout1比实际的memcache timeout(timeout2)小。当从cache读取到timeout1发现它已经过期时候,马上延长timeout1并重新设置到cache。然后再从数据库加载数据并设置到cache中。伪代码如下:
- v = memcache.get(key);
- if (v == null) {
- if (memcache.add(key_mutex, 3 * 60 * 1000) == true) {
- value = db.get(key);
- memcache.set(key, value);
- memcache.delete(key_mutex);
- } else {
- sleep(50);
- retry();
- }
- } else {
- if (v.timeout <= now()) {
- if (memcache.add(key_mutex, 3 * 60 * 1000) == true) {
- // extend the timeout for other threads
- v.timeout += 3 * 60 * 1000;
- memcache.set(key, v, KEY_TIMEOUT * 2);
- // load the latest value from db
- v = db.get(key);
- v.timeout = KEY_TIMEOUT;
- memcache.set(key, value, KEY_TIMEOUT * 2);
- memcache.delete(key_mutex);
- } else {
- sleep(50);
- retry();
- }
- }
- }
3. "永远不过期":
这里的“永远不过期”包含两层意思:
(1) 从redis上看,确实没有设置过期时间,这就保证了,不会出现热点key过期问题,也就是“物理”不过期。
(2) 从功能上看,如果不过期,那不就成静态的了吗?所以我们把过期时间存在key对应的value里,如果发现要过期了,通过一个后台的异步线程进行缓存的构建,也就是“逻辑”过期
从实战看,这种方法对于性能非常友好,唯一不足的就是构建缓存时候,其余线程(非构建缓存的线程)可能访问的是老数据,但是对于一般的互联网功能来说这个还是可以忍受。
- String get(final String key) {
- V v = redis.get(key);
- String value = v.getValue();
- long timeout = v.getTimeout();
- if (v.timeout <= System.currentTimeMillis()) {
- // 异步更新后台异常执行
- threadPool.execute(new Runnable() {
- public void run() {
- String keyMutex = "mutex:" + key;
- if (redis.setnx(keyMutex, "1")) {
- // 3 min timeout to avoid mutex holder crash
- redis.expire(keyMutex, 3 * 60);
- String dbValue = db.get(key);
- redis.set(key, dbValue);
- redis.delete(keyMutex);
- }
- }
- });
- }
- return value;
- }
4. 资源保护:
之前在缓存雪崩那篇文章提到了netflix的hystrix,可以做资源的隔离保护主线程池,如果把这个应用到缓存的构建也未尝不可。
三、四种方案对比:
作为一个并发量较大的互联网应用,我们的目标有3个:
1. 加快用户访问速度,提高用户体验。
2. 降低后端负载,保证系统平稳。
3. 保证数据“尽可能”及时更新(要不要完全一致,取决于业务,而不是技术。)
所以第二节中提到的四种方法,可以做如下比较,还是那就话:没有最好,只有最合适。
解决方案 | 优点 | 缺点 |
简单分布式锁(Tim yang) |
1. 思路简单 2. 保证一致性 |
1. 代码复杂度增大 2. 存在死锁的风险 3. 存在线程池阻塞的风险 |
加另外一个过期时间(Tim yang) | 1. 保证一致性 | 同上 |
不过期(本文) |
1. 异步构建缓存,不会阻塞线程池 |
1. 不保证一致性。 2. 代码复杂度增大(每个value都要维护一个timekey)。 3. 占用一定的内存空间(每个value都要维护一个timekey)。 |
资源隔离组件hystrix(本文) |
1. hystrix技术成熟,有效保证后端。 2. hystrix监控强大。
|
1. 部分访问存在降级策略。 |
四、总结
1. 热点key + 过期时间 + 复杂的构建缓存过程 => mutex key问题
2. 构建缓存一个线程做就可以了。
3. 四种解决方案:没有最佳只有最合适。
五、参考文献:(本文部分代码和图来自如下两篇博客)
相关推荐
Redis缓存及热点key问题解决方案 Redis缓存是一种高效的缓存解决方案,用于加速应用程序的访问速度和降低数据库的负载。但是,Redis缓存也存在一些问题,例如热点key的问题。如果不妥善处理,可能会导致系统崩溃。...
缓存击穿对于一些设置了过期时间的 key,如果这些 key 可能会在某些时间点被超高并发地访问,是一种非常“热点”的数据。这个时候,需要考虑一个问题:缓存被“击穿”的问题,这个和缓存雪崩的区别在于这里针对某一 ...
参数包括键值(key)、信号量数量和权限。 - **操作信号量**:`semop()`函数用于对信号量进行操作,如P(等待)操作(减一)和V(唤醒)操作(加一)。可以组合多个操作在一个调用中完成。 - **信号量值的含义**:...
缓存击穿是指针对某个热点key,其过期时恰好有大量并发请求到来,这些请求可能直接穿透缓存,导致数据库受到巨大压力。处理方式如下: - **使用互斥锁(mutex key)**:在缓存失效时,尝试获取锁,成功后再加载...
if (redis.setnx(key_mutex, 1, 3 * 60) == 1) { value = db.get(key); redis.set(key, value, expire_secs); redis.del(key_mutex); } else { // 等待其他线程加载数据 } } return value; } ``` Redis...
2. **SET命令**:使用`SET key value EX timeout NX`命令尝试设置键。`EX`参数指定键的过期时间,防止锁永久持有;`NX`参数表示只有在键不存在时才设置,确保互斥性。 3. **释放锁**:当不再需要锁时,使用`DEL`命令...
分布式Mutex 使用Redis的简单分布式锁。 安装(尚未上传到rubygems) gem install distributed_mutex 或者,如果您正在使用Rails,则可以通过Bundler安装。将此行添加到您的应用程序的Gemfile中: gem '...
1. **使用互斥锁 (Mutex Key)**: 在缓存失效时,不是直接从后端数据库加载数据,而是首先使用缓存工具中的某些带有成功操作返回值的操作(例如Redis的`SETNX`或Memcache的`ADD`)设置一个互斥锁。如果操作返回成功,...
if (redis.setnx(key_mutex, "1", 3 * 60) == 1) { // 代表设置成功 value = db.get(key); redis.set(key, value, expire_secs); redis.del(key_mutex); } else { // 这个时候代表同时候的其他线程已经loaddb并...
3. 采用“永远不过期”:这里的“永远不过期”包含两层意思:(1) 从 redis 上看,确实没有设置过期时间,这就保证了,不会出现热点 key 过期问题,也就是“物理”不过期。(2) 从功能上看,如果不过期,那不就成静态...
在尝试从数据库加载数据之前,先尝试添加一个互斥锁(mutex key)。如果添加成功,执行数据加载和缓存设置,否则等待一段时间后重试。为了避免死锁,mutex key也需要设置过期时间。这可以通过`memcache.add()`函数...
缓存击穿是指一个 Key 非常热点,在不停的扛着大并发,大并发集中对这一个点进行访问,当这个 Key 在失效的瞬间,持续的大并发就穿破缓存,直接请求数据库,就像在一个完好无损的桶上凿开了一个洞。 解决方案我们的...
npm install level-mutex-batch 用法 var lmbatch = require ( 'level-mutex-batch' ) var batch = lmbatch ( db ) // db is a levelup batch ( [ { type : 'put' , key : 'hello' , value : 'world-1' } ] , ...
Mutex通常用于解决并发访问共享数据时产生的竞争条件问题。 - **Mutex结构体**:最初版本的Mutex结构体包含了两个字段:`key` 和 `sema`。其中`key` 用于表示Mutex是否被锁定,而`sema` 是一个信号量,用于处理等待...
- Mutex::Lock()向Exist请求,尝试将m_key对应的Mutex数据设置为1,并以阻塞方式等待响应。 - Exist响应时,会检查数据类型,对于Mutex类型,会检查数据状态。若数据不存在或为0,表示可以加锁,将数据设置为1并...
8 aos_task_key_create 9 aos_task_key_delete 10 aos_task_setspecific 11 aos_task_getspecific 12 aos_mutex_new 13 aos_mutex_free 14 aos_mutex_lock 15 aos_mutex_unlock 16 aos_mutex_is_valid 17 ...
这个项目名为"Keylog_日志logkey_Windows编程_Windows键盘鼠标窗口事件记录器_visualc++",显然它是用Visual C++实现的一个Windows键盘鼠标窗口事件记录器。接下来,我们将深入探讨相关的知识点。 首先,我们要理解...
static Mutex mutex = new Mutex(true, "Global\\MyUniqueMutexName"); static void Main() { if (!mutex.WaitOne(0, false)) { Console.WriteLine("Another instance is already running."); return; } ...
private static Mutex mutex = new Mutex(true, "唯一的名字", out bool createdNew); static void Main() { if (!createdNew) { Console.WriteLine("另一个实例正在运行。"); return; } // 你的应用程序...