1. 缓存穿透:查询一个必然不存在的数据。比如文章表,查询一个不存在的id,每次都会访问DB,如果有人恶意破坏,很可能直接对DB造成影响。
解决办法:对所有可能查询的参数以hash形式存储,在控制层先进行校验,不符合则丢弃。
2.缓存失效:如果缓存集中在一段时间内失效,DB的压力凸显。这个没有完美解决办法,但可以分析用户行为,尽量让失效时间点均匀分布。
缓存雪崩
缓存雪崩可能是因为数据未加载到缓存中,或者缓存同一时间大面积的失效,从而导致所有请求都去查数据库,导致数据库CPU和内存负载过高,甚至宕机。
解决思路:
1,采用加锁计数,或者使用合理的队列数量来避免缓存失效时对数据库造成太大的压力。这种办法虽然能缓解数据库的压力,但是同时又降低了系统的吞吐量。
2,分析用户行为,尽量让失效时间点均匀分布。避免缓存雪崩的出现。
3,如果是因为某台缓存服务器宕机,可以考虑做主备,比如:redis主备,但是双缓存涉及到更新事务的问题,update可能读到脏数据,需要好好解决。
缓存穿透
缓存穿透是指用户查询数据,在数据库没有,自然在缓存中也不会有。这样就导致用户查询的时候,在缓存中找不到,每次都要去数据库中查询。
解决思路:
1,如果查询数据库也为空,直接设置一个默认值存放到缓存,这样第二次到缓冲中获取就有值了,而不会继续访问数据库,这种办法最简单粗暴。
2,根据缓存数据Key的规则。例如我们公司是做机顶盒的,缓存数据以Mac为Key,Mac是有规则,如果不符合规则就过滤掉,这样可以过滤一部分查询。在做缓存规划的时候,Key有一定规则的话,可以采取这种办法。这种办法只能缓解一部分的压力,过滤和系统无关的查询,但是无法根治。
3,采用布隆过滤器,将所有可能存在的数据哈希到一个足够大的BitSet中,不存在的数据将会被拦截掉,从而避免了对底层存储系统的查询压力。关于布隆过滤器,详情查看:基于BitSet的布隆过滤器(Bloom Filter)
大并发的缓存穿透会导致缓存雪崩。
缓存预热
单机web系统情况下比较简单。
解决思路:
1,直接写个缓存刷新页面,上线时手工操作下。
2,数据量不大,可以在WEB系统启动的时候加载。
3,搞个定时器定时刷新缓存,或者由用户触发都行。
分布式缓存系统,如Memcached,Redis,比如缓存系统比较大,由十几台甚至几十台机器组成,这样预热会复杂一些。
解决思路:
1,写个程序去跑。
2,单个缓存预热框架。
缓存预热的目标就是在系统上线前,将数据加载到缓存中。
缓存穿透
什么是缓存穿透?
一般的缓存系统,都是按照key去缓存查询,如果不存在对应的value,就应该去后端系统查找(比如DB)。如果key对应的value是一定不存在的,并且对该key并发请求量很大,就会对后端系统造成很大的压力。这就叫做缓存穿透。
如何避免?
1:对查询结果为空的情况也进行缓存,缓存时间设置短一点,或者该key对应的数据insert了之后清理缓存。 2:对一定不存在的key进行过滤。可以把所有的可能存在的key放到一个大的Bitmap中,查询时通过该bitmap过滤。【感觉应该用的不多吧】
缓存雪崩
什么是缓存雪崩?
当缓存服务器重启或者大量缓存集中在某一个时间段失效,这样在失效的时候,也会给后端系统(比如DB)带来很大压力。
如何避免?
1:在缓存失效后,通过加锁或者队列来控制读数据库写缓存的线程数量。比如对某个key只允许一个线程查询数据和写缓存,其他线程等待。 2:不同的key,设置不同的过期时间,让缓存失效的时间点尽量均匀。 3:做二级缓存,A1为原始缓存,A2为拷贝缓存,A1失效时,可以访问A2,A1缓存失效时间设置为短期,A2设置为长期(此点为补充)
分布式缓存系统
分布式缓存系统面临的问题
缓存一致性问题
1:缓存系统与底层数据的一致性。这点在底层系统是“可读可写”时,写得尤为重要
2:有继承关系的缓存之间的一致性。为了尽量提高缓存命中率,缓存也是分层:全局缓存,二级缓存。他们是存在继承关系的。全局缓存可以有二级缓存来组成。
3:多个缓存副本之间的一致性。为了保证系统的高可用性,缓存系统背后往往会接两套存储系统(如memcache,redis等)
缓存穿透和缓存雪崩
上面有讲述。
缓存数据的淘汰
缓存淘汰的策略有两种: (1) 定时去清理过期的缓存。 (2)当有用户请求过来时,再判断这个请求所用到的缓存是否过期,过期的话就去底层系统得到新数据并更新缓存。 两者各有优劣,第一种的缺点是维护大量缓存的key是比较麻烦的,第二种的缺点就是每次用户请求过来都要判断缓存失效,逻辑相对比较复杂,具体用哪种方案,大家可以根据自己的应用场景来权衡。 1. 预估失效时间 2. 版本号(必须单调递增,时间戳是最好的选择)3. 提供手动清理缓存的接口。
缓存算法
FIFO算法:First in First out,先进先出。原则:一个数据最先进入缓存中,则应该最早淘汰掉。也就是说,当缓存满的时候,应当把最先进入缓存的数据给淘汰掉。
LFU算法:Least Frequently Used,最不经常使用算法。
LRU算法:Least Recently Used,近期最少使用算法。请查看:Memcached之你真正理解LRU吗(4)
LRU和LFU的区别。LFU算法是根据在一段时间里数据项被使用的次数选择出最少使用的数据项,即根据使用次数的差异来决定。而LRU是根据使用时间的差异来决定的
http://www.cnblogs.com/jinjiangongzuoshi/archive/2016/03/03/5240280.html
相关推荐
然而,缓存系统也存在一些潜在的问题,如缓存击穿、缓存雪崩和缓存穿透,这些情况可能导致系统性能急剧下降,甚至服务中断。 **缓存击穿**是指一个非常热门的数据项在缓存中过期,这时大量的并发请求会直接冲击...
### Redis扩展:缓存雪崩和缓存穿透问题解决方案 #### 缓存雪崩 **定义**:在Redis等缓存系统中,当大量数据同时失效时,原本由缓存承担的请求会在短时间内集中到后端数据库上,这种现象称为“缓存雪崩”。缓存...
然而,缓存在提升性能的同时,也带来了特有的问题,如缓存雪崩、缓存穿透、缓存击穿。这些问题均会对系统稳定性造成影响,需要针对性的解决方案以保障系统的正常运作。 缓存雪崩是指在高并发的场景下,由于缓存数据...
缓存穿透、缓存击穿和缓存雪崩的区别以及解决方案 缓存穿透、缓存击穿和缓存雪崩是三个常见的缓存问题,它们都可能会导致数据库压力增大,甚至宕机。下面我们将详细介绍这三个问题的区别和解决方案。 缓存穿透 ...
提供了解redis实践开过程中,所面对缓存雪崩 缓存穿透 缓存并发的处理方案,同时这些个问题也是面试的经典问题,有助提升开发者的知识视野
### Redis系统学习之缓存穿透、缓存击穿与缓存雪崩的概念及其解决方案 #### 缓存穿透 **概念**: 缓存穿透是指在高并发场景下,大量的请求访问了一个既不在缓存中也不在数据库中的数据。这种情况通常发生在非法...
然而,如果使用不当,可能会遇到两种常见问题:缓存穿透和缓存雪崩。这两者都会对系统的稳定性和性能产生严重影响。 **缓存穿透** 缓存穿透是指用户请求的数据既不在Redis缓存中,也不在数据库中,导致每次请求都...
### Redis中的缓存雪崩与解决方案 #### 缓存雪崩定义 缓存雪崩指的是在Redis这样的缓存系统中,大量的缓存数据在同一时间段内失效的现象。这种情况下,原本由缓存承载的请求会突然间全部转向后端数据库或其他持久层...
缓存系统设计解决方案分析 缓存系统是当前web应用程序中最常用的性能...缓存系统设计需要考虑的要素很多,但是如果我们采用合适的解决方案,可以避免缓存穿透、缓存雪崩和缓存击穿等问题,提高系统的性能和可靠性。
图片资源“02_如何解决缓存雪崩.png”、“01_缓存雪崩现象.png”和“03_缓存穿透现象以及解决方案.png”可能会提供更加直观的示例,帮助理解这两种问题的场景和解决方案。而“PPT.pptx”可能是详细的讲解材料,包含...
Redis缓存穿透、缓存雪崩、缓存击穿的原因和解决方案 Redis缓存穿透、缓存雪崩、缓存击穿是 Redis 缓存中常见的问题,它们可能会导致数据库的负载加大,影响系统的性能。本文将详细讨论这些问题的原因和解决方案。 ...
缓存穿透、缓存击穿、缓存雪崩解决方案分析 本文主要介绍了缓存系统中三个常见的问题:缓存穿透、缓存击穿和缓存雪崩,并对每个问题提供了多种解决方案。 缓存穿透 缓存穿透是指查询一个一定不存在的数据,由于...
【缓存穿透】 缓存穿透是指用户查询的数据在数据库中不存在,因此缓存也无法命中,导致每次请求都要查询数据库,...在面试中,掌握这些解决方案不仅能展现对缓存系统深入的理解,也是评估候选人技术能力的重要方面。
redis缓存雪崩,redis缓存穿透,redis缓存击穿 redis应对高并发造成的雪崩、穿透、击穿
这些问题若不加以解决,会对系统的稳定性造成重大威胁,因此,深入理解它们的区别和解决方案是保障系统高可用性的关键所在。 缓存穿透指的是用户查询的数据既不在缓存中,也不存在于数据库中,此时恶意请求可以绕过...
### 常见的缓存穿透、缓存击穿、缓存雪崩解决方案分析 #### 缓存穿透 缓存穿透是指查询一个确定不存在的数据,由于缓存是不命中时被动写入的,并且为了容错,如果从存储层查不到数据,则不会写入缓存。这样一来,...
Redis缓存穿透、缓存击穿、缓存雪崩面试题解析 Redis缓存穿透、缓存击穿...Redis缓存穿透、缓存击穿、缓存雪崩是Redis缓存机制中需要注意的问题,通过合理的解决方案可以避免这些问题的出现,提高系统的性能和稳定性。
### 缓存穿透 在IT领域,特别是针对高性能和高并发的应用场景中,缓存...通过以上几种方式的综合运用,可以在很大程度上减轻缓存穿透、缓存击穿以及缓存雪崩等问题带来的负面影响,从而提高系统的整体稳定性和性能。
Redis 使用-缓存穿透、雪崩、击穿以及解决方案分析 一、缓存穿透 缓存穿透是指查询一个一定不存在的数据,由于缓存是不命中时被动写的,并且出于容错考虑,如果从存储层查不到数据则不写入缓存,这将导致这个不...
在IT行业中,Redis作为一种高...以上是针对Redis缓存系统中可能出现的缓存穿透、缓存击穿和缓存雪崩问题的解决方案。在设计缓存系统时,应当充分考虑这些潜在风险,采取适当的预防措施,以确保系统的稳定性和高可用性。