`
qianshangding
  • 浏览: 127969 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
社区版块
存档分类
最新评论

Memcached之缓存雪崩,缓存穿透,缓存预热,缓存算法(7)

 
阅读更多

缓存雪崩

缓存雪崩可能是因为数据未加载到缓存中,或者缓存同一时间大面积的失效,从而导致所有请求都去查数据库,导致数据库CPU和内存负载过高,甚至宕机。

解决思路:

1,采用加锁计数,或者使用合理的队列数量来避免缓存失效时对数据库造成太大的压力。这种办法虽然能缓解数据库的压力,但是同时又降低了系统的吞吐量。

2,分析用户行为,尽量让失效时间点均匀分布。避免缓存雪崩的出现。

3,如果是因为某台缓存服务器宕机,可以考虑做主备,比如:redis主备,但是双缓存涉及到更新事务的问题,update可能读到脏数据,需要好好解决。


缓存穿透

缓存穿透是指用户查询数据,在数据库没有,自然在缓存中也不会有。这样就导致用户查询的时候,在缓存中找不到,每次都要去数据库中查询。

解决思路:

1,如果查询数据库也为空,直接设置一个默认值存放到缓存,这样第二次到缓冲中获取就有值了,而不会继续访问数据库,这种办法最简单粗暴。

2,根据缓存数据Key的规则。例如我们公司是做机顶盒的,缓存数据以Mac为Key,Mac是有规则,如果不符合规则就过滤掉,这样可以过滤一部分查询。在做缓存规划的时候,Key有一定规则的话,可以采取这种办法。这种办法只能缓解一部分的压力,过滤和系统无关的查询,但是无法根治。

3,采用布隆过滤器,将所有可能存在的数据哈希到一个足够大的BitSet中,不存在的数据将会被拦截掉,从而避免了对底层存储系统的查询压力。关于布隆过滤器,详情查看:基于BitSet的布隆过滤器(Bloom Filter)

大并发的缓存穿透会导致缓存雪崩。


缓存预热

单机web系统情况下比较简单。

解决思路:

1,直接写个缓存刷新页面,上线时手工操作下。

2,数据量不大,可以在WEB系统启动的时候加载。

3,搞个定时器定时刷新缓存,或者由用户触发都行。

分布式缓存系统,如Memcached,Redis,比如缓存系统比较大,由十几台甚至几十台机器组成,这样预热会复杂一些。

解决思路:

1,写个程序去跑。

2,单个缓存预热框架。

缓存预热的目标就是在系统上线前,将数据加载到缓存中。


缓存算法

FIFO算法:First in First out,先进先出。原则:一个数据最先进入缓存中,则应该最早淘汰掉。也就是说,当缓存满的时候,应当把最先进入缓存的数据给淘汰掉。
LFU算法:Least Frequently Used,最不经常使用算法。
LRU算法:Least Recently Used,近期最少使用算法。请查看:Memcached之你真正理解LRU吗(4)

LRU和LFU的区别。LFU算法是根据在一段时间里数据项被使用的次数选择出最少使用的数据项,即根据使用次数的差异来决定。而LRU是根据使用时间的差异来决定的。

分享到:
评论

相关推荐

    Memcached分布式缓存入门

    3. **缓存雪崩**:通过设置合理的过期时间和使用随机过期时间,避免大量缓存同时失效引发的雪崩现象。 **总结** “Memcached分布式缓存入门”资料将帮助你掌握如何利用Memcached提升Web应用的性能。通过理论学习和...

    Memcached缓存机制 用好Cache,优化应用

    **Memcached缓存机制详解与应用优化** Memcached是一款高性能、分布式的内存对象缓存系统,主要用于加速Web应用程序,通过将数据存储在内存中,减少对数据库的直接访问,从而提高系统的响应速度和效率。Memcached的...

    memcached缓存系统

    Memcached缓存系统详解 Memcached,作为一个广泛使用的开源、高性能、分布式的内存对象缓存系统,其设计目的是为了提高动态Web应用的响应速度,通过将数据存储在内存中,减少对数据库的频繁访问,从而降低了系统的...

    memcached缓存

    **Memcached缓存详解** Memcached是一款高性能、分布式内存对象缓存系统,广泛应用于Web应用中,用于减轻数据库负载,提高动态网页的响应速度。它通过将数据存储在内存中,实现了快速读取,从而避免了频繁访问...

    Memcached缓存.zip

    **Memcached缓存技术详解** Memcached是一款高性能、分布式内存对象缓存系统,它广泛应用于Web应用中,用于减轻数据库的负载,提高数据访问的速度。Memcached基于键值对存储,设计简单而高效,适用于缓存小块的、...

    亿级流量电商缓存课程

    此外,电商系统中的缓存策略还包括缓存预热、缓存雪崩和缓存穿透等问题的处理。缓存预热是指在系统启动或更新后,提前加载常用数据到缓存中。缓存雪崩是指大量缓存同时失效,导致系统崩溃,可以通过设置合理的过期...

    高效缓存Memcached 集成使用说明

    此外,可以通过预热缓存、缓存预淘汰策略等方法进一步优化性能。 总结,Memcached以其高效、易用的特性成为缓存解决方案的首选。理解和掌握其核心原理及最佳实践,对于提升系统性能和稳定性至关重要。在实际应用中...

    memcached全面剖析

    7. **性能优化**:包括合理设置缓存大小、选择合适的内存分配器、使用预热策略等,以提高memcached的运行效率。 8. **安全性与故障恢复**:虽然memcached默认不提供安全措施,但可以通过设置防火墙规则、使用SSL...

    java中的缓存技术

    7. 缓存优化:优化缓存包括合理设置缓存大小、选择合适的缓存淘汰策略(如LRU、LFU、LFU+TTL)、使用缓存预热(预先加载常用数据)、减少不必要的缓存操作等。 总之,Java中的缓存技术是提高系统性能的关键手段,...

    Java系统分布式缓存PPT

    这可能包括但不限于缓存穿透、缓存雪崩、缓存击穿等问题的解决方案,以及如何利用缓存预热、缓存更新策略(如Write-Behind和Write-Through)来提升系统稳定性。此外,还可能涉及缓存的容量管理和数据淘汰策略,例如...

    memcached经典面试题和答案

    **Memcached** 是一款开源且高性能的内存缓存系统,主要用于通过在内存中临时存储数据来加速动态 Web 应用程序的响应时间。它的工作原理是将数据库查询结果和其他数据存储在内存中,从而减少了对后端数据库的直接...

    数据缓存--Memcach详解及如何使用(带代码)?

    5. **缓存失效策略**:如使用“缓存穿透”防止无效请求穿透到数据库,使用“缓存雪崩”避免大量缓存同时失效。 **五、Memcached的挑战与解决方案** 1. **数据一致性**:由于Memcached不保证强一致性,可能在更新...

    分布式缓存

    - 缓存雪崩:大量缓存同时失效导致数据库压力激增,可通过设置合理的过期时间和随机过期来缓解。 - 缓存击穿:针对特定热点数据的大量请求,可能导致某节点压力过大,可以使用读写锁或者预热策略解决。 通过学习...

    memcached.rar

    3. **缓存穿透与缓存雪崩问题**:通过布隆过滤器防止缓存穿透,设置合理的刷新策略避免缓存雪崩。 4. **利用客户端库**:选择适合自己编程语言的客户端库,如PHP的Memcached扩展、Python的pylibmc等,以充分利用其...

    缓存服务memcached

    在Java Web开发中,Memcached是常用的缓存解决方案之一,尤其在处理大量数据时,能够显著提升性能。 首先,让我们了解一下Memcached的基本概念。它是一个基于键值对的存储系统,允许开发者将数据以键(key)和值...

    memcached_1.4.4.rar

    2. **分布式**:通过哈希算法,Memcached能够将数据自动分散到多台服务器上,实现数据的分布式存储。这种特性使得它可以轻松应对大数据量和高并发场景。 3. **内存存储**:Memcached所有数据都存储在内存中,因此...

    29道memcached面试题含答案(很全)

    - 缓存策略:Memcached支持预热缓存,即预先加载常用数据;同时也支持按需缓存,只缓存热点数据,减少无效的内存占用。 2. Memcached服务在企业集群架构中的应用场景: - 数据库缓存:作为数据库的前端缓存,减少...

    缓存面试题大全 pdf版

    - **缓存预热**:启动服务前加载热点数据到缓存中,避免冷启动时出现大量请求直接访问数据库的情况。 - **使用分布式锁**:在进行缓存更新操作时,使用分布式锁机制防止多个客户端同时访问底层数据源,确保数据的...

Global site tag (gtag.js) - Google Analytics