`
flychao88
  • 浏览: 753116 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

Using Redis as an LRU cache文章翻译

 
阅读更多

周末有空翻译了:http://redis.io/topics/lru-cache#maxmemory-configuration-directive

 

具体如下:

 

      当用Redis作为一个LRU存储时,有些时候是比较方便的,在你增添新的数据时会自动驱逐旧的数据。这种行为在开发者论坛是非常有名的,因为这是流行的memcached系统的默认行为。

 

      LRU实际上只是支持驱逐的方式之一。这页包含更多一般的Redis maxmemory指令的话题用于限制内存使用到一个定额,同时它也深入的涵盖了Redis所使用的LRU算法,实际上是精确LRU的近似值。

 

 

一、Maxmemory设置指令

 

       Maxmemory设置指令用于配置Redis的数据集使用指定量的内存。可以用redis conf.file设置指令,或者可以在稍晚的时候在运行时间用config set命令。

 

       例如,为了设置内存局限于100百万字节,下列指令可在redis.conf file内使用。设置maxmemory到零使得没有内存限制。这是64位系统的默认行为,而32位系统使用3GB内隐记忆极限。

maxmemory 100mb

 

       当达到指定量的内存后,就可以选择不同的行为,称为策略。Redis可以返回错误的指令,导致使用更多的内存,或者为了每次增加新的数据后返回指定的内存,它可以驱逐一些旧的数据。

 

 

二、驱逐策略

 

当到达maxmemory极限时,使用maxmemory-策略配置指令来执行具体的Redis动作。

 

以下策略可以使用:

 

1、noeviction:达到内存限额后返回错误,客户尝试可以导致更多内存使用的命令(大部分写命令,但DEL和一些例外)

2、allkeys-lru:为了给新增加的数据腾出空间,驱逐键先试图移除一部分最近使用较少的(LRC)。

3、volatile-lru:为了给新增加的数据腾出空间,驱逐键先试图移除一部分最近使用较少的(LRC),但只限于过期设置键。

4、allkeys-random: 为了给新增加的数据腾出空间,驱逐任意键。

5、volatile-random: 为了给新增加的数据腾出空间,驱逐任意键,但只限于有过期设置的驱逐键。

6、volatile-ttl: 为了给新增加的数据腾出空间,驱逐键只有秘钥过期设置,并且首先尝试缩短存活时间的驱逐键。

 

如果没有秘钥去驱逐匹配先决条件,策略volatile-lru, volatile-random 和volatile-ttl行为很像noeviction。

 

那么根据你应用的访问模式选择正确的驱逐策略是很重要的。然而在应用运行时你可以在运行时间重新设置策略,并且监控缓存缺失的数量并为了调整你的设置点击Redis信息输出。

 

三、近似LRU算法

 

        Redis的LRU算法不是准确的实现。也就是说Redis没有为逐出选择 最好的候选人 ,也就是没有选择过去最后被访问离现在最久的。反而 是去执行一个 近似LRU的算法,通过抽样少量的key,并且逐出抽样中最后被访问离现在最久的key(最老的访问时间)。

       在Redis 3.0(目前的测试版),算法被改进了,使用了一个逐出最佳候选池。改进了算法的性能,使它更加近似真正LRU算法。

       算法中,关于逐出检测的样品数量,你可以自己去调整。配置参数是:

maxmemory-samples 5

 

       Redis没有使用真正实现LRU算是的原因是,因为消耗更多的内存。然而对于使用Redis的应用来说,事实上是等价的。下面是Redis的LRU算法和真正LRU算法的比较:

       给出配置数量的key生成上面的图表。key从第一行到最后一行被访问,那么第一个key是LRU算法中最好的逐出候选者。之后有50%的key被添加,那么一半的旧key被逐出。

 

在上图中你可以看见3个明显的区别:

1、浅灰色带是被逐出的对象。

2、灰色带是没有被逐出的对象。

3、绿色带是被添加的对象。

 

       LRU理论实现是在所有的旧key中前一半被逐出。Redis使用的是近似过期的key被逐出。

如你所见,3.0的工作比2.8更好,然而在2.8版本中,大多数最新访问对象的仍然保留。在3.0使用样品为10 时,性能非常接近理论上的LRU算法。

 

       注意:LRU仅仅是一个预测模式,给出的key很可能在未来被访问。此外,如果你的数据访问模式类似于幂律(线性的),大多数key都可能被访问那么这个LRU算法的处理就是非常好的。

 

       在实战中 ,我们发现使用幂律(线性的)的访问模式,在真正的LRU算法和Redis的LRU算法之间差异很小或者不存在差异。

 

       你可以提升样品大小配置到10,它将接近真正的LRU算法,并且有不同错过率,但是要消耗更多的CPU。

在调试时使用不同的样品大小去调试非常简单,使用命令CONFIG SET  maxmemory-samples <count>  实现。

 

 

 

 

 

 

 

 

  • 大小: 130.8 KB
分享到:
评论

相关推荐

    redis-data-cache.properties

    redis实现tomcat的session共享所需redis-data-cache.properties

    基于 TypeScript 的缓存装饰器(目前支持 Redis、LRU-Cache 和 NodeCache).zip

    目前支持 Redis(redis、ioredis)、lru-cache和node-cache。如果您希望看到添加更多适配器,请打开问题,或者更好的是,打开包含有效实现的拉取请求。用法安装npm install --save @type-cacheable/core或者yarn add...

    Using Redis As a Time Series Database: Why and How

    # 使用Redis作为时间序列数据库:原因与方法 ## 执行摘要 自创建以来,Redis 已被用于存储和分析时间序列数据。最初是作为一种日志缓冲区和目的地设计的,随着时间的发展,Redis 已经发展出五种明确的以及三种隐含...

    gradle-redis-build-cache,使用redis存储构建工件的渐变构建缓存.zip

    **Gradle Redis Build Cache 插件详解** 在现代软件开发中,构建速度是效率的关键因素之一。Gradle作为流行的Java构建工具,提供了丰富的插件生态系统,以满足各种需求。其中,“gradle-redis-build-cache”插件是...

    redis-plus-lru-cache:Redis + LRU 缓存

    $ npm install redis-plus-lru-cache 或在 package.json 中指定为依赖项 用法 用快递 var lruCachePlusRedis = { lruCache : { max : 500 , length : function ( n ) { return n * 2 } , displose : function ...

    Redis的LRU机制介绍

    在Redis中,如果设置的maxmemory,那就要配置key的回收机制参数maxmemory-policy,默认volatile-lru,参阅Redis作者的原博客:antirez weblog &gt;&gt; Redis as an LRU cache 原文中写得很清楚: 代码如下: Another way ...

    redis图形监控工具cachecloud

    CacheCloud是一款开源的Redis图形化管理与监控工具,它为用户提供了便捷的可视化操作界面,使得对Redis集群的监控、部署和运维变得更加简单。 CacheCloud的核心功能主要包括以下几个方面: 1. **可视化部署**:...

    Python库 | redis-simple-cache-3k-0.0.7.tar.gz

    《Python库redis-simple-cache-3k-0.0.7:高效数据库缓存解决方案》 在信息技术高速发展的今天,数据库的高效运作对于任何应用程序都至关重要。为了提高数据处理速度和减轻数据库的压力,缓存技术应运而生。本文将...

    redis-cache-mybatis

    本项目"redis-cache-mybatis"正是为了实现这一目的,提供了一个可以直接使用的Redis缓存解决方案。 在MyBatis中,Redis缓存主要涉及以下几个核心概念: 1. **配置Redis**:首先,我们需要在应用的配置文件中添加...

    redis-tag-cache:使用标签缓存和使Redis中的记录无效

    redis-tag-cache使用标记在Redis中缓存记录并使记录无效。安装yarn add redis-tag-cache# ornpm install redis-tag-cache演示用法import TagCache from 'redis-tag-cache' ;const cache = new TagCache ( { default...

    Redis云管理平台CacheCloud.zip

    一、CacheCloud是做什么的CacheCloud提供一个Redis云管理平台:实现多种类型(Redis Standalone、Redis Sentinel、Redis Cluster)自动部署、解决Redis实例碎片化现象、提供完善统计、监控、运维功能、减少开发人员的...

    Go-Go业务层缓存自带内存LRU存储支持自定义Redis存储实现

    本主题将深入探讨“Go-Go业务层缓存自带内存LRU存储支持自定义Redis存储实现”,这是一个专门为Go开发设计的缓存库,它提供了灵活的内存缓存策略,并支持与Redis等外部存储的集成。 首先,我们要理解什么是LRU...

    使用Redis作为一个LRU缓存的时候,怎么做才能更高效.docx

    在使用Redis作为LRU缓存时,为了实现高效性能,我们需要了解如何配置和管理Redis的内存限制以及选择合适的驱逐策略。以下是一些关键知识点: 1. **Maxmemory设置**: - `Maxmemory`指令用于限制Redis实例的内存...

    redis cache

    redis cache

    Yii_RedisCache

    Yii 提供了对 Redis 的原生支持,通过 `yii\redis\Cache` 类来实现。这个类实现了 `\yii\caching\Cache` 接口,提供了标准的缓存操作,如设置、获取、删除数据,以及检查缓存是否存在等。集成 Redis 需要在配置文件...

    redis-cache.1.5.5.zip

    `redis-cache.1.5.5.zip` 是一个包含Redis缓存模块的压缩包,可能是为了方便用户快速部署和集成到web应用中。下面将详细介绍Redis、Web缓存以及模块化设计的相关知识点。 1. Redis介绍: - Redis是一个开源的,...

    redis-lru-lfu

    Redis:LRU与LFU测试命令eval 'for i=1, 1000 do redis.call("SET", KEYS[1] .. i, i) end' 1 Aeval 'for i=1, 1000 do redis.call("SET", KEYS[1] .. i, i) end' 1 Beval 'for i=1, 1000 do redis.call("GET", KEYS...

    redis-6.0.3-win64.7z

    Redis is an open source (BSD licensed), in-memory data structure store, used as a database, cache and message broker. It supports data structures such as strings, hashes, lists, sets, sorted sets with...

    C++ Redis 客户端简单使用

    本篇文章将深入探讨如何在C++中简单使用Redis客户端。 首先,为了在C++中与Redis进行交互,我们需要一个支持C++的Redis客户端库。常见的选择有`hiredis`,这是一个轻量级的C库,同时也提供了C++绑定。另一个是`cpp-...

    redis-cache.zip

    一份基于Springboot搭建的Redis分布式缓存服务(包括分布式锁实现)的demo。 if (!CollectionUtils.isEmpty(nodes)) { nodes.forEach(dataSourceBean -&gt; { // 创建Redis分片 JedisShardInfo shardInfo =...

Global site tag (gtag.js) - Google Analytics