`
wenjinglian
  • 浏览: 822332 次
  • 性别: Icon_minigender_1
  • 来自: 株洲->深圳
社区版块
存档分类
最新评论

[转]Memcached性能检测

阅读更多

Memcached性能检测

        Memcached作为一个内存key-value存储容器有非常优秀的性能,但是在上次的使用中确发现大量的数据丢失情况发生,导致cache的功能基本消失。具体的检测方式如下:

  1. 检测命中率

    检测命中率是一个最基本的、最宏观的方式,使用telnet连接到memcached服务器,然后执行stats命令就可以看到宏观的一些信息,如下图。

            这个命令中比较关键的属性是get_hits和get_misses,get_hits表示读取cache命中的次数,get_misses是读取失败的次数,即尝试读取不存在的缓存数据。
             命中率=get_hits / (get_hits + get_misses)
    命中率越高说明cache起到的缓存作用越大。但是在实际使用中,这个命中率不是有效数据的命中率,有些时候get操作可能只是检查一个key存在不存在,这个时候miss也是正确的,这就像用memcached作为一种定时器,将一些临时数据在memcache中存放特定时间长度,业务逻辑会根据cache是否存在而作不同的逻辑,这种数据其实已经不是单纯的缓存了,也不应该统计到命中率中。再者,这个命中率是从memcached启动开始所有的请求的综合值,不能反映一个时间段内的情况,所以要排查memcached的性能问题,还需要更详细的数值。但是高的命中率还是能够反映出memcached良好的使用情况,突然下跌的命中率能够反映大量cache丢失的发生。

  2. Stats items

    Stats items命令可以查看每个slab中存储的item的一些详细信息,具体可以见下图。

    关键属性有:

    Stats items属性 属性名称属性说明
    number 存放的数据总数
    age 存放的数据中存放时间最久的数据已经存在的时间,以秒为单位
    evicted 被剔除的数据总数
    evicted_time 最后被剔除的数据在cache中存放的时间,以秒为单位

    stats items可以详细的观察各slab的数据对象的情况,因为memcached的内存分配策略导致一旦memcached的总内存达到了设置的最大内存,代表所有的slab能够使用的page都已经固定,这个时候如果还有数据放入,将开始导致memcached使用LRU策略剔除数据。而LRU策略不是针对所有的slabs,而是只针对新数据应该被放入的slab,例如有一个新的数据要被放入slab 3,则LRU只对slab 3进行。通过stats items就可以观察到这些剔除的情况。
    具体分析如下:

    1. evicted属性
      如果一个slab的evicted属性不是0,则说明当前slab出现了提前剔除数据的情况,这个slab可能是你需要注意的。
    2. evicted_time属性
      如果evicted不为0,则evicited_time就代表最后被剔除的数据时间缓存的时间。并不是发生了LRU就代码memcached负载过载了,因为有些时候在使用cache时会设置过期时间为0,这样缓存将被存放30天,如果内存慢了还持续放入数据,而这些为过期的数据很久没有被使用,则可能被剔除。需要注意的是,最后剔除的这个数据已经被缓存的时间,把evicted_time换算成标准时间看下是否已经达到了你可以接受的时间,例如:你认为数据被缓存了2天是你可以接受的,而最后被剔除的数据已经存放了3天以上,则可以认为这个slab的压力其实可以接受的;但是如果最后被剔除的数据只被缓存了20秒,不用考虑,这个slab已经负载过重了。
    3. age属性
      age属性反应了当前还在缓存的数据中最久的时间,它的大小和evicted_time没有必然的大小关系,因为可能时间最久的数据确实频繁被读取的,这时候不会被LRU清理掉,但是如果它小于evicted_time的话,则说明数据在被下去读取前就被清理了,或者存放了很多长时间但是不被使用的缓存对象。
  3. Stats slabs

    从Stats items中如果发现有异常的slab,则可以通过stats slabs查看下该slab是不是内存分配的确有问题。
    Stats slabs结果如下图

    Stats slabs的属性说明如下:

    Stats slabs属性 属性名称属性说明
    chunk_size 当前slab每个chunk的大小
    chunk_per_page 每个page能够存放的chunk数
    total_pages 分配给当前slab的page总数
    total_chunks 当前slab最多能够存放的chunk数,应该等于chunck_per_page * total_page
    used_chunks 已经被占用的chunks总数
    free_chunks 过期数据空出的chunk里还没有被使用的chunk数
    free_chunks_end 新分配的但是还没有被使用的chunk数

    这个命令的信息量很大,所有属性都很有价值。下面一一解释各属性:

    综合上面的数据,可以发现造成memcached的内存使用率降低的属性有:

    1. chunk_size, chunk_per_page
      这两个属性是固定的,但是它反映当前slab存储的数据大小,可以供你分析缓存数据的散列区间,通过调整增长因子可以改变slab的区间分布,从而改变数据散列到的区域。如果大量的230byte到260byte的数据,而刚好一个slab大小是250byte,则250byte到260byte的数据将被落到下一个slab,从而导致大量的空间浪费。
    2. total_pages
      这个是当前slab总共分配大的page总数,如果没有修改page的默认大小的情况下,这个数值就是当前slab能够缓存的数据的总大小(单位为M)。如果这个slab的剔除非常严重,一定要注意这个slab的page数是不是太少了。
      我上次处理的那个项目因为和另外的一个项目共用的memcache,而且memcache已经运行了很长时间,导致page都已经全部被分配完,而刚好两个项目的缓存数据大小差别很多,导致新项目数据最多的slab 4竟然只有一个page,所以数据缓存不到22s就被替换了,完全失去了缓存的意义。
      针对我遇到的那个情况,解决方案是重新分配page,或者重启memcache服务。但是page reassign方法从1.2.8版已经完全移除了,所以现在没有办法在线情况下重新分配page了。另外一种有些时候是不可以接受的,因为一次缓存服务器的重启将导致所有缓存的数据将重新从DB取出,这个可能造成db的压力瞬间增大。而且有的缓存数据时不入库的,这个时候我们就需要做memcache的导入和导出了。在下篇文章中我会总结下memcache的dump操作。
    3. total_chunks
      这个的作用和total_pages基本相同,不过这个属性可以更准确的反应实际可以存放的缓存对象总数。
    4. used_chunks, free_chunks, free_chunks_end
      这三个属性相关度比较高,从数值上来看它们满足: 
                      total_chunks = used_chunks + free_chunks + free_chunks_end
      used_chunks就是字面的意思,已经使用的chunk数;free_chunks却不是所有的未被使用的chunk数,而是曾经被使用过但是因为过期而被回收的chunk数;free_chunks_end是page中从来没有被使用过的chunk数。

            从上图可以看出,slab 1只放了一个对象,但是已经申请了一整个page,这个时候used_chunks为1,但是free_chunks却为0,因为还没有任何回收的空间,而free_chunks_end却等于10081,说明这么多的chunk从来没有被使用过。下图就是这个数据过期后的stats slabs数据,可以发现free_chunks有值了,就是过期的那个chunk,所以是1,used_chunks为0,free_chunks_end不变。

            为什么要分两种free chunk呢?
            我的理解是这样的:如果free_chunks_end不为零,说明当前slab没有出现过容量不够的时候;而如果free_chunks始终为0,说明很多数据过期时间过长或者在过期前就被剔除了,这个要结合剔除数据和数据保留的时间(age属性)来看待。所以分开统计这两个值可以准确的判断实际空闲的chunk的状态,一旦所以的chunk被使用过一次以后,除非重新申请page,否则free_chunks_end始终为0。所以对于运行时间比较久的memcached,可能大部分这个值都是0。
    5. active_slabs, total_malloced
      在stats slabs输出的最后两项是两个统计数据,一个是活动的slab总数,因为slab虽然带编号,但是这个编号不一定是连续的,因为有可能有些中间区间的slab没有值就没有初始化,这样以后该slab有值的时候就不用改变slab的编号了。所以活动的slab总数不一定等于slab的最大编号。
      total_malloced这个是实际已经分配的总内存数,单位为byte,这个数值决定了memcached实际还能申请多少内存,如果这个值已经达到设定的上限,则不会有新的page被分配,以前分配的page也已经固定slab了。

 

    综合上面的数据,可以发现造成memcached的内存使用率降低的属性有:

  1. page中从来没有被使用过的chunks;
  2. chunk中存放数据和chunk实际大小的差值;
  3. 由于短时间的数据集中在某个slab区域,导致大量page被分配,而之后被闲置的内存,这些即使有整个page的空闲也不会被分配给实际压力很大的slab区域(这个功能是不是以后memcached会考虑实现呢?)。

原文:Memcached性能检测

童城咖啡关于 memcached 文章: http://www.tanktong.com/category/programming/memcache/

memcached全面剖析:http://blog.charlee.li/memcached-002/

 

分享到:
评论

相关推荐

    memcached&redis;性能测试

    memcached,redis性能测试,内存缓存系统的性能测试;

    memcached测试的工具类

    对于开发人员来说,能够有效地测试Memcached的性能和功能至关重要。这里我们将深入探讨“memcached测试的工具类”,以及如何利用这样的工具类来优化Memcached的使用。 Memcached测试工具类通常包含了各种方法,用于...

    memcached-redis性能测试.docx

    Memcached 和 Redis 性能测试 Memcached 是一个高性能的分布式内存对象缓存系统,用于动态 Web 应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数,从而提供动态、数据库驱动网站的速度。...

    C# memcached客户端源码 测试例子

    学习并实践这些测试例子,可以帮助C#开发者熟练掌握使用Memcached进行缓存管理的技巧,提高应用的响应速度和整体性能。同时,对于分布式系统的设计和优化也有一定的指导意义。因此,这个压缩包对于正在或者计划使用...

    memcached 64位 window

    Memcached是一种分布式内存对象缓存系统,广泛用于减轻数据库负载,提高Web应用的性能。由于是64位版本,这意味着它可以利用64位系统的内存优势,处理更大的数据量。 **Memcached简介** Memcached是一款高性能、轻...

    Memcached windows 下安装与测试

    **Memcached Windows 下安装与测试详解** Memcached是一款高性能、分布式的内存对象缓存系统,广泛应用于Web应用中,用于减轻数据库的负载。它通过在内存中存储数据和对象来加速动态Web应用的运行速度。在Windows...

    memcachedredis性能测试.docx

    【Memcached 知识点详解】 1. **Memcached 简介** Memcached 是一个高效的分布式内存对象缓存系统,主要用于动态Web应用中,通过缓存数据和对象来减少对数据库的访问,从而提高动态、数据库驱动网站的速度。它基于...

    memcached(五)单台服务器部署单线程性能测试

    10. **最佳实践**:分享在单线程模式下优化memcached性能的方法,可能包括调整配置参数、优化数据存储策略等。 由于没有实际的日志文件内容,具体的分析将无法进行。然而,以上知识点提供了全面的背景和框架,帮助...

    windows下memcached+memcached.dll 5.3.8

    Memcached是一款高性能、分布式内存对象缓存系统,用于减轻数据库负载,提高网站性能。 描述中提到的“详细你谷歌memcached安装教程”,暗示了用户可能需要通过搜索引擎(如Google)查找关于如何在Windows环境下...

    memcached服务器端memcached.exe 下载

    Memcached是一款高性能、分布式内存对象缓存系统,常用于减轻数据库负载,提高Web应用的性能。它通过在内存中存储数据来快速访问,避免了反复读取硬盘上的数据,从而提高了应用程序的响应速度。 标题“memcached...

    memcache redis tair 性能测试报告

    【性能测试报告概述】 这份报告详细对比了三种常用的内存数据库——memcache、redis以及tair的性能表现。测试目的是为了评估这些缓存工具在不同场景下的处理能力,特别是在并发操作和不同大小的数据存储上的效率。...

    分布式缓存技术-Redis和Memcached选型对比-性能测试

    本文将深入探讨Redis与Memcached的选型对比,分析它们的性能测试结果,并探讨各自的优缺点。 Redis与Memcached都是基于NoSQL的内存数据结构存储系统,用于加速应用程序,支持亚毫秒级延迟,并且都是开源项目,用...

    hibernate-memcached包

    这个版本的hibernate-memcached已经过测试和优化,确保与1.2.2版本的兼容性,为开发者提供稳定且高效的缓存服务。 **jbossl-LICENSE.txt** 文件则包含了该软件包的许可协议,通常这些协议会详细说明软件的使用、...

    memcached数据完整迁移到redis

    Memcached 是一个广泛使用的分布式内存对象缓存系统,它能提高 Web 应用程序的性能。它通过将数据存储在内存中,提供快速的访问速度。Memcached 的主要特点包括简单的键值对存储、内存优化的数据结构以及基于内存的...

    memcached工具类源码

    Memcached是一种高性能、分布式内存对象缓存系统,用于在动态系统中减少数据库负载,提高网站性能。它通过将数据和对象存储在服务器的内存中,而不是每次请求时都查询数据库,从而显著提高了读取速度。这里我们将...

    memcached整合hibernate资源合集

    Memcached是一种高性能的分布式内存对象缓存系统,用于减轻数据库负载,提高应用程序的响应速度。而Hibernate则是一个Java持久化框架,它简化了数据库与Java对象之间的交互,使得开发人员能够更专注于业务逻辑而不是...

Global site tag (gtag.js) - Google Analytics