转:http://www.iteye.com/topic/225692
Memcached,人所皆知的remote distribute cache(不知道的可以javaeye一下下,或者google一下下,或者baidu一下下,但是鉴于baidu的排名商业味道太浓(从最近得某某事件可以看出),所以还是建议javaeye一下下),使用起来也非常的简单,它被用在了很多网站上面,几乎很少有大型的网站不会使用memcached。
曾经我也看过很多剖析memcached内部机制的文章,有一点收获,但是看过之后又忘记了,而且没有什么深刻的概念,但是最近我遇到一个问题,这个问题迫使我重新来认识memcache,下面我阐述一下我遇到的问题
问题:我有几千万的数据,这些数据会经常被用到,目前来看,它必须要放到memcached中,以保证访问速度,但是我的memcached中数据经常会有丢失,而业务需求是memcached中的数据是不能丢失的。我的数据丢失的时候,memcached server的内存才使用到60%,也就是还有40%内存被严重的浪费掉了。但不是所有的应用都是这样,其他应用内存浪费的就比较少。为什么内存才使用到60%的时候LRU就执行了呢(之所以确定是LRU执行是因为我发现我的数据丢失的总是前面放进去的,而且这个过程中,这些数据都没有被访问,比如第一次访问的时候,只能访问第1000w条,而第300w条或者之前的数据都已经丢失了,从日志里看,第300w条肯定是放进去了)。
带着这些疑问,我开始重新审视memcached这个产品,首先从它的内存模型开始:我们知道c++里分配内存有两种方式,预先分配和动态分配,显然,预先分配内存会使程序比较快,但是它的缺点是不能有效利用内存,而动态分配可以有效利用内存,但是会使程序运行效率下降,memcached的内存分配就是基于以上原理,显然为了获得更快的速度,有时候我们不得不以空间换时间。
也就是说memcached会预先分配内存,对了,memcached分配内存方式称之为allocator,首先,这里有3个概念:
1 slab
2 page
3 chunk
解释一下,一般来说一个memcahced进程会预先将自己划分为若干个slab,每个slab下又有若干个page,每个page下又有多个chunk,如果我们把这3个咚咚看作是object得话,这是两个一对多得关系。再一般来说,slab得数量是有限得,几个,十几个,或者几十个,这个跟进程配置得内存有关。而每个slab下得page默认情况是1m,也就是说如果一个slab占用100m得内存得话,那么默认情况下这个slab所拥有得page得个数就是100,而chunk就是我们得数据存放得最终地方。
举一个例子,我启动一个memcached进程,占用内存100m,再打开telnet,telnet localhost 11211,连接上memcache之后,输入stats slabs,回车,出现如下数据:
- STAT 1:chunk_size 80
- STAT 1:chunks_per_page 13107
- STAT 1:total_pages 1
- STAT 1:total_chunks 13107
- STAT 1:used_chunks 13107
- STAT 1:free_chunks 0
- STAT 1:free_chunks_end 13107
- STAT 2:chunk_size 100
- STAT 2:chunks_per_page 10485
- STAT 2:total_pages 1
- STAT 2:total_chunks 10485
- STAT 2:used_chunks 10485
- STAT 2:free_chunks 0
- STAT 2:free_chunks_end 10485
- STAT 3:chunk_size 128
- STAT 3:chunks_per_page 8192
- STAT 3:total_pages 1
- STAT 3:total_chunks 8192
- STAT 3:used_chunks 8192
- STAT 3:free_chunks 0
- STAT 3:free_chunks_end 8192
以上就是前3个slab得详细信息
chunk_size表示数据存放块得大小,chunks_per_page表示一个内存页page中拥有得chunk得数量,total_pages表示每个slab下page得个数。total_chunks表示这个slab下chunk得总数(=total_pages * chunks_per_page),used_chunks表示该slab下已经使用得chunk得数量,free_chunks表示该slab下还可以使用得chunks数量。
从上面得示例slab 1一共有1m得内存空间,而且现在已经被用完了,slab2也有1m得内存空间,也被用完了,slab3得情况依然如此。 而且从这3个slab中chunk得size可以看出来,第一个chunk为80b,第二个是100b,第3个是128b,基本上后一个是前一个得1.25倍,但是这个增长情况我们是可以控制得,我们可以通过在启动时得进程参数 –f来修改这个值,比如说 –f 1.1表示这个增长因子为1.1,那么第一个slab中得chunk为80b得话,第二个slab中得chunk应该是80*1.1左右。
解释了这么多也该可以看出来我遇到得问题得原因了,如果还看不出来,那我再补充关键的一句:memcached中新的value过来存放的地址是该value的大小决定的,value总是会被选择存放到chunk与其最接近的一个slab中,比如上面的例子,如果我的value是80b,那么我这所有的value总是会被存放到1号slab中,而1号slab中的free_chunks已经是0了,怎么办呢,如果你在启动memcached的时候没有追加-M(禁止LRU,这种情况下内存不够时会out of memory),那么memcached会把这个slab中最近最少被使用的chunk中的数据清掉,然后放上最新的数据。这就解释了为什么我的内存还有40%的时候LRU就执行了,因为我的其他slab中的chunk_size都远大于我的value,所以我的value根本不会放到那几个slab中,而只会放到和我的value最接近的chunk所在的slab中(而这些slab早就满了,郁闷了)。这就导致了我的数据被不停的覆盖,后者覆盖前者。
问题找到了,解决方案还是没有找到,因为我的数据必须要求命中率时100%,我只能通过调整slab的增长因子和page的大小来尽量来使命中率接近100%,但是并不能100%保证命中率是100%(这话怎么读起来这么别扭呢,自我检讨一下自己的语文水平),如果您说,这种方案不行啊,因为我的memcached server不能停啊,不要紧还有另外一个方法,就是memcached-tool,执行move命令,如:move 3 1,代表把3号slab中的一个内存页移动到1号slab中,有人问了,这有什么用呢,比如说我的20号slab的利用率非常低,但是page却又很多,比如200,那么就是200m,而2好slab经常发生LRU,明显page不够,我就可以move 20 2,把20号slab的一个内存页移动到2号slab上,这样就能更加有效的利用内存了(有人说了,一次只移动一个page,多麻烦啊?ahuaxuan说,还是写个脚本,循环一下吧)。
有人说不行啊,我的memcache中的数据不能丢失啊,ok,试试新浪的memcachedb吧,虽然我没有用过,但是建议大家可以试试,它也使利用memcache协议和berkeleyDB做的(写到这里,我不得不佩服danga了,我觉得它最大的贡献不是memcache server本身,而是memcache协议),据说它被用在新浪的不少应用上,包括新浪的博客。
补充,stats slab命令可以查看memcached中slab的情况,而stats命令可以查看你的memcached的一些健康情况,比如说命中率之类的,示例如下:
- STAT pid 2232
- STAT uptime 1348
- STAT time 1218120955
- STAT version 1.2.1
- STAT pointer_size 32
- STAT curr_items 0
- STAT total_items 0
- STAT bytes 0
- STAT curr_connections 1
- STAT total_connections 3
- STAT connection_structures 2
- STAT cmd_get 0
- STAT cmd_set 0
- STAT get_hits 0
- STAT get_misses 0
- STAT bytes_read 26
- STAT bytes_written 16655
- STAT limit_maxbytes 104857600
从上面的数据可以看到这个memcached进程的命中率很好,get_misses低达0个,怎么回事啊,因为这个进程使我刚启动的,我只用telnet连了一下,所以curr_connections为1,而total_items为0,因为我没有放数据进去,get_hits为0,因为我没有调用get方法,最后的结果就是misses当然为0,哇哦,换句话说命中率就是100%,又yy了。
该到总结的时候了,从这篇文章里我们可以得到以下几个结论:
结论一,memcached得LRU不是全局的,而是针对slab的,可以说是区域性的。
结论二,要提高memcached的命中率,预估我们的value大小并且适当的调整内存页大小和增长因子是必须的。
结论三,带着问题找答案理解的要比随便看看的效果好得多。
相关推荐
- **监控工具**: 可以使用第三方工具(如`memcached-top`或图形界面工具)来实时监控Memcached的性能指标,如命中率、内存使用情况等。 - **日志记录**: 虽然Memcached本身不提供日志功能,但可以通过第三方脚本或...
例如,`stats` 命令可以显示服务器的统计信息,包括内存使用情况、缓存命中率等。 #### 3. 深入Memcached内部 ##### Slab与Page机制 Memcached采用slab分配器来管理内存,每个slab class包含一组相同大小的pages...
5. **监控与维护**:定期检查Memcached的性能指标,如命中率、内存使用情况等,及时调整参数或优化策略。 总的来说,Memcached作为一款轻量级的缓存服务器,通过缓存数据,显著提升了Web应用的响应速度,减少了对...
3. **缓存命中率**:优化了键值存储策略,提高缓存命中率,例如使用LRU(Least Recently Used)或LFU(Least Frequently Used)算法。 4. **网络I/O优化**:可能采用了NIO(非阻塞I/O)或AIO(异步I/O),以提高网络...
3. **性能监控**:可以使用`stats`命令查看服务器状态,包括内存使用、命中率、连接数等,以便进行性能调优。 4. **集群扩展**:当单个Memcached实例无法满足需求时,可以通过增加更多服务器构成集群。 **六、与...
- **监控与性能调优**:定期监控Memcached的性能指标,如命中率、内存利用率,及时调整参数以提高效率。 - **安全性考虑**:尽管Memcached默认仅监听本地,但在生产环境中应限制网络访问,防止数据泄露。 通过...
4. **监控与调优**:持续监控Memcached的性能,如命中率、内存使用情况等,适时进行参数调整以优化系统性能。 在提供的压缩包中,可能包含了一些关于如何使用或测试Memcached的资源,如`MemcachedTest`可能是用于...
4. **监控与调整**:定期检查Memcached的性能指标,如命中率、内存使用情况等,适时调整参数。 总之,Memcached是实现分布式缓存的有效工具,通过合理利用它可以显著提升Web应用的响应速度和处理能力。在实际应用中...
1. **监控工具**:如`memcached-top`可以实时查看memcached的运行状态,包括命中率、内存使用情况等。 2. **性能调优**:根据监控数据调整内存分配、连接数限制等参数,优化缓存效果。 3. **故障恢复**:通过监控和...
4. **监控与维护**:定期检查Memcached的性能指标,如命中率、内存利用率等,及时调整配置或扩展资源。 综上所述,"memcached-win64-1.4.4-14"是针对64位Windows系统设计的Memcached版本,它提供了高效的内存缓存...
- **memcached的性能**:通过对缓存命中率、延迟时间等指标的监控,可以评估memcached的性能表现。 **5.3 兼容应用程序** - **TokyoTyrant案例**:TokyoTyrant是一个开源的高性能key-value存储系统,它可以与...
2. **监控工具**:如`mcstat`或自定义监控脚本,可以实时监控Memcached的性能指标,包括命中率、内存使用情况等,以便及时调整配置。 通过合理运用Memcached缓存机制,可以有效地提高应用的响应速度,降低数据库...
使用监控工具如`memcached-stat`或第三方库,定期检查内存使用情况、命中率等指标。 2. 定期清理和重启: 定期清理缓存可以避免内存溢出,适时重启服务有助于释放资源。 通过学习和实践这些PHP与Memcached的高级...
可以通过发送`stats`命令获取Memcached的统计信息,例如内存使用情况、命中率、命令执行次数等。 #### 三、深入理解Memcached内部机制 **1. slab分配机制:** Memcached采用了一种称为slab的内存管理策略。slab被...
4. **监控与调优**: 定期检查Memcached的性能指标,如命中率、内存使用情况等,及时进行调整。 总之,Memcached作为一款强大的缓存系统,能够有效提升Web应用的响应速度和整体性能。正确安装和配置,结合合适的使用...
3. 使用工具如`mcamonitor`或自定义脚本监控缓存命中率、内存使用等指标。 **安全与注意事项**: 1. 默认情况下,memcached服务不使用密码认证,建议配置防火墙规则或使用iptables限制访问IP。 2. 定期检查并清理...
为了监控Memcached的性能和健康状态,可以使用管理工具,如`mcstat`或`telnet`,查看统计信息,如命中率、内存使用情况等。 综上所述,这个压缩包"memcached全部的jar包2.5.1.rar"为Java开发者提供了与Memcached...
Memcached是一种广泛应用于Web开发领域的高性能分布式内存对象缓存系统,它的主要作用是通过将数据存储在内存中,显著提高数据读取速度,减少对数据库的直接访问,从而提升应用程序的响应时间和整体性能。...
- **监控**: 可以使用工具如`memcached-top`或自定义脚本来监控Memcached的性能指标,如命中率、内存使用情况等。 - **备份与恢复**: 数据在内存中,因此定期备份是必要的。可以使用工具或脚本将数据序列化到磁盘,...