`
shaomeng95
  • 浏览: 222537 次
  • 性别: Icon_minigender_1
  • 来自: 南京
社区版块
存档分类
最新评论

Memcached 内存管理

阅读更多

Memcached是一个高效的分布式内存cache,了解memcached的内存管理机制,便于我们理解memcached,让我们可以针对我们数据特点进行调优,让其更好的为我所用。这里简单谈一下我对 memcached的内存管理的一些认识,在没有特别注明的情况下,这里谈到的memcached是1.2版本,1.1和1.2版本有一些差异。
基本概念:Slab和chunk
Memcached内存结构中有两个非常重要的概念:slab 和 chunk,我们先从下图中对这两个概念有一个感性的认识:
1 memcached内存结构
Slab是一个内存块,它是memcached一次申请内存的最小单位。在启动memcached的时候一般会使用参数-m指定其可用内存,但是并不是在启动的那一刻所有的内存就全部分配出去了,只有在需要的时候才会去申请,而且每次申请一定是一个slab。Slab的大小固定为1M(1048576 Byte),一个slab由若干个大小相等的chunk组成。每个chunk中都保存了一个item结构体、一对key和value。
虽然在同一个slab中chunk的大小相等的,但是在不同的slab中chunk的大小并不一定相等,在memcached中按照chunk的大小不同,可以把slab分为很多种类(class)。在启动memcached的时候可以通过-vv来查看slab的种类:
2 slab分组信息
从上图可以看到,默认情况下memcached把slab分为40类(class1~class40),在class 1中,chunk的大小为80字节,由于一个slab的大小是固定的1048576字节(1M),因此在class1中最多可以有13107个chunk:
       13107×80 + 16 = 1048576
class1中,剩余的16字节因为不够一个chunk的大小(80byte),因此会被浪费掉。每类chunk的大小有一定的计算公式的,假定i代表分类,class i的计算公式如下:
chunk size(class i) :  (default_size+item_size)*f^(i-1)+ CHUNK_ALIGN_BYTES
  • default_size: 默认大小为48字节,也就是memcached默认的key+value的大小为48字节,可以通过-n参数来调节其大小;
  • item_size: item结构体的长度,固定为32字节。default_size大小为48字节,item_size为32,因此class1的chunk大小为48+32=80字节;
  • f为factor,是chunk变化大小的因素,默认值为1.25,调节f可以影响chunk的步进大小,在启动时可以使用-f来指定;
  • CHUNK_ALIGN_BYTES是一个修正值,用来保证chunk的大小是某个值的整数倍(在32位机器上要求chunk的大小是4的整数倍)。
从上面的分析可以看到,我们实际可以调节的参数有-f、-n,在memcached的实际运行中,我们还需要观察我们的数据特征,合理的调节f,n的值,使我们的内存得到充分的利用减少浪费。
 
内存申请分配
 
Memcached内存管理采取预分配、分组管理的方式,分组管理就是我们上面提到的slab class,按照chunk的大小slab被分为很多种类。下面解释一下memcached的内存预分配过程。
memcached添加一个item时候,memcached首先会根据 item的大小,来选择最合适的slab class:例如item的大小为190字节,默认情况下class 4的chunk大小为160字节显然不合适,class 5的chunk大小为200字节,大于190字节,因此该item将放在class 5中(显然这里会有10字节的浪费是不可避免的),计算好所要放入的chunk之后,memcached会去检查该类大小的chunk还有没有空闲的,如果没有,将会申请1M(1个slab)的空间并划分为该种类chunk。例如我们第一次向memcached中放入一个190字节的item 时,memcached会产生一个slab class 2(也叫一个page),并会用去一个chunk,剩余5241个chunk供下次有适合大小item时使用,当我们用完这所有的5242个chunk之后,下次再有一个在160~200字节之间的item添加进来时,memcached会再次产生一个class 5的slab(这样就存在了2个pages)。查看slab的使用情况,我们可以telnet ip port,然后输入命令 stats slabs即可:
例如:telnet 10.0.4.210 11211

 

stats slabs
         STAT 5:chunk_size 200
         STAT 5:chunks_per_page 5242
         STAT 5:total_pages 1
         STAT 5:total_chunks 5242
         STAT 5:used_chunks 5242
         STAT 5:free_chunks 0
         STAT 5:free_chunks_end 5241
         STAT active_slabs 1
         STAT total_malloced 1048400

 

3 stats slab
3显示的是第一次放入一个190字节的item之后的统计结果。

分享到:
评论
1 楼 doccent 2012-11-29  
正好要用这个

相关推荐

    计算机后端-PHP视频教程. Memcached12 memcached内存管理机制.wmv

    计算机后端-PHP视频教程. Memcached12 memcached内存管理机制.wmv

    Memcached内存分配与SLAB机制

    SLAB机制是Memcached内存管理的关键组成部分,它通过一种特殊的缓存机制来存储item数据。这种机制能够有效地提高内存利用率并减少内存碎片,从而提高系统的整体性能。 **SLAB机制概述:** - **SLAB(Class)定义**...

    Memcached源码分析之内存管理

    Memcached源码分析之内存管理Memcached源码分析之内存管理

    Memcached内存分析、调优、集群

    ### Memcached内存分析、调优、集群:深入理解与实践 #### 1. Memcached背景与概述 Memcached是一款高性能的分布式内存缓存服务器,它最初由LiveJournal的运营人员开发,现已成为开源社区中不可或缺的一部分。其...

    Memcached 内存分析、调优、集群

    ### Memcached内存分析、调优、集群 #### 1. Memcached背景 Memcached是一款高性能的分布式内存对象缓存系统,旨在通过减轻数据库负载来加速动态Web应用的响应速度。它通过在内存中缓存数据和对象来减少读取数据库...

    29道memcached面试题含答案(很全)

    6. Memcached内存管理机制原理: - Slab Allocation:内存被划分为多个大小固定的块(slabs),每个slab包含多个chunk(数据存储单元)。同一slab的chunk大小相同,避免了内存碎片,简化了内存分配与释放。 ...

    Memcached、Redis、MySQL存储层面试问题

    4. 简述Memcached内存管理机制原理? Memcached使用slab allocation机制来管理内存,每个slab分配一个固定的内存大小,用于存储对象。 5. Memcached是怎么工作的? Memcached服务器可以接受客户端的请求,检查缓存...

    Memcached 客户端 服务端 管理工具

    - **内存管理**:内存是Memcached存储数据的主要场所,它采用 slab 分配器,将内存划分为不同大小的块(slabs),每个块又包含多个固定大小的项(items)。这种设计减少了内存碎片,提高了内存利用率。 - **键值对...

    memcached源码欣赏

    `slab_automove`是memcached内存管理的关键部分,它负责将数据分配到不同的内存层级(slabs)。源码中包含的`struct window_data`和`struct slab_automove`定义了监控和决策的窗口数据结构,用于动态调整slab的分配...

    Memcached内存分析、调优、集群.ppt

    【Memcached内存分析】 Memcached是一款高性能的分布式内存缓存系统,由LiveJournal的运营团队开发,被广泛应用于包括Facebook、mixi、Digg、Wikipedia等在内的大型网站。其设计目标是减轻数据库的压力,通过将常用...

    第四十四章:Memcached高性能对象缓存1

    1. Slab Allocation 机制:Memcached 内存管理的核心是 Slab Allocator,将内存划分为固定大小的 chunk,避免内存碎片。每个 slab 对应一组相同大小的 chunk,数据根据大小被分配到合适的 slab 中。尽管可能导致空间...

    memcached管理session资源

    MSM(Memcached_Session_Manager)是一个基于Java的Memcached会话管理器,它允许我们将Web应用的session数据存储在Memcached服务器上,而不是传统的保存在服务器的内存中或者硬盘上的session文件。这样,即使服务器...

    Memcache 面试题 23道.pdf

    早期的 Memcached 内存管理方式是通过 malloc 的分配的内存,使用完后通过 free 来回收内存,这种方式容易产生内存碎片,并降低操作系统对内存的管理效率。为了解决这个问题,Slab Allocation 内存分配机制就延生了...

    memcached面试26题和答案

    #### Memcached内存管理机制 - **早期机制**: 基于malloc/free的内存管理,可能导致内存碎片问题。 - **改进方案**: 引入Slab Allocation机制。 - **Slab Allocation**: 将内存分割成多个固定大小的“slab class”...

    Memcached内存分析、调优、集群.pdf

    ### Memcached内存分析、调优、集群 #### 一、Memcached背景介绍 Memcached是一款高性能的分布式内存对象缓存系统,它通过减轻数据库负担来加速动态Web应用程序的速度。最初由LiveJournal的开发者Brad Fitzpatrick...

    memcached的内存分配代码

    在Memcached中,内存管理是至关重要的,因为它直接影响到服务的性能和效率。memcached采用了一种特殊的内存分配策略,名为Slab Allocation,以避免频繁的内存碎片和提高内存利用率。 1. Slab Allocation原理: ...

    tomcat+memcached 管理session

    `Tomcat`是一个流行的开源Java Servlet容器,而`Memcached`则是一个分布式内存对象缓存系统,常用于减轻数据库负载,提高应用性能。本篇文章将详细介绍如何使用`Tomcat`结合`Memcached`来实现高效的Session管理。 ...

    寻找我们丢失的数据

    ### 寻找我们丢失的数据——深入理解Memcached内存管理机制 #### 一、故事的开始 在日常工作中,经常会遇到由于各种原因导致的数据丢失问题。本文将以一个具体案例出发,探讨如何有效地解决这类问题,特别是在使用...

Global site tag (gtag.js) - Google Analytics