WEB缓存技术之阿堂教程:聊聊memcached分布式缓存技术--好文转载

转自：http://blog.sina.com.cn/s/blog_4c925dca010193sy.html

阿堂最早接触memcached技术,实际 上是在原来的一家游戏公司,因为阿堂带领项目组开发的一款网游，上了人人网后，准备要上腾讯的朋友网,腾讯也是比较牛,作为他们的合作伙伴,当时他们会为我们免费提供了CMEM技术和CDB技术(虽然说是免费,但是游戏赚钱后,是要双方分成的),这在当时和现在来说都是非常前沿的技术了。腾讯在国内的技术科研投入和应用上，不愧是走在国内的前列了。

         这里，阿堂先简单介绍下CMEM技术和CDB技术。

 

   什么是CMEM？

（1）全称为Cloud Memcache，是腾讯云平台提供的极高性能、内存级、持久化、分布式的Key-Value存储服务。

（2）CMEM是作为最终落地存储来设计的，拥有数据库级别的访问保障和持续服务能力。

（3）CMEM支持memcached协议，能力比memcached强（能落地），适用memcached、ttserver的地方都适用CMEM。

（4）CMEM解决了内存数据可靠性、分布式及一致性上的问题，让海量访问业务的开发变得简单快捷。

 

  什么是CDB？

  CDB的全称是Cloud Database，主要具有以下一些特点：

（1）云存储服务，是腾讯云计算平台提供的分布式数据存储服务

（2）完全兼容MySQL协议，适用于面向表结构的场景，适用MySQL的地方都可以使用CDB

（3）提供了高性能、高可靠、易用、便捷的MySQL集群服务

（4）整合了备份、扩容、迁移等工具，同时提供CDB管理台，开发者可以方便的进行登录、数据库和表的增删查改等工作

（5）现网CDB的运营数据超过40T，接入业务包括蜀山传奇、武道破天、捕鱼大亨、梦回西游、斗战西游等

 

         既然腾讯都在用memcached协议，那就可以看出memcached技术是如何强大了。那么就请随阿堂一起来看看memcached技术吧！

         Memcached是开源的分布式cache系统，现在很多的大型web应用程序包括腾讯,facebook，youtube，wikipedia，yahoo等等都在使用memcached来支持他们每天数亿级的页面访问。通过把cache层与他们的web架构集成，他们的应用程序在提高了性能的同时，还大大降低了数据库的负载

 

        这里我就简单给大家介绍一下memcached的工作原理：

 

       Memcached处理的原子是每一个（key，value）对（以下简称kv对），key会通过一个hash算法转化成hash-key，便于查找、对比以及做到尽可能的散列。同时，memcached用的是一个二级散列，通过一张大hash表来维护。

 

      Memcached有两个核心组件组成：服务端（ms）和客户端（mc），在一个memcached的查询中，mc先通过计算key的hash值来确定kv对所处在的ms位置。当ms确定后，客户端就会发送一个查询请求给对应的ms，让它来查找确切的数据。因为这之间没有交互以及多播协议，所以memcached交互带给网络的影响是最小化的。

 

举例说明：考虑以下这个场景，有三个mc分别是X，Y，Z，还有三个ms分别是A，B，C：

(mc :  memcached的客户端   ms : memcached的服务端)

设置kv对

X想设置key=”foo”,value=”seattle”

X拿到ms列表，并对key做hash转化，根据hash值确定kv对所存的ms位置

B被选中了

X连接上B，B收到请求，把（key=”foo”,value=”seattle”）存了起来

 

获取kv对

Z想得到key=”foo”的value

Z用相同的hash算法算出hash值，并确定key=”foo”的值存在B上

Z连接上B，并从B那边得到value=”seattle”

其他任何从X，Y，Z的想得到key=”foo”的值的请求都会发向B

 


 缓存策略

当ms的hash表满了之后，新的插入数据会替代老的数据，更新的策略是LRU（最近最少使用），以及每个kv对的有效时限。Kv对存储有效时限是在mc端由app设置并作为参数传给ms的。

同时ms采用是偷懒替代法，ms不会开额外的进程来实时监测过时的kv对并删除，而是当且仅当，新来一个插入的数据，而此时又没有多余的空间放了，才会进行清除动作。

缓存数据库查询
现在memcached最流行的一种使用方式是缓存数据库查询，下面举一个简单例子说明：

App需要得到userid=xxx的用户信息，对应的查询语句类似：

“SELECT * FROM users WHERE userid = xxx”

App先去问cache，有没有“user:userid”（key定义可预先定义约束好）的数据，如果有，返回数据；如果没有，App会从数据库中读取数据，并调用cache的add函数，把数据加入cache中。

当取的数据需要更新，app会调用cache的update函数，来保持数据库与cache的数据同步。

从上面的例子我们也可以发现，一旦数据库的数据发现变化，我们一定要及时更新cache中的数据，来保证app读到的是同步的正确数据。

        经过上面的描述后,相信网友们应该对 memcached的基本原理有了一个比较深晰的认识了 

        阿堂为了让网友们对上面的图示案例更好的理解,下面结合代码来说明一下

public class MemCached
{
    // 创建全局的唯一实例
    protected static MemCachedClient mcc = new MemCachedClient();
    
    protected static MemCached memCached = new MemCached();
    
    // 设置与缓存服务器的连接池
    static {
        // 服务器列表和其权重
        //如下设置了三个ms 
        String[] servers = {"192.168.7.1:11211","192.168.7.2:11212","192.168.7.3:11213"};

        Integer[] weights = {3};

        // 获取socke连接池的实例对象
        SockIOPool pool = SockIOPool.getInstance();

        // 设置服务器信息
        pool.setServers( servers );
        pool.setWeights( weights );

        // 设置初始连接数、最小和最大连接数以及最大处理时间
        pool.setInitConn( 5 );
        pool.setMinConn( 5 );
        pool.setMaxConn( 250 );
        pool.setMaxIdle( 1000 * 60 * 60 * 6 );

        // 设置主线程的睡眠时间
        pool.setMaintSleep( 30 );

        // 设置TCP的参数，连接超时等
        pool.setNagle( false );
        pool.setSocketTO( 3000 );
        pool.setSocketConnectTO( 0 );

        // 初始化连接池
        pool.initialize();

        // 压缩设置，超过指定大小（单位为K）的数据都会被压缩
        mcc.setCompressEnable( true );
        mcc.setCompressThreshold( 64 * 1024 );
    }
    
    
    protected MemCached()
    {
        
    }
    
    
    public static MemCached getInstance()
    {
        return memCached;
    }
    
    
    public boolean add(String key, Object value)
    {
        return mcc.add(key, value);
    }
    
    public boolean add(String key, Object value, Date expiry)
    {
        return mcc.add(key, value, expiry);
    }
    
    public boolean replace(String key, Object value)
    {
        return mcc.replace(key, value);
    }
    
    public boolean replace(String key, Object value, Date expiry)
    {
        return mcc.replace(key, value, expiry);
    }
    
    
    public Object get(String key)
    {
        return mcc.get(key);
    }
    
    public static void main(String[] args)
    {
        MemCached cache = MemCached.getInstance();
       
        cache.add("foo ", "seattle");
        //如上这一步经过了这样几个过程
        1.对key foo进行哈希
        2.选择服务器 (假设根据哈希算法,选择的服务器是 192.168.7.2:11212  MS B)
        3. 连接
        4.设置 key foo和value seattle

        // cache.get("foo")如下一步执行
         1.根据key foo进行哈希知道了 key foo是在  192.168.7.2:11212  MS B 上
         2.连接  192.168.7.2:11212  MS B 
         3.在 192.168.7.2:11212  MS B 上根据 key foo得到相应的value seattle了
         System.out.print("get value : " + cache.get("foo"));

    }
} 
 
            至此，想必网友们对memcached技术有了一个比较相对完整的理解和认识了！   
          由于阿堂对memcached技术也在不断学习中，也算是一个新手了，这里总结分享一下，希望能对朋友们有所帮助！在后一篇文章中，阿堂准备分享一篇memcached的集群技术的实战分享给其它网友，敬请期待。

转自：http://blog.sina.com.cn/s/blog_4c925dca010193sy.html