`
jsczxy2
  • 浏览: 1275462 次
  • 性别: Icon_minigender_1
  • 来自: 常州
文章分类
社区版块
存档分类
最新评论

Memcached CAS 协议(处理memcached的多线程并发问题)

阅读更多

什么是CAS协议 

Memcached于1.2.4版本新增CAS(Check and Set)协议类同于Java并发的CAS(Compare and Swap)原子操作,处理同一item被多个线程更改过程的并发问题。 

在Memcached中,每个key关联有一个64-bit长度的long型惟一数值,表示该key对应value的版本号。这个数值由Memcached server产生,从1开始,且同一Memcached server不会重复。在两种情况下这个版本数值会加1:1、新增一个key-value对;2、对某已有key对应的value值更新成功。删除item版本值不会减小。 

例如 

Java代码  收藏代码
  1. MemcachedClient client = new MemcachedClient();  
  2.    client.set("fKey""fValue");   
  3.   //第一次set, 在Memcached server中会维护fKey对应的value的版本号,假设是548;  
  4.   
  5.    client.set("fKey""sValue");   
  6.   //再次set,则这个fKey对应的value的版本号变为549;  
  7.   
  8.    CASValue casValue = client.gets("fKey");  
  9.   //这样就可以得到对应key的cas版本号和实际value(各个Memcached client都有类似的对象表示,名字可能不一样,但效果类同),如 casValue.getValue = "sValue",casValue.getCas=549;  



CAS协议解决的问题 

模拟多个Memcached client并发set同一个key的场景。如clientA想把当前key的value set为"x",且操作成功;clientB却把当前key的value值由"x"覆盖set为"y",这时clientA再根据key去取value时得到"y"而不是期望的"x",它使用这个值,但不知道这个值已经被其它线程修改过,就可能会出现问题。 

CAS协议解决这种并发修改问题。有线程试图修改当前key-value对的value时,先由gets方法得到item的版本号,操作完成提交数据时,使用cas方法谨慎变更,如果在本地对item操作过程中这个key-value对在Memcached server端被其它线程更改过,就放弃此次修改(乐观锁概念)。 


Java代码  收藏代码
  1. CASValue casValue = client.gets(key);  
  2. //*****  
  3. //本地的各种处理  
  4. //*****  
  5. CASResponse response = client.cas(key, newValue, casValue);  
  6. //在我取数据时item的版本号是casValue.getCas(),所以提交时我期望item的版本号是没有改变过的。如果被修改过,不是我取数据时的版本号,那么Memcached server对这次提交什么也不做,返回true或false由用户自己来提出解决方案(什么也不做或是重新获取版本号,再次重试提交等)  



并发环境下的正确性验证 

用多个Memcached client并发更改同一个key值,将value递增,如果  操作次数-CAS失败次数 = value增加的值,表示并发环境下CAS处理没有问题。 

Java代码  收藏代码
  1. import java.io.IOException;  
  2. import java.net.InetSocketAddress;  
  3.   
  4. import net.spy.memcached.CASResponse;  
  5. import net.spy.memcached.CASValue;  
  6. import net.spy.memcached.MemcachedClient;  
  7.   
  8.   
  9. public class CASTest {  
  10.       
  11.     private static MemcachedClient client = null;  
  12.       
  13.     static {  
  14.         try {  
  15.             client = new MemcachedClient(  
  16.                                 new InetSocketAddress("localhost"11211));  
  17.         } catch (IOException o) {  
  18.             o.printStackTrace();  
  19.         }  
  20.     }  
  21.   
  22.     public static void main(String[] args) throws Exception {  
  23.         //Firstly, the key should exist.  
  24.         //key is "number", value is Integer 1, 7845 is expire time  
  25.         client.set("number"78451);  
  26.           
  27.           
  28.         CASTest testObj = new CASTest();  
  29.         //start the multithread environment  
  30.         for (int i = 0; i < 10; i++) {  
  31.             testObj.new ThreadTest("Thread-" + (i + 1)).start();  
  32.         }  
  33.     }  
  34.       
  35.     /** 
  36.      * Each thread runs many times 
  37.      */  
  38.     private class ThreadTest extends Thread {  
  39.           
  40.         private  MemcachedClient client = null;  
  41.         ThreadTest(String name) throws IOException {  
  42.             super(name);  
  43.             client = new MemcachedClient(  
  44.                                   new InetSocketAddress("localhost"11211));  
  45.         }  
  46.           
  47.         public void run() {  
  48.             int i = 0;  
  49.             int success = 0;  
  50.             while (i < 10) {  
  51.                 i++;  
  52.                 CASValue<Object> uniqueValue =client.gets("number");  
  53.                 CASResponse response = client.cas("number",     
  54.                  uniqueValue.getCas(), (Integer)uniqueValue.getValue() + 1);  
  55.   
  56.                 if (response.toString().equals("OK")) {  
  57.                     success++;  
  58.                 }  
  59.                 System.out.println(Thread.currentThread().getName() + " " +  i   
  60.                   + " time " + " update oldValue : " + uniqueValue   
  61.                   +  " , result : " + response);  
  62.             }  
  63.               
  64.             if (success < 10) {  
  65.                 System.out.println(Thread.currentThread().getName()  
  66.                       + " unsuccessful times : " + (10 - success ));  
  67.             }  
  68.         }  
  69.     }  
  70. }  



每次执行的结果都会不一样,如其中某次的执行结果为: 总共操作100次,冲突47次,且最后value由1涨到53,那么表示验证成功。 

分享到:
评论

相关推荐

    memcached源代码下载.rar

    - **特性**:支持多线程、异步操作、预取策略、过期策略等。 - **连接管理**:通过PooledConnectionProvider管理连接池,提高性能。 - **序列化**:提供自定义序列化方式,以便将.NET对象转换为可以在`memcached`中...

    Memcached源码剖析笔记

    - `gets`:获取键对应的值及其CAS值(用于处理并发更新问题)。 ##### 删除命令 - `delete`:删除指定的键值对。 ##### 高级命令 - `incr`/`decr`:对指定键对应的数值型值进行增加或减少操作。 - `flush_all`:...

    memcached-1.2.1-win32.rar

    - 使用内存存储,读写速度快,且支持多线程,能处理大量并发请求。 - 轻量级,对服务器资源需求低,易于部署和维护。 5. **适用场景** - 高并发读取场景,如社交媒体的用户资料、热门文章等。 - 减轻数据库压力...

    java_memcached-release_2.6.6.rar

    6. **并发控制**:在多线程环境下,客户端需要处理并发访问同一键的情况。Java Memcached客户端通常支持CAS(Compare and Swap)操作,这是一种无锁算法,可以保证在多线程环境下的数据一致性。 7. **性能优化**:...

    Memcached内存分析、调优、集群

    其设计简洁,协议简单,基于libevent时间处理机制,能够利用epoll/kqueue等技术进行高效的时间管理。Memcached采用内置的内存存储方式,如slab和LRU算法,确保了高效率的数据存取。 #### 2. Memcached的使用:安装...

    java面试题_多线程(68题).pdf

    Java中的多线程是面试中常见的话题,涵盖了操作系统的基础概念以及Java并发库的高级特性。以下是对这些知识点的详细解释: 1. **线程**:线程是操作系统调度的基本单元,一个进程中可以有多个线程并发执行。在多...

    LINUX系统安装PHP的memcached扩展.pdf

    memcached的1.2.4及以上版本引入了CAS(Check and Set)协议,该协议解决了多线程环境下对同一键值进行并发操作时可能出现的问题。CAS类似于数据库中的锁机制,防止了数据的冲突和不一致。PHP的原生memcache扩展并...

    java并发编程与高并发解决方案

    在探讨Java并发编程与高并发解决方案之前,我们首先需要理解几个关键概念:并发(Concurrency)、高并发(High Concurrency)以及多线程(Multithreading)。这些概念是现代软件开发中不可或缺的一部分,尤其是在...

    Memcached内存分析、调优、集群.pdf

    Memcached的设计原则简单而高效,它使用了一个简单的文本协议,并且基于libevent事件驱动模型,能够同时处理多个并发连接,这使得它在处理大量数据请求时表现出色。 **特性简介:** - **协议简单:** Memcached...

    Memcached重要结构.doc

    - `binary_header`, `cas`, `cmd`, `opaque`, `keylen`: 二进制协议相关字段,如 CAS(Compare and Swap)值、命令代码等。 - `next` 和 `thread`: 链接管理,指向下一个连接和所属线程。 2. `slab_rebalance` ...

    Memcached源码剖析笔记_wrapper1

    Memcached的设计简单而高效,支持多线程并发操作,适用于处理大量小型数据对象,如网页片段、用户会话数据或数据库查询结果。 **2. memcached的安装** 安装Memcached通常涉及编译源代码并配置服务。首先,需要下载...

    04、多线程(68题)1

    线程是操作系统调度的基本单位,它是进程中的执行实体,允许同一进程中的多个任务并发执行,提高系统的并行处理能力。线程安全与线程不安全是多线程编程中的概念。线程安全意味着在多线程环境下,一个方法或变量在被...

    memcached-1.2.4-Win32 (安装使用文档+软件)

    5. **并发处理**: 了解Memcached如何处理多线程和并发请求,确保在高并发环境下仍能保持高效稳定。 **注意事项** 1. **内存限制**: 由于Memcached所有数据都存储在内存中,因此需要合理预估和配置可用内存,避免因...

    Memcached存储机制 测试

    - 线程模型:Memcached采用预派生线程模型,预先创建一定数量的工作线程,当请求到来时直接复用,减少了线程创建和销毁的开销。 - CAS(Compare and Swap):提供了一种保证数据一致性的机制。每个数据项都有一个...

Global site tag (gtag.js) - Google Analytics