`
langyu
  • 浏览: 888857 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

Memcached CAS 协议

    博客分类:
  • java
阅读更多
什么是CAS协议

Memcached于1.2.4版本新增CAS(Check and Set)协议类同于Java并发的CAS(Compare and Swap)原子操作,处理同一item被多个线程更改过程的并发问题。

在Memcached中,每个key关联有一个64-bit长度的long型惟一数值,表示该key对应value的版本号。这个数值由Memcached server产生,从1开始,且同一Memcached server不会重复。在两种情况下这个版本数值会加1:1、新增一个key-value对;2、对某已有key对应的value值更新成功。删除item版本值不会减小。

例如
MemcachedClient client = new MemcachedClient();
   client.set("fKey", "fValue"); 
  //第一次set, 在Memcached server中会维护fKey对应的value的版本号,假设是548;

   client.set("fKey", "sValue"); 
  //再次set,则这个fKey对应的value的版本号变为549;

   CASValue casValue = client.gets("fKey");
  //这样就可以得到对应key的cas版本号和实际value(各个Memcached client都有类似的对象表示,名字可能不一样,但效果类同),如 casValue.getValue = "sValue",casValue.getCas=549;


CAS协议解决的问题

模拟多个Memcached client并发set同一个key的场景。如clientA想把当前key的value set为"x",且操作成功;clientB却把当前key的value值由"x"覆盖set为"y",这时clientA再根据key去取value时得到"y"而不是期望的"x",它使用这个值,但不知道这个值已经被其它线程修改过,就可能会出现问题。

CAS协议解决这种并发修改问题。有线程试图修改当前key-value对的value时,先由gets方法得到item的版本号,操作完成提交数据时,使用cas方法谨慎变更,如果在本地对item操作过程中这个key-value对在Memcached server端被其它线程更改过,就放弃此次修改(乐观锁概念)。


CASValue casValue = client.gets(key);
//*****
//本地的各种处理
//*****
CASResponse response = client.cas(key, newValue, casValue);
//在我取数据时item的版本号是casValue.getCas(),所以提交时我期望item的版本号是没有改变过的。如果被修改过,不是我取数据时的版本号,那么Memcached server对这次提交什么也不做,返回true或false由用户自己来提出解决方案(什么也不做或是重新获取版本号,再次重试提交等)


并发环境下的正确性验证

用多个Memcached client并发更改同一个key值,将value递增,如果  操作次数-CAS失败次数 = value增加的值,表示并发环境下CAS处理没有问题。

import java.io.IOException;
import java.net.InetSocketAddress;

import net.spy.memcached.CASResponse;
import net.spy.memcached.CASValue;
import net.spy.memcached.MemcachedClient;


public class CASTest {
	
	private static MemcachedClient client = null;
	
	static {
		try {
			client = new MemcachedClient(
                                new InetSocketAddress("localhost", 11211));
		} catch (IOException o) {
			o.printStackTrace();
		}
	}

	public static void main(String[] args) throws Exception {
		//Firstly, the key should exist.
		//key is "number", value is Integer 1, 7845 is expire time
		client.set("number", 7845, 1);
		
		
		CASTest testObj = new CASTest();
		//start the multithread environment
		for (int i = 0; i < 10; i++) {
			testObj.new ThreadTest("Thread-" + (i + 1)).start();
		}
	}
	
	/**
	 * Each thread runs many times
	 */
	private class ThreadTest extends Thread {
		
		private  MemcachedClient client = null;
		ThreadTest(String name) throws IOException {
			super(name);
			client = new MemcachedClient(
                                  new InetSocketAddress("localhost", 11211));
		}
		
		public void run() {
			int i = 0;
			int success = 0;
			while (i < 10) {
				i++;
				CASValue<Object> uniqueValue =client.gets("number");
				CASResponse response = client.cas("number",   
                 uniqueValue.getCas(), (Integer)uniqueValue.getValue() + 1);

				if (response.toString().equals("OK")) {
					success++;
				}
				System.out.println(Thread.currentThread().getName() + " " +  i 
                  + " time " + " update oldValue : " + uniqueValue 
                  +  " , result : " + response);
			}
			
			if (success < 10) {
				System.out.println(Thread.currentThread().getName()
                      + " unsuccessful times : " + (10 - success ));
			}
		}
	}
}


每次执行的结果都会不一样,如其中某次的执行结果为: 总共操作100次,冲突47次,且最后value由1涨到53,那么表示验证成功。

不足之处,诚请提出!
分享到:
评论
4 楼 harim 2015-05-27  
真是好文章!
3 楼 chenzhou123520 2013-05-10  
文章写得很不错,顶一个,不过我在测试时一开始报错,在网上也没找到对应的错误解决方法。后面排查了才知道是memcached server版本的问题,文中已经说明了CAS协议是在Memcached 1.2.4版本中添加的,所以我们在测试时版本必须为1.2.4或以上版本。犯这个错误比较低级,写出来希望其他人不要重蹈覆辙。
2 楼 yidao620c 2012-11-27  
你的头像真可爱
1 楼 leeray 2011-06-23  
写的不错。 很易懂

相关推荐

    试翻译memcached协议

    **Memcached协议详解** Memcached是一种高性能的分布式内存对象缓存系统,用于减轻数据库的负载,通过在内存中存储常用数据来加快数据访问速度。它简单而强大,被广泛应用于Web应用、API服务以及需要快速响应时间的...

    memcached源代码下载.rar

    - **命令处理**:`memcached`支持GET、SET、DELETE等基本操作,以及CAS(Check and Set)操作,确保数据一致性。 **4. EnyimMemcached** `EnyimMemcached-11226.zip`是一个.NET客户端库,用于与`memcached`服务器...

    memcached官方jar和一些网上的资料

    Memcached 使用基于内存的键值存储模型,其工作流程简单高效:应用程序通过网络协议与Memcached服务器通信,进行数据的读写操作。数据以键(key)和值(value)的形式存储,键是唯一的标识符,值可以是任意类型的...

    memcached-protocol:Node.JS 的快速 memcached 二进制协议实现,带有二进制数据包读写器和相应的流接口

    内存缓存协议Node.JS 的快速 memcached 二进制协议实现,具有二进制数据包读取器/写入器和相应的流接口。安装 npm install memcached-protocol接口 var mp = require ( 'memcached-protocol' ) ;var writer = mp . ...

    memcached-1.5.3.tar.gz

    5. **TCP协议**:memcached使用TCP协议进行通信,客户端可以通过网络连接到memcached服务器进行数据操作。 6. **过期机制**:支持设置数据的过期时间,当数据过期后,memcached会自动删除该数据。 7. **CAS(Check-...

    Memcached.pdf Memcached.pdf

    - Memcached 支持 TCP 和 UDP 两种通信协议,这增加了其灵活性和适用范围。 #### 三、工作原理 1. **守护程序模式运行:** - Memcached 以守护程序的方式运行在一个或多个服务器上,始终准备接收客户端的连接...

    memcached缓存很全的文档及说明

    Memcached提供了简单的文本协议,允许客户端通过TCP或UDP接口与服务器通信。基本操作包括`set`(设置键值对)、`get`(获取键对应的值)、`delete`(删除键)和`incr/decr`(对数值类型键进行增减操作)。此外,还...

    twisted-memcached:扭曲的 memcached 协议

    1. **完整协议支持**:它实现了memcached的完整二进制协议,包括GET、SET、DELETE等常见操作,以及更复杂的功能如CAS(Check and Set)和touch命令。 2. **异步操作**:利用Twisted的事件驱动模型,所有的memcached...

    memcached-1.2.1-win32.rar

    - 客户端通过TCP或UDP协议与memcached服务器通信,执行增删改查操作。 - 通过CAS标识,客户端可以实现无锁操作,保证数据一致性。 **最佳实践** - 优化缓存策略:设置合理的过期时间,使用LRU(Least Recently ...

    Memcached源码剖析笔记

    - **客户端-服务器架构**:客户端通过网络协议与Memcached服务器通信,服务器负责处理请求并返回结果。 - **非阻塞I/O**:利用`libevent`库实现高效的事件驱动机制,使得服务器能够在单个进程中处理多个客户端的请求...

    缓存服务器memcached代码及使用文档

    Memcached通过TCP协议进行通信,服务器端接收客户端的请求,将数据存储到内存中,并为每个数据项设置一个过期时间。当客户端需要数据时,会首先查询Memcached,如果缓存中有数据,就直接返回,称为缓存命中;如果...

    Memcached内存分析、调优、集群

    其设计简洁,协议简单,基于libevent时间处理机制,能够利用epoll/kqueue等技术进行高效的时间管理。Memcached采用内置的内存存储方式,如slab和LRU算法,确保了高效率的数据存取。 #### 2. Memcached的使用:安装...

    java_memcached-release_2.6.6.rar

    Java Memcached客户端通常支持CAS(Compare and Swap)操作,这是一种无锁算法,可以保证在多线程环境下的数据一致性。 7. **性能优化**:为了提高性能,Java Memcached客户端可能会采用批量操作,如批量设置、获取...

    Memcached Study

    3. **简单协议**:使用简单的文本协议进行通信,避免了XML等复杂协议带来的额外开销。 4. **数据冗余与容错**:虽然Memcached自身不提供数据持久化功能,但可以通过复制或集群配置实现数据冗余,增强系统的容错能力...

    LINUX系统安装PHP的memcached扩展.pdf

    memcached的1.2.4及以上版本引入了CAS(Check and Set)协议,该协议解决了多线程环境下对同一键值进行并发操作时可能出现的问题。CAS类似于数据库中的锁机制,防止了数据的冲突和不一致。PHP的原生memcache扩展并...

    Memcached重要结构.doc

    - `binary_header`, `cas`, `cmd`, `opaque`, `keylen`: 二进制协议相关字段,如 CAS(Compare and Swap)值、命令代码等。 - `next` 和 `thread`: 链接管理,指向下一个连接和所属线程。 2. `slab_rebalance` ...

Global site tag (gtag.js) - Google Analytics