Tokyo Tyrant 在 php 上不能自动反序列化解决方法

Tokyo Tyrant使用memcached协议连接，但是用php的memcached客户端读取时并没有自动反序列化（unserialize）和解压（gzuncompress）。

一、重写get方法，加上反序列化
缺点：性能不如修改源代码，没解决压缩问题

反序列号比较容易解决，直接对所有值都执行unserialize就可以了，如果解析失败会返回false。
但是解压就麻烦了，我发现值达到一定的长度才会压缩，但是不知道压缩后怎么判断是否压缩了，试着看源码了。看了好久，没找到。 功力有限啊，但是和mmc_request_parse_value这个函数有关。
值得注意的是，当值长度大于memcache.compress_threshold，php memcached客户端会自动压缩，默认是20k

FYI:我解决序列化问题的方法。。。使用压缩会抛出个异常。。

// +----------------------------------------------------------------------+
// | Willko Framework                                                     |
// +----------------------------------------------------------------------+
// | Copyright (c) 2008-2009 Willko Cheng                                 |
// +----------------------------------------------------------------------+
// | Authors: Willko Cheng <[e-mail]>                           |
// +----------------------------------------------------------------------+
class lib_TokyoTyrant extends Memcache {
	
	public function get($key, $flags = null) {
		if (isset($flags)) {
			throw new Exception('Sorry, Do not support compression.');
		}
		
		$result = parent::get($key, $flags);

		if (is_array($result)) {
			foreach ($result as $key => $val) {
				$tmp = unserialize($val);
				$result[$key] = $tmp === false && $val != 'b:0;' ? $result[$key] : $tmp;
			}
		} else {
			$tmp = unserialize($result);
			$result = $tmp === false && $result != 'b:0;' ? $result : $tmp;
		}
		
		return $result;
	}
}

2009-2-16新加
压缩和序列化都解决的代码，值得注意的是，要把memcache.compress_threshold的值调高，不然php memcached客户端会帮你自动压缩。
缺点：虽然解决了问题，但是要设置memcache.compress_threshold，这将导致整个memcache客户端都不自动压缩。
解决方法：1.使用ini_set动态设置，2.Tyrant使用memcache客户端，非Tyrant服务器使用memcached客户端。请参见，http://willko.iteye.com/blog/332993

<?php
// +----------------------------------------------------------------------+
// | Willko Framework                                                     |
// +----------------------------------------------------------------------+
// | Copyright (c) 2008-2009 Willko Cheng                                 |
// | Authors: Willko Cheng <[e-mail]>                           |
// +----------------------------------------------------------------------+
// | Input Date: 2009-02-14                                               |
// | Last Modified: 2009-02-16                                            |
// +----------------------------------------------------------------------+

// ini_set('memcache.compress_threshold', 2147483647);

class lib_TokyoTyrant extends Memcache {
	
	public function add($key, $value) {
		return parent::add($key, gzcompress(serialize($value)));
	}
	
	public function replace($key, $value) {
		return parent::replace($key, gzcompress(serialize($value)));
	}
	
	public function set($key, $value) {
		return parent::set($key, gzcompress(serialize($value)));
	}
	
	public function get($key) {
		$result = parent::get($key);

		if (is_array($result)) {
			foreach ($result as $key => $val) {
				$result[$key] = $val === false ? false : unserialize(gzuncompress($val));
			}
		} elseif ($result !== false) {
			$result = unserialize(gzuncompress($result));
		}
		
		return $result;
	}
}

二、修改c源代码
缺点：版本升级带来困难。并且只解决反序列化的问题，压缩没解决
具体请见：http://syre.blogbus.com/logs/29771714.html


三、使用其它客户端
有个日本人用php写了个客户端，使用socket连接Tyrant，自己封装数据
代码地址：http://openpear.org/repository/Net_TokyoTyrant/trunk
作者介绍：http://blog.livedoor.jp/kistame228/archives/51433029.html

四、PHP Tyrant
这个可以说是目前比较完美的解决方案了，解决压缩、序列化以及支持tt的检索功能
http://mamasam.indefero.net/p/tyrant/

四、pecl客户端
特大好消息，pecl已经有tt的客户端了。http://www.php.net/manual/en/book.tokyo-tyrant.php

评论

7 楼 willko 2009-02-26  

chen4059 写道

java 的好像也不能饭序列化。需要改哪个类？

抱歉，不懂Java。。

6 楼 chen4059 2009-02-26  

java 的好像也不能饭序列化。需要改哪个类？

5 楼 willko 2009-02-16  

outrace 写道

我有发邮件跟作者联系过。作者标识1、不会考虑增加那个flag字段的保存，所以不会支持php的自动反序列化和解压2、ttserver最近支持了table database的支持。不过也同样不会支持memcache client。也就是说无法用php的memcache client来保存table类型的数据到ttserver上。所以：1、不要等作者来帮解决了，自己想办法吧。2、如果能根据ttserver的c api写一个php扩展就好了，什么问题都没有了。不过我不会C。哈哈。等待各位牛人来做吧。

这个序列化还好解决，关键是压缩啊。

解决压缩的方法，把memcache.compress_threshold的值调高，不让客户端自动压缩，然后我们可以用php决定压不压缩，保存和读取统一

不过，我觉得既然作者放弃我们，那我们只能放弃作者了。
我已经转向memcachedb了。

虽然bdb的性能不如Tokyo Cabinet。。。

4 楼 outrace 2009-02-16  

我有发邮件跟作者联系过。
作者标识
1、不会考虑增加那个flag字段的保存，所以不会支持php的自动反序列化和解压

2、ttserver最近支持了table database的支持。不过也同样不会支持memcache client。也就是说无法用php的memcache client来保存table类型的数据到ttserver上。

所以：
1、不要等作者来帮解决了，自己想办法吧。
2、如果能根据ttserver的c api写一个php扩展就好了，什么问题都没有了。不过我不会C。哈哈。等待各位牛人来做吧。

3 楼 willko 2009-02-15  

我明白你意思了，你是说Cabinet只作为存储，是Tyrant提供接口，所以责任不在Tokyo这边，而客户端也只是利用好协议而已，也没责任，说得也对。

不过，我觉得问题始终要解决的，不然php不能使用Tokyo我觉得很可惜。

如果要解决压缩，只能连set、add、replace也重写，手动压缩和解压。
重组数据，用数组封装数据，内置标志位。
例如：
array('data' => 'test', 'flags' => 1);

这样就可以解决问题了，，但是这似乎不是最好的方法。
毕竟严重影响了性能。

2 楼 willko 2009-02-15  

syre 写道

其实这个问题不能说是任何一方的问题。在php客户端解决也许更好一点。因为memcached接口只是Tokyo Tyrant的几个接口之一，而背后的Tokyo Cabinet只能放键值对为了一致性，忽略掉flag也是可以理解的。对php客户端来说，标量不序列化也许是为了便于和其他语言交互吧。

谢谢大哥回复。

我觉得既然Tyrant支持memcached协议，那必须要兼容支持

memcached协议的命令格式为
<command name> <key> <flags> <exptime> <bytes>\r\n
flags是任意16位无符号整形，给客户端保存自己的信息。

所以，Tyrant没支持这个是因为没兼容好memcached协议

1 楼 syre 2009-02-15  

其实这个问题不能说是任何一方的问题。
在php客户端解决也许更好一点。

因为memcached接口只是Tokyo Tyrant的几个接口之一，而背后的Tokyo Cabinet只能放键值对为了一致性，忽略掉flag也是可以理解的。
对php客户端来说，标量不序列化也许是为了便于和其他语言交互吧。