初识kestrel

    Kestrel是一个scala写的twitter开源的消息中间件，特点是高性能、小巧（2K行代码）、持久存储（记录日志到journal）并且可靠（支持可靠获取）。Kestrel的前身是Ruby写的Starling项目，后来twitter的开发人员尝试用scala重新实现。它的代码非常简洁并且优雅，推荐一读。

    Kestrel采用的协议是memcached的文本协议，但是并不完全支持所有memcached协议，也不是完全兼容现有协议。标准的协议它仅支持GET、SET、FLUSH_ALL、STATS，扩展的协议有:

              SHUTDOWN       关闭kestrel server    
              RELOAD         动态重新加载配置文件
              DUMP_CONFIG    dump配置文件
              FLUSH queueName   flush某个队列

 

    每个key对应都是一个队列。标准memcached文本协议的支持上也没有完全兼容，SET不支持flag，因此现有大多数基于flag做序列化的memcached client都无法存储任意java类型到kestrel；FLUSH_ALL返回"Flushed all queues.\r\n"而不是"OK\r\n"。

    GET协议支持阻塞获取和可靠获取，都是在key上作文章，例如你要获取queue1的消息，并且在没有消息的时候等待一秒钟，如果有消息马上返回，超时时间后还没有就返回空，kestrel允许你通过发送

"GET queue1/t=1000\r\n"

 

来阻塞获取。本来的key应该queue1，这里变成了"queue1/t=1000"，因此如果你使用的client有对返回的key和发送的key做校验，那么可能就认为kestrel返回错误。
    什么是可靠获取呢？默认的GET是从队列中获取消息后，server端就将该消息从队列中移除，客户端需要自己保证不把这个消息丢失掉，也就是说这里是类似JMS规范中的自动应答（auto-acknowledge)，如果客户端在处理这个消息的时候异常崩溃或者在接收消息数据的时候连接断开，那么可能导致这个消息永久丢失。Kestrel的可靠获取就是类似JMS规范中的CLIENT_ACK mode，客户端获取消息后，server将这个消息从队列移除并正常发送给客户端，如果这时候客户端崩溃或者连接断开，那么server将不会确认该消息被消费并且"un-get"这个消息，重新放到队列头部，那么当client重新连接上来的时候还可以获取这个消息；只有当server收到客户端的明确确认消息成功的时候，才将消息移除。这个功能也是通过key做手脚，

"GET queue1/open\r\n"   开始一次可靠获取
"GET queue1/close\r\n"  确认消费成功

 

你要关闭前一次可靠获取开启新的一次，还可以这样调用

"GET queue1/close/open\r\n"

 
    要注意的是每个连接的client只能有一个正在执行的可靠获取，关闭一个没有开启的reliable fetch或者在执行一次reliable fetch再次open一个新的获取都将直接返回空。

    从kestrel的协议方面，我们可以学习到的一点就是在做一份协议的时候，如果有多种不同语言的client的话，应该尽量用通用协议，通用协议通常都已经有很多成熟的client可以使用，避免了为私有协议开发不同语言的client；并且我们可以在通用协议上作扩展，例如kestrel在key上面做的花样，通过给key附加不同的属性即可实现一些特殊功能。

    XMemcachedClient默认是无法支持kestrel对memcached的协议的扩展，也就是说无法支持阻塞获取、可靠获取和flush_all，这是因为xmemcached会对返回的key和发送的key做校验，如果不相等就认为解码错误；并且由于kestrel不支持flag，因此无法存储java序列化类型；另外一个问题是，xmemcached(spymemcached)都会将连续的GET协议合并成一个bulk get协议，而kestrel也并不支持bulk get，所以需要关闭这个优化，这个可以通过下列代码关闭：

memcachedClient.setOptimizeGet(false);

 

Spymemcached似乎不提供这个选项。为了解决序列化问题，我添加了一个新的KestrelCommandFactory，使用这个CommandFactory后，将默认关闭get优化，并且不对GET返回的key做校验从而支持阻塞获取和可靠获取，并且将在存储的数据之前加上4个字节的flag(整型)，因此可以支持存储任意可序列化类型。但是有一些应用只需要存储字符串类型和原生类型，这是为了在不同语言的client 之间保持可移植（如存储json数据），那么就不希望在数据之前加上这个flag，关闭这个功能可以通过

memcachedClient.setPrimitiveAsString(true);

方法来设置，所有的原生类型都将调用toString转成字符串来存储，字符串前不再自动附加flag。使用KestrelCommandFactory后，也将可以正常调用flushAll方法。

    KestrelCommandFactory已经提交到svn trunk，预计在xmemcached 1.2.0-RC2的时候发布。

    使用KestrelCommandFactory对kestrel做的性能测试，server和client都跑在linux上，jdk6,单线程单client连续push消息

               消息个数       消息长度       是否启用journal   时间       TPS(/s)
                500000          256              否              123.0s     4065
                500000          1024            否              126.3s     3959
                500000          4096            否              120.6s     4145
                500000          4096            是              122.1s     4095
                500000          8192            是              121.2s     4125

从数据上来看比官方数据好很多，可能机器配置不同。是否启用journal带来的影响似乎很小，写文件都是append，还是比较高效的。

kestrel的项目主页  http://github.com/robey/kestrel
kestrel的wiki页    http://wiki.github.com/robey/kestrel
xmemcached项目主页  http://code.google.com/p/xmemcached/

“持久存储（记录日志到journal）”其中journal是什么？

ehcache有timeToIdle功能,memcached好像没有,这个功能还是很有用的,比如把session存到cache里面

如果有类似 setExpireTime(String key,int time)这样的方法也可以在每次get的时候重新设置一下过期时间.

楼主的xmemcached有办法实现这个功能否?

关于这个问题可以看这个帖子吧，http://www.iteye.com/topic/200611

memcached协议本身不支持这样做，但是可以通过hack源码来搞定。

Kestrel会将每次操作记录在一个日志文件里，以便恢复的时候重放和校验。

这个有点奇葩呀 消息长度越长的 而且开启持久的 花费时间反而少......

记得 ActiveMQ是否存储 影响是蛮大滴 基本是保守估计也相差一到俩倍

不知道他这个Append是怎么弄的？

activemQ里是存到多个log文件 每个默认32M