轻量级持久存储系统 Tokyo 初窥篇

这套Tokyo系列有三个产品，Cabinet是数据库，Tyrant提供管理Cabinet的接口，Dystopia提供全文索引。我把Cabinet理解为存储引擎，Tyrant类似mysql的管理器，Dystopia则是插件。

Tokyo Cabinet是日本人开发的一款数据库，它的功能比较简单，只能键值保存，没有检索功能，以hash table、b+tree、fixed-length array保存。

Tokyo Cabinet有如下特点：

• 键值保存数据库
• 数据文件小
• 高性能，插入1百万记录只需0.4秒(250万 rps),查询1百万记录只需0.3秒(300万 rps)
• 高并发，支持多线程，读写支持锁记录
• 使用简单，通过memcached客户端直接使用（需Tyrant)
• 支持64位架构，容量大
• 支持事务

Tokyo Tyrant提供管理Cabinet的接口，支持memcached协议，所以，可以通过memcached客户端连接Cabinet。

Tokyo Tyrant有如下特点：

• 提供使用Cabinet的接口
• 支持通过memcached和http协议连接
• 高并发，查询100万记录17.2秒（5.8万 rps)
• 支持热备份，复制功能，主持主主(可读写）和主从（分写和读）方式

用Cabinet加上Tyrant实现轻量级持久化存储系统，用来分担数据库的压力，实际上和新浪的memcachdb差不多。我的想法是用memcached做缓存，Tyrant持久储存频繁修改或者不需要检索功能的数据。

ok...先安装再说

1.安装Cabinet
要求

• linux 不低于2.4
• gcc 不低于3.1
• zlib 不低于1.2.3
• bzip2 不低于1.0.5

下载：http://tokyocabinet.sourceforge.net/tokyocabinet-1.4.5.tar.gz

引用

tar zxvf tokyocabinet-1.4.5.tar.gz
cd tokyocabinet-1.4.5
./configure
make
make install

引用

Options of Configure
The following options can be specified with `./configure'.

--enable-debug : build for debugging. Enable debugging symbols, do not perform optimization, and perform static linking.
--enable-devel : build for development. Enable debugging symbols, perform optimization, and perform dynamic linking.
--enable-profile : build for profiling. Enable profiling symbols, perform optimization, and perform dynamic linking.
--enable-static : build by static linking.
--enable-fastest : build for fastest run.
--enable-off64 : build with 64-bit file offset on 32-bit system.
--enable-swab : build for swapping byte-orders.
--enable-uyield : build for detecting race conditions.
--disable-zlib : build without ZLIB compression.
--disable-bzip : build without BZIP2 compression.
--disable-pthread : build without POSIX thread support.
--disable-shared : avoid to build shared libraries.

2.安装Tyrant
下载：http://tokyocabinet.sourceforge.net/tyrantpkg/tokyotyrant-1.1.14.tar.gz

引用

tar zxvf tokyotyrant-1.1.14.tar.gz
cd tokyotyrant-1.1.14
./configure
make
make install
mkdir -p /ttserver/
ttserver -host 192.168.1.254 -port 11311 -thnum 8 -dmn -pid /ttserver/ttserver.pid -log /ttserver/ttserver.log -le -ulog /ttserver/ -ulim 128m -sid 1 -rts /ttserver/ttserver.rts /ttserver/database.tch

失望啊失望啊，用php memcached客户端连接Tyrant有bug（http://willko.iteye.com/blog/332982)，Tyrant只提供了Perl和Ruby的客户端

参考资料：
http://tokyocabinet.sourceforge.net/
http://blog.s135.com/post/362.htm

评论

2 楼 willko 2009-04-07  

Arden 写道

有一点不明白，既然它的数据是持久的，可是又不能检索，那我怎么把ttserver里的数据转移到象mysql这样的关系数据库里去啊？如果没有这种功能，那持久还有什么意义？

首先，我们分析下三种数据储存的优缺点

1.mysql
优点：强大的检索功能（相对于其它）
缺点：性能太差，并发低

2.memcached
优点：扩展容易，高性能，高并发
缺点：只能通过键查询，数据不持久

3.持久存储系统，memcachedb或tokyo Tyrant
优点：扩展容易，和mysql比高性能、高并发，和memcached比数据持久存储
缺点：只能通过键查询，只能做简单存储

ok.

memcached的应用场景只能用来做缓存，因为它是非持久的。

而持久存储系统可以用来代替mysql做一些存储，因为你不是所以数据都很重要和需要检索功能的。
例如，统计，如果你通过update set count = count + 1这样来统计，那mysql肯定受不了。例如，标志，如果你要开发博客，要记录作者今天是否有新日志，你可以用把最后发布日期放进持久存储里去。
也就是说持久存储系统可以用来代替mysql的部分存储，转移mysql的压力，并且解决memcached不能持久的问题。

memcachedb的作者已经很好的描述了应用场景，http://memcachedb.org/memcachedb-guide-1.0.pdf

只要理解他们的优缺点，进行搭配，我相信这是web2.0必备的三样数据存储工具，还有第四样是全文索引。

1 楼 Arden 2009-04-07  

有一点不明白，既然它的数据是持久的，可是又不能检索，那我怎么把ttserver里的数据转移到象mysql这样的关系数据库里去啊？如果没有这种功能，那持久还有什么意义？