TreapDB一个基于treap的高性能key-value数据库

资讯频道 → 编程语言

9顶
1踩

2010-12-03 09:30 by 见习记者 fxsjy 评论(14) 有9891人浏览

Java综合 Cache memcached

声明：ITeye资讯文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

TreapDB 是一个基于 Treap 算法（一种随机二叉搜索树）开发的 Key/Value 数据存储的数据库。兼容 memcached 协议。

更多特性：

TreapDB支持传统的get和set操作，还支持诸如求k个最小和k个最大、前缀查找以及区间查找等；
TreapDB的索引是持久化的，但是使用了Memory Map机制，因此给它更多的内存它的性能会更好；
TreapDB的性能不赖，在给足够的Memory Map的情况下在随机的插入1亿key-value数据，保持在7500每秒；
TreapDB还很年轻，需要一段时间的磨练

RPC Server

memcached protocol compatible server for test usage
thrift-based server for production usage

下载&配置

click here to download http://code.google.com/p/treapdb/downloads/list
configuration:

  
  java $JAVA_OPTS -cp $LIBS fx.sunjoy.FastTreapDB 11811 "./data/dbhere" 64 128

  11811 is the listening port;
  "./data/dbhere" is the index file path;
  64 is the index-block-item size (keep it, if your key is not longer that 30 bytes)
  128 is the memory-map-size (the more the better, if physical memory is big enough;
  when index file size is bigger than memory-map-size parameter,disk seeking will be more frequent.)

Case Study: when memory-map-size is set to 6.4 G, a client insert 0.1 billion key,value pairs to treapdb server with stable speed at 7200/s. After insertion, the query operation can also response in less than 10 ms.

查看更多详情：http://en.wikipedia.org/wiki/Treap

来自: Google Code

分享到：

9
顶

1
踩

评论共 14 条请登录后发表评论

14 楼 fxsjy 2010-12-15 08:33

性能已经有了很大提升，请看：http://code.google.com/p/treapdb/issues/detail?id=6

13 楼 fxsjy 2010-12-09 10:31

leero 写道

7500,和redis相比还是差很多啊，

Redis的性能非常出色，每秒可以处理超过10万次读写操作。

设计思路不一样：
1. 首先，TreapDB没有使用应用级缓存，写入的索引数据立即刷到操作系统内核，至于内核何时刷入硬盘由操作系统决定（通常延时很小）。这一点更像是MongoDB。而真正的数据是以追加的方式进行，即使系统掉电，也不会损坏。我们现在正在实现由数据重新生成索引的功能，这样就算索引由于系统掉电坏掉了，也可以恢复。

2. Redis是内存受限的数据库，而TreapDB并不要求索引文件小于等于内存大小，落在内存映像范围内的数据访问速度很快，而超出内存映像的部分会直接读磁盘。所以，并不受限于内存大小，用户可以根据自己的实际情况来设置内存映像大小。

12 楼 leero 2010-12-09 09:25

7500,和redis相比还是差很多啊，

Redis的性能非常出色，每秒可以处理超过10万次读写操作。

11 楼 fxsjy 2010-12-04 15:20

forchenyun 写道

fxsjy 写道

关于bdb的写，我曾经测试过普通Sata硬盘写，value为1k的情况下，5w/s是没有问题的

5w/s是在什么情况下测试的呢？我觉得和数据规模和插入的key的有序性有很大的关系。对于bdb，如果key是随机的，并且数量超过100万，在我的测试中达不到5w/s的。

所谓的key是随机的是相对于有序的情况，有序是指测试程序的key是一系列有顺序的值，比如thing10,thing11,thing12,thing13,thing14。这样的插入时，后插入的key在读索引时，基本都是命中内存中的cache了（占了前一个key的光），也就是所谓的locality很好。

首先，key随机与否对于写入效率基本没有什么影响，因为文件的写手append only的。其次，你所说的读key索引的问题，基本是说顺序读和随机读的问题了，但就写入来说，一秒几万是肯定没有问题的，我们已经在生产环境中使用。
ps：我说的是je的版本，而非c的版本

可能python自带的c版bdb和je-bdb不一样吧，在python的bsddb模块中，如果是使用btree或hash模式的话，应该都是要改写索引的，append only的模式是新的feature吗?索引全load到内存中?

10 楼 fxsjy 2010-12-04 15:07

又有新的更新了，加入了删除一个key和取length的API.
http://code.google.com/p/treapdb/source/detail?r=10

9 楼 forchenyun 2010-12-04 12:11

fxsjy 写道

8 楼 fxsjy 2010-12-04 09:04

7 楼 forchenyun 2010-12-04 02:11

用

fxsjy 写道

tomqyp 写道

跟ＢＤＢ比怎么样呢

1. 从使用上来讲：TreapDB提供远程访问的能力，但是你也可以直接用代码中的DiskTreap<K,V>这个类，把它嵌入你的代码，这样就和BDB的使用模式一样了。
2. 从性能上来讲，我测试过产生300万个随机key的插入，比BDB要快30%左右。不过，我是用python2.6中自带的bsddb模块，所以测试结果可能不能反映出bdb的真实情况
PS: 在下载包中有一个bench文件夹，bench_random_bdb.py就是测试bdb的写入速度的。bench_random_write.bat是测试treapdb的写入速度的

关于bdb的写，我曾经测试过普通Sata硬盘写，value为1k的情况下，5w/s是没有问题的

6 楼 fxsjy 2010-12-03 16:29

tomqyp 写道

跟ＢＤＢ比怎么样呢

5 楼 tomqyp 2010-12-03 16:20

跟ＢＤＢ比怎么样呢

4 楼 fxsjy 2010-12-03 14:08

得益于thrift的跨平台，可以用多种编程语言进行访问，这里是一个python客户端的例子：

http://code.google.com/p/treapdb/wiki/PythonClientExample

3 楼 fxsjy 2010-12-03 11:58

chan.d 写道

7500每秒？

翻译的问题？

7500/s 究竟这里指的什么？

7500次成功插入每秒

2 楼 chan.d 2010-12-03 11:43

7500每秒？

翻译的问题？

7500/s 究竟这里指的什么？

1 楼 fxsjy 2010-12-03 10:29

svn checkout http://treapdb.googlecode.com/svn/trunk/

发表评论

您还没有登录,请您登录后再发表评论

9顶1踩