Beansdb key,value数据存储

http://code.google.com/p/beansdb/

 

简介

BeansDB 是一个主要针对大数据量、高可用性的分布式KeyValue存储系统，采用HashTree和简化的版本号来快速同步保证最终一致性（弱），一个简化版的Dynamo。

它采用类似memcached的去中心化结构，在客户端实现数据路由。目前只提供了Python版本的客户端，其它语言的客户端可以由memcached的客户端稍加改造得到。

Google Group: http://groups.google.com/group/beandb/

更新

2009.12.29 第一个公开版本 0.3

特性

高可用：通过多个可读写的用于备份实现高可用

最终一致性：通过哈希树实现快速完整数据同步（短时间内数据可能不一致）

容易扩展：可以在不中断服务的情况下进行容量扩展。

高性能：异步IO和高性能的KeyValue数据TokyoCabinet

可配置的可用性和一致性：通过N,W,R进行配置

简单协议：Memcache兼容协议，大量可用客户端

客户端

目前只提供了Python版本的客户端，在python目录中，该目录中各文件的左右如下：

dbclient.py BeansDB的客户端，由memcached的客户端简单封装而成

status.py 查看BeansDB的状态，各个节点的数据分布，以及同步状态

sync.py 同步各节点

httpd.py HTTP方式访问BeansDB的内容(目前只有GET方式)

store.pyx, dbserver.py test.py setup.py

Python 版本的BeansDB，核心部分是C实现

 

代码示例：

from dbclient import Beansdb

# three beansdb nodes on localhost
BEANSDBCFG = {
    "localhost:7901": range(16),
    "localhost:7902": range(16),
    "localhost:7903": range(16),
}

db = Beansdb(BEANSDBCFG, 16)

db.set('hello', 'world')
db.get('hello')
db.delete('hello')

性能

在小数据集上，它跟memcached一样快：

# memstorm -s localhost:7900 -n 1000
Num of Records      : 10000
Non-Blocking IO     : 0
TCP No-Delay        : 0

Successful   [SET]  : 10000
Failed       [SET]  : 0
Total Time   [SET]  : 0.45493s
Average Time [SET]  : 0.00005s

Successful   [GET]  : 10000
Failed       [GET]  : 0
Total Time   [GET]  : 0.28609s
Average Time [GET]  : 0.00003s