从GAE datastore联想到key-value database的应用

     随着google app engine的推广，google的bigtable越来越得到重用。当然使用GAE的时候是感觉不到bigtable的存在的，因为我们直接使用的是封装好的google.appengine.datastore。GAE的datastore使用起来很像大多数的orm，对于现在使用怪了orm的程序员来说非常的friendly(定义model and properties就可以)。datastore是基于bigtable实现的，在这个视频(App Engine Datastore Under the Covers)中有详细的介绍。

     由此想到，是否可以做一个object到key-value database的映射框架，这样对于使用orm的程序员来说不用重新适应key-vaule数据库的特性，直接使用映射框架就可以了。当然，key-value数据库是基于key来访问的，不能做复杂的查询。这个问题的话，上面那个视频阐述了一种方案，通过管理一个索引，而data object本身就直接转存到一个bigtable column中，然后通过查询索引来模拟复杂的sql查询（当然还是有限制的）。

     主要我觉得现在的关系型数据库的最大弊端是，定义的schema是相对静态的，而现在web开发环境和流程越来越需要这个schema能不断的进化。对于这个问题我们是否也可以通过维护一个schema的历史来实现，就是说每个data object对应到一个数据的定义（schema），老的数据可以通过旧有的schema定义来访问。

 

参考资料

App Engine Datastore Under the Covers

bigtable介绍

评论

4 楼 fly_hyp 2009-05-14  

我正在开发一个java版本的分布式 keyvalue DB 有没有兴趣参与讨论一下或一起参与一下？

3 楼 harry 2009-04-05  

logicgate 写道

key-value database是怎样处理海量数据的查询问题

其中key的优化比较关键，其次使用索引来定位一个较小的访问集合，然后再在这个集合上进行复杂查询。

2 楼 harry 2009-04-05  

logicgate 写道

利用lob数据类型，现有的relation database也可以实现应用级别的动态schema。

这个你能详细说一下吗，比较感兴趣？

1 楼 logicgate 2009-04-04  

利用lob数据类型，现有的relation database也可以实现应用级别的动态schema。

不知道这种kay-value database是怎样处理海量数据的查询问题呢？怎样做性能方面的优化？楼主有没有这方面的资料？