论坛首页 综合技术论坛

从GAE datastore联想到key-value database的应用

浏览 2961 次
精华帖 (0) :: 良好帖 (0) :: 新手帖 (0) :: 隐藏帖 (0)
作者 正文
   发表时间:2009-03-31   最后修改:2009-03-31

     随着google app engine的推广,google的bigtable越来越得到重用。当然使用GAE的时候是感觉不到bigtable的存在的,因为我们直接使用的是封装好的google.appengine.datastore。GAE的datastore使用起来很像大多数的orm,对于现在使用怪了orm的程序员来说非常的friendly(定义model and properties就可以)。datastore是基于bigtable实现的,在这个视频(App Engine Datastore Under the Covers)中有详细的介绍。

     由此想到,是否可以做一个object到key-value database的映射框架,这样对于使用orm的程序员来说不用重新适应key-vaule数据库的特性,直接使用映射框架就可以了。当然,key-value数据库是基于key来访问的,不能做复杂的查询。这个问题的话,上面那个视频阐述了一种方案,通过管理一个索引,而data object本身就直接转存到一个bigtable column中,然后通过查询索引来模拟复杂的sql查询(当然还是有限制的)。

     主要我觉得现在的关系型数据库的最大弊端是,定义的schema是相对静态的,而现在web开发环境和流程越来越需要这个schema能不断的进化。对于这个问题我们是否也可以通过维护一个schema的历史来实现,就是说每个data object对应到一个数据的定义(schema),老的数据可以通过旧有的schema定义来访问。

 

参考资料

App Engine Datastore Under the Covers

bigtable介绍

   发表时间:2009-04-04  
利用lob数据类型,现有的relation database也可以实现应用级别的动态schema。

不知道这种kay-value database是怎样处理海量数据的查询问题呢?怎样做性能方面的优化?楼主有没有这方面的资料?
0 请登录后投票
   发表时间:2009-04-05  
logicgate 写道

利用lob数据类型,现有的relation database也可以实现应用级别的动态schema。

这个你能详细说一下吗,比较感兴趣?
0 请登录后投票
   发表时间:2009-04-05   最后修改:2009-04-05
logicgate 写道

key-value database是怎样处理海量数据的查询问题

其中key的优化比较关键,其次使用索引来定位一个较小的访问集合,然后再在这个集合上进行复杂查询。
0 请登录后投票
   发表时间:2009-05-14  
我正在开发一个java版本的分布式 keyvalue DB 有没有兴趣参与讨论一下或一起参与一下?
0 请登录后投票
论坛首页 综合技术版

跳转论坛:
Global site tag (gtag.js) - Google Analytics