数据库大数据统计的设计方案

需要对一个大数据量（数量级在亿级别）的表，进行数据统计。

我想到要对数据库表进行水平切分。

为了后面方便描述，我先假设表里有三个字段，一个是用户的ID，一个是交易的金额，一个是交易的时间。

但问题是，比如我的统计要求是：要根据指定用户ID，以及一定交易时间区间（比如当前时间之前1个月内），用户金额的汇总达到一定数额的，我需要获取满足这些条件的用户ID列表。

假设设计水平切分，可以根据用户创建创建先后进行切分（其实针对前面描述的统计要求，根据用户的ID进行切分会更好。但考虑到有些统计项不包括用户ID，所以没有选择根据用户ID进行切分）。

当我们对数据完成切分之后，问题就出在对每个切片进行统计这里，因为我不知道其他的切片里，该用户的金额是多少，所以在对每一个切片进行统计的时候，无法判断是否满足统计条件（金额大于指定的值）。

所以就导致了要对每个切片里所有用户做group，然后再汇总每个切片的统计结果。

 

有没有什么更好的解决思路？

评论

1 楼 fjiis 2010-08-31  

对不起，小孩玩的。