数据库大数据统计的设计方案

需要对一个大数据量（数量级在亿级别）的表，进行数据统计。

我想到要对数据库表进行水平切分。

为了后面方便描述，我先假设表里有三个字段，一个是用户的ID，一个是交易的金额，一个是交易的时间。

但问题是，比如我的统计要求是：要根据指定用户ID，以及一定交易时间区间（比如当前时间之前1个月内），用户金额的汇总达到一定数额的，我需要获取满足这些条件的用户ID列表。

假设设计水平切分，可以根据用户创建创建先后进行切分（其实针对前面描述的统计要求，根据用户的ID进行切分会更好。但考虑到有些统计项不包括用户ID，所以没有选择根据用户ID进行切分）。

当我们对数据完成切分之后，问题就出在对每个切片进行统计这里，因为我不知道其他的切片里，该用户的金额是多少，所以在对每一个切片进行统计的时候，无法判断是否满足统计条件（金额大于指定的值）。

所以就导致了要对每个切片里所有用户做group，然后再汇总每个切片的统计结果。

 

有没有什么更好的解决思路？

评论

21 楼 shjy.nicholas 2010-09-07  

wormwang 写道

可以考虑用Greenplum

上万亿条记录都好处理

在http://gpn.greenplum.com，即可免费注册帐号下载。

Greenplum，只是听说过，没具体用过。
等先用MySQL集群做做看，看看效果如何。
够用就行～

20 楼 wormwang 2010-09-07  

可以考虑用Greenplum

上万亿条记录都好处理

在http://gpn.greenplum.com，即可免费注册帐号下载。

19 楼 ray_linn 2010-09-06  

crazy.j 写道

ray_linn 写道

做个月轧就成了，银行要是都这样算，早死机了

移动有上百亿条数据的表，一样有数据库可以统计。看你投多少钱了。

移动也是需要月轧的。这些公司内部都有日报、周报、月报、年报、目的也就是分时段统计，不然到了年终月结，只有8个小时的时间，哪统计得出来

18 楼 yn5411 2010-09-06  

zzy9zzy 写道

把统计结果定期放到中间表里就可以了，每次统计只计算增量部分，几亿条记录的表还没有大到下不去手的地步。

另外不做数据切分，做表分区也可以提高查询速度

me too

17 楼 forchenyun 2010-09-05  

shjy.nicholas 写道

forchenyun 写道

离线的？如果是，可以试试hadoop

也在考虑hadoop，但没有做过具体的测试。
现在正在用MySQL集群来做，想看看效率。

看你是杭州的，莫非是taobao系的？呵呵～
如果是，我知道你们就在使用hadoop，效率如何？还望指点一二。

hadoop+hive，太具体的不清楚，主要做的是数据分析的活
效率的话，你们是离线统计用hadoop是非常合适的
亿级别的数据量也无需做太多优化，用hive上手的难度也很低
如果数据量增长比较迅速，我非常建议你们尝试一下

16 楼 shjy.nicholas 2010-09-05  

目前的试想的解决方案：
采用MySQL集群，
首先采用一张中间表，统计近期（x天）的数据，看看执行效率如何。
如果慢，再尝试使用多张中间表，滚动统计（先统计当天），再与前几日的统计结果进行再次统计，看看统计的效果，和执行时间。
会第一时间贴出统计的结果和信息。

如果感觉还是慢的话，就尝试使用hadoop。

15 楼 xiechao240 2010-09-04  

像这些数据一般都不是现计算的，都是事先统计好的

14 楼 shjy.nicholas 2010-09-03  

其实还有一个场景，就是我在处理的时候，是需要增量统计的。
比如说，我每天都要统计前3天（包括当天）的数据。
每天产生的数据都是1亿。
如果采用中间表的处理方式，可以保存前两天的统计数据。
不过统计项（一般是根据用户统计）太多。

13 楼 共产主义 2010-09-03  

看来我数据库方面真的不行啊

12 楼 zzy9zzy 2010-09-03  

把统计结果定期放到中间表里就可以了，每次统计只计算增量部分，几亿条记录的表还没有大到下不去手的地步。

另外不做数据切分，做表分区也可以提高查询速度

11 楼 niumd 2010-09-03  

曾经客户要求做个统计日数据量大约3000W+左右，数据库采用mysql，至今未解决此问题，慢的像蜗牛

10 楼 akira82 2010-09-03  

3亿条不多，我们现在Hadoop+Hive测试的数据量在2亿左右，基本满足要求。

9 楼 shjy.nicholas 2010-09-02  

forchenyun 写道

离线的？如果是，可以试试hadoop

另外，数据是离线的。

8 楼 shjy.nicholas 2010-09-02  

forchenyun 写道

离线的？如果是，可以试试hadoop

也在考虑hadoop，但没有做过具体的测试。
现在正在用MySQL集群来做，想看看效率。

看你是杭州的，莫非是taobao系的？呵呵～
如果是，我知道你们就在使用hadoop，效率如何？还望指点一二。

7 楼 forchenyun 2010-09-02  

离线的？如果是，可以试试hadoop

6 楼 shjy.nicholas 2010-09-02  

首先，需要说明的是，我们统计的不是增量的数据，是不包含历史数据的。（如果还要统计历史数据，那就更没折了）
其次，按照目前的数据计算，大概统计需要统计8500万到9000万的数据。
考虑到今后的数据的增多，所以预计需要统计的数据量大概在3亿左右。
中间表也许是一个方案。
看那位大牛可以提出一个更好一点的方案。
非常感谢～

5 楼 jef 2010-09-02  

大表按时间表分区，再加张中间表，每天或每月定时统计一下写入中间表。

4 楼 crazy.j 2010-09-02  

ray_linn 写道

做个月轧就成了，银行要是都这样算，早死机了

移动有上百亿条数据的表，一样有数据库可以统计。看你投多少钱了。

3 楼 ray_linn 2010-09-02  

做个月轧就成了，银行要是都这样算，早死机了

2 楼 fjiis 2010-08-31  

对不起，小孩玩的。