数据库大数据统计的设计方案

需要对一个大数据量（数量级在亿级别）的表，进行数据统计。

我想到要对数据库表进行水平切分。

为了后面方便描述，我先假设表里有三个字段，一个是用户的ID，一个是交易的金额，一个是交易的时间。

但问题是，比如我的统计要求是：要根据指定用户ID，以及一定交易时间区间（比如当前时间之前1个月内），用户金额的汇总达到一定数额的，我需要获取满足这些条件的用户ID列表。

假设设计水平切分，可以根据用户创建创建先后进行切分（其实针对前面描述的统计要求，根据用户的ID进行切分会更好。但考虑到有些统计项不包括用户ID，所以没有选择根据用户ID进行切分）。

当我们对数据完成切分之后，问题就出在对每个切片进行统计这里，因为我不知道其他的切片里，该用户的金额是多少，所以在对每一个切片进行统计的时候，无法判断是否满足统计条件（金额大于指定的值）。

所以就导致了要对每个切片里所有用户做group，然后再汇总每个切片的统计结果。

 

有没有什么更好的解决思路？

评论

41 楼 InnocentBoy 2010-09-28  

拆分表，用存储过程统计！

40 楼 fredzhangjy 2010-09-19  

学习。。作个标记

39 楼 forchenyun 2010-09-18  

wormwang 写道

Sun x4540 有48个内置硬盘位，可配6个磁盘控制器，AMD CPU。
另外，华赛，Dell,HP近年也出了一些有24个内置硬盘位的PC服务器。

18w多一个的PC，标配48×250G，2个CPU，金融行业吧？   
不过还是非常钦佩你们单节点可以支持2000亿的数据，期待你更多的经验分享

38 楼 jieyuan_cg 2010-09-17  

刚去查了下，还真有……
http://product.pconline.com.cn/server/sun/334512.html

37 楼 jieyuan_cg 2010-09-17  

wormwang 写道

Sun x4540 有48个内置硬盘位，可配6个磁盘控制器，AMD CPU。
另外，华赛，Dell,HP近年也出了一些有24个内置硬盘位的PC服务器。

第一次听说一个pc服务器上有48个硬盘位……佩服。

36 楼 wormwang 2010-09-17  

Sun x4540 有48个内置硬盘位，可配6个磁盘控制器，AMD CPU。
另外，华赛，Dell,HP近年也出了一些有24个内置硬盘位的PC服务器。

35 楼 forchenyun 2010-09-15  

wormwang 写道

InfoBright 是学Greenplum 的数据库并行处理的技术架构的。
20万亿的表那个系统用了近百个PC服务器节点。每台PC服务器配置了48个1TB的SATA硬盘。

Greenplum 数据库还支持按列存储，数据库内压缩，存储过程。它奇快无比。
用了这类分布式数据库，原来Oracle/MySQL的分库，分区，索引很多都不用做了。

能告知你们的“pc服务器”配置吗？
带48T硬盘的PC

34 楼 wormwang 2010-09-15  

InfoBright 是学Greenplum 的数据库并行处理的技术架构的。
20万亿的表那个系统用了近百个PC服务器节点。每台PC服务器配置了48个1TB的SATA硬盘。

Greenplum 数据库还支持按列存储，数据库内压缩，存储过程。它奇快无比。
用了这类分布式数据库，原来Oracle/MySQL的分库，分区，索引很多都不用做了。

33 楼 xds2000 2010-09-12  

楼主的问题,很明显是数据库瓶颈。Mysql是数据库，作分析弱了点。上数据仓库才是正道。
楼主可参考一下infobright.当然"数据仓库"是个概念，并不是一个具体软件就能解决。还需要你来结合实际作一下架构设计。
数据仓库的理论，看这本书可以上手。
http://book.douban.com/subject/1881631/

32 楼 aws 2010-09-09  

ORACLE RAC （4 节点）
– 41s

我们项目都是用这个，不过我们的客户是有钱的主

31 楼 jychenok 2010-09-08  

我们也是用分区的.......而且为了不影响业务速度，都是去物化视图里捞数据.....

30 楼 lkj107 2010-09-07  

数据量大的都是日结、月结、年结的

上亿条可以表分区

可以多表存储，这个存储有技巧的，常用的统计数据放到一个表里

29 楼 forchenyun 2010-09-07  

wormwang 写道

我没说以上性能是单节点跑出来的。

20万亿行那个实例，用了100个节点，都是PC服务器。

多张 20亿记录的表Join，数秒完成，那个实例用了60台PC服务器。

按照一行记录1k来算，20万亿基本就是18626T(保守估计，实际肯定会有30%左右的额外开销)，这还不包括为数据可靠性而进行的冗余，100个节点单台机器需要支撑186T（或者说2000亿）的数据，我非常非常好奇你们是如何管理这么庞大的数据的

28 楼 wormwang 2010-09-07  

我没说以上性能是单节点跑出来的。

20万亿行那个实例，用了100个节点，都是PC服务器。

多张 20亿记录的表Join，数秒完成，那个实例用了60台PC服务器。

27 楼 smartinvoke 2010-09-07  

wormwang 写道

• Hadoop+Hive （ASC 15节点）
– 3m30s
• ORACLE RAC （4 节点）
– 41s
• GREENPLUM（2 节点）
– 6012.852 ms

某处大数据量测试结果。
实际使用最大表有：20万亿行 ！！多张 20亿记录的表Join，数秒完成！！:-)..

貌似言过其实了吧

26 楼 forchenyun 2010-09-07  

wormwang 写道

• Hadoop+Hive （ASC 15节点）
– 3m30s
• ORACLE RAC （4 节点）
– 41s
• GREENPLUM（2 节点）
– 6012.852 ms

某处大数据量测试结果。
实际使用最大表有：20万亿行 ！！多张 20亿记录的表Join，数秒完成！！:-)..

20万亿行的数据有多大？单行占多少字节？
按照你的描述单节点支撑10万亿的数据，只能用可怕形容了
请问有公司将其应用于产品的例子吗？

25 楼 wormwang 2010-09-07  

• Hadoop+Hive （ASC 15节点）
– 3m30s
• ORACLE RAC （4 节点）
– 41s
• GREENPLUM（2 节点）
– 6012.852 ms

某处大数据量测试结果。
实际使用最大表有：20万亿行 ！！多张 20亿记录的表Join，数秒完成！！:-)..

24 楼 forchenyun 2010-09-07  

wormwang 写道

MySQL Cluster 是硬拼凑出来的架构。MySQL内部的人都不说好，没信心。
你喜欢MySQL，不如看看InfoBright，另外一个类似Greenplum的分布式数据库。

Greenplum等C++/C 实现的分布式关系数据库比在Hadoop 上桥接的HIVE快上百倍。

这东西成熟吗？万亿的数据量有相关的测试报告没？
当然如果成熟的话，这的确是一个值得考虑的选择。

23 楼 wormwang 2010-09-07  

MySQL Cluster 是硬拼凑出来的架构。MySQL内部的人都不说好，没信心。
你喜欢MySQL，不如看看InfoBright，另外一个类似Greenplum的分布式数据库。

Greenplum等C++/C 实现的分布式关系数据库比在Hadoop 上桥接的HIVE快上百倍。

22 楼 hu97086 2010-09-07  

离线的话，建议使用Hadoop+HIVE，你的数据也需要整理一下。