|
锁定老帖子 主题：数据库大数据统计的设计方案
精华帖 (0) :: 良好帖 (0) :: 新手帖 (0) :: 隐藏帖 (1)
|
|
|---|---|
| 作者 | 正文 |
|
发表时间：2010-09-07
数据量大的都是日结、月结、年结的
上亿条可以表分区 可以多表存储，这个存储有技巧的，常用的统计数据放到一个表里 |
| 返回顶楼 | |
|
发表时间：2010-09-08
我们也是用分区的.......而且为了不影响业务速度，都是去物化视图里捞数据.....
|
| 返回顶楼 | |
|
发表时间：2010-09-09
ORACLE RAC （4 节点）
– 41s 我们项目都是用这个，不过我们的客户是有钱的主 |
| 返回顶楼 | |
|
发表时间：2010-09-12
楼主的问题,很明显是数据库瓶颈。Mysql是数据库，作分析弱了点。上数据仓库才是正道。
楼主可参考一下infobright.当然"数据仓库"是个概念，并不是一个具体软件就能解决。还需要你来结合实际作一下架构设计。 数据仓库的理论，看这本书可以上手。 http://book.douban.com/subject/1881631/ |
| 返回顶楼 | |
|
发表时间：2010-09-15
最后修改：2010-09-15
InfoBright 是学Greenplum 的数据库并行处理的技术架构的。
20万亿的表那个系统用了近百个PC服务器节点。每台PC服务器配置了48个1TB的SATA硬盘。 Greenplum 数据库还支持按列存储，数据库内压缩，存储过程。它奇快无比。 用了这类分布式数据库，原来Oracle/MySQL的分库，分区，索引很多都不用做了。 |
| 返回顶楼 | |
|
发表时间：2010-09-15
wormwang 写道 InfoBright 是学Greenplum 的数据库并行处理的技术架构的。
20万亿的表那个系统用了近百个PC服务器节点。每台PC服务器配置了48个1TB的SATA硬盘。 Greenplum 数据库还支持按列存储，数据库内压缩，存储过程。它奇快无比。 用了这类分布式数据库，原来Oracle/MySQL的分库，分区，索引很多都不用做了。 能告知你们的“pc服务器”配置吗？ 带48T硬盘的PC |
| 返回顶楼 | |
|
发表时间：2010-09-17
Sun x4540 有48个内置硬盘位，可配6个磁盘控制器，AMD CPU。
另外，华赛，Dell,HP近年也出了一些有24个内置硬盘位的PC服务器。 |
| 返回顶楼 | |
|
发表时间：2010-09-17
wormwang 写道 Sun x4540 有48个内置硬盘位，可配6个磁盘控制器，AMD CPU。
另外，华赛，Dell,HP近年也出了一些有24个内置硬盘位的PC服务器。 第一次听说一个pc服务器上有48个硬盘位……佩服。 |
| 返回顶楼 | |
|
发表时间：2010-09-17
刚去查了下，还真有……
http://product.pconline.com.cn/server/sun/334512.html |
| 返回顶楼 | |
|
发表时间：2010-09-18
wormwang 写道 Sun x4540 有48个内置硬盘位，可配6个磁盘控制器，AMD CPU。
另外，华赛，Dell,HP近年也出了一些有24个内置硬盘位的PC服务器。 18w多一个的PC，标配48×250G，2个CPU，金融行业吧？ 不过还是非常钦佩你们单节点可以支持2000亿的数据，期待你更多的经验分享 |
| 返回顶楼 | |
