大数据量数据库配置部署方案思考

业务情况
8个月主要表每张产生了近300万条数据，目前很慢客户反映强烈 ps:如何好用就没我们什么事了。
目前数据库服务器配置 4CPU 8G内存 系统没有服务器端全都是客户端。
还有一台查询服务器，
c/s 结构 数据库 sqlserver2000
每天操作近百笔，用户近百人。
这个系统在设计时没有考虑到这么大的数据量因此没有做什么数据库优化


此问题有以下解决方式：
1、 更换数据库
鉴于MSSqlServer的数据吞吐能力比较低下，因此可采用性能优良的Oracle系列数据库
优点：可以在一定程度上减轻压力。
缺点：价格较高 单CPU 20万左右，且不能彻底解决问题。

2、 集群
可有效的分散数据，减轻单个数据库压力，鉴于MSSqlServer不支持透明集群，可采用数据库分散部署的办法即采用多台服务器部署多个数据库每台数据库包含不同的表。
优点：可靠性伸缩性能好。
缺点：购置服务器费用高昂，需采用跨数据库事务处理性能较差。对系统开发要求较高。

3、 分表
采用将大表分拆成多个小表，采用按时间、类型等方式分拆，使得单次操作数据量控制在可控的范围内。
优点：节省成本。
缺点：系统复杂，对系统开发要求很高。

因为缓存存在很多不确定性不好量化 请大家在不考虑缓存的情况下发表意见。
现在要从c/s结构翻到B/S结构。

大家有什麽思路，应该怎么处理。 说服客户花钱很难，且合同已经签了。

评论

46 楼 jason_help 2008-06-26  

xlongbuilder 写道

baibai326 写道

MS的数据库过了200W级别的就有些吃力了，特别是一些大表，过了百万级，经常就是update死锁，等待……特折磨人。

还是换数据库吧，informix，db2_se是不错的选择，O系列太贵了，呵呵，如果只是做报表，数据存储，从性价比上来说，informix足够了，便宜量又足。

当然前提是，换数据库的操作系统。

严重同意 目前就是这个问题
MS的数据库过了200W级别的就有些吃力了，特别是一些大表，过了百万级，经常就是update死锁，等待……特折磨人。
在本人的强烈要求下，客户已经决定采用oracle

这么点数据就用oracle，浪费！

45 楼 airport 2008-06-26  

1000万以下都应该好解决。MS的DB虽然赶不上Oracle但也不至于那么差劲。
问题肯定还在查询优化上了。没有好的DBA，碰到大数据量确实麻烦。

44 楼 edwardpro 2008-06-26  

看看连接池和数据库连接性能吧...

43 楼 xlongbuilder 2008-06-25  

ltshark 写道

我们刚做的一个系统，一小时平均1w的数据量，用的oracle，主表数据很短时间内就变大。我们开始也遇到这个问题，经常应用查询数据库导致数据库cache锁表，最后通过分表来提高应用交互数据库的速度提高。运行表只保持某些状态的数据，不经常处理的数据都弄走。
现在除了2个表union查询慢，其他都还好，不过查询可以通过分区来解决。
在这个过程中我们还发现，程序中很多sql由于写法不好或是别的什么导致数据库压力很大。建议楼主清查一下程序里面的sql，如果有dba最好请这些兄弟分析一下。
我感觉分表要好弄一些，虽然程序还有相应的变动。

谢谢 回复 我们将在设计过程中注意此问题

42 楼 xlongbuilder 2008-06-25  

baibai326 写道

MS的数据库过了200W级别的就有些吃力了，特别是一些大表，过了百万级，经常就是update死锁，等待……特折磨人。

还是换数据库吧，informix，db2_se是不错的选择，O系列太贵了，呵呵，如果只是做报表，数据存储，从性价比上来说，informix足够了，便宜量又足。

当然前提是，换数据库的操作系统。

严重同意 目前就是这个问题
MS的数据库过了200W级别的就有些吃力了，特别是一些大表，过了百万级，经常就是update死锁，等待……特折磨人。
在本人的强烈要求下，客户已经决定采用oracle

41 楼 xlongbuilder 2008-06-25  

bottom 写道

To xlongbuilder,

楼上这么多位大虾都告诉你了，数据量并不大。要想解决问题，还是要做测试，先测SQL，再测JAVA部分。找出瓶颈。不要说不可以，只要是JAVA的系统，不管有没有源码，都可以做的。

谢谢 回复 客户c/s系统非java 没办法测 做了跟踪sql 不过问题基本上发现了

40 楼 剑事 2008-06-25  

mssql 单表 每月 2000W  SP系统
有时候容易死锁 其他还能跑

39 楼 minimu 2008-06-25  

这个很明显是设计问题。。系统设计或者数据库设计。。。

对于这个数据量，你得服务器已经富余很多了，按照你得硬件，数据量大10倍如果设计好问题都不大
MSSQL我们测试过2500W数据单表100～500W都没有出现性能瓶颈(03年得时候，那个时候得单CPU志强1G内存，页面回显3000条数据都是10秒左右，当然还有其它测试。。）

不要老是拿MSSQL说事，MSSQL比Oracle是差劲很多，但是对于这种级别得数据还是小case
最后罗唆：用好MSSQL，优化系统
一个不好得设计纯粹靠换支撑硬件和平台解决不了问题，即使你现在换了Oracle，以现在得设计估计再过半年还是有性能问题

38 楼 blueskit 2008-06-25  

很显然多数人喜欢用高级别武器解决问题
对于MSSQL,一般情况下通过优化索引、分区、优化SQL语句基本可以达到性能要求
不要把MSSQL当成一个黑盒子，去研究一下吧

37 楼 hgq0011 2008-06-24  

Robinson 写道

300w 对于MS SQL、Mysql和Oracle都不存在性能问题，找出最根本的原因才是最重要的，有针对性地解决问题

300W数据不算多对于他们都不算什么吧。
一般都是索引没有设定好，SQL写的不够好，才会出现问题。

36 楼 hgq0011 2008-06-24  

jiming 写道

应该是 sql 或者是数据库设计的问题，SqlServer 的性能没那么差。

我三四年前前做个一个 sql server 的很复杂的报表的存储过程，其中关联有四五个百万级的表，还有一个表的数据有 7 千万的记录。经过优化后十几秒钟也就执行完了。之前没有那个 7 千万条记录的表的时候，1 秒钟就完成了。

而且，那台服务器也就 1G 内存.

您是怎么把你的SQL或SQL Server用得那么好呢？
我们现在有很多的报表，数据也不是很多，用的是IBM的刀片服务器，性能都不尽人意。

35 楼 ltshark 2008-06-24  

我们刚做的一个系统，一小时平均1w的数据量，用的oracle，主表数据很短时间内就变大。我们开始也遇到这个问题，经常应用查询数据库导致数据库cache锁表，最后通过分表来提高应用交互数据库的速度提高。运行表只保持某些状态的数据，不经常处理的数据都弄走。
现在除了2个表union查询慢，其他都还好，不过查询可以通过分区来解决。
在这个过程中我们还发现，程序中很多sql由于写法不好或是别的什么导致数据库压力很大。建议楼主清查一下程序里面的sql，如果有dba最好请这些兄弟分析一下。
我感觉分表要好弄一些，虽然程序还有相应的变动。

34 楼 baibai326 2008-06-24  

MS的数据库过了200W级别的就有些吃力了，特别是一些大表，过了百万级，经常就是update死锁，等待……特折磨人。

还是换数据库吧，informix，db2_se是不错的选择，O系列太贵了，呵呵，如果只是做报表，数据存储，从性价比上来说，informix足够了，便宜量又足。

当然前提是，换数据库的操作系统。

33 楼 aone 2008-06-23  

的确数据量不太大让客户买这买那有点太黑了,但是不让他买好服务器买oracle,他怎么会承认这是大应用,怎么掏他的腰包呢.放心吧,地主家有余粮.

32 楼 codeutil 2008-06-23  

不到1000万条记录的数据库需要什么思考？

31 楼 bottom 2008-06-23  

To xlongbuilder,

楼上这么多位大虾都告诉你了，数据量并不大。要想解决问题，还是要做测试，先测SQL，再测JAVA部分。找出瓶颈。不要说不可以，只要是JAVA的系统，不管有没有源码，都可以做的。

30 楼 zhouzulin 2008-06-23  

数据量不大吗？现在做的这个项目一天的数据量就40w－50w

29 楼 sqe_james 2008-06-23  

设计问题，300万数据正常情况下不应该出现这种状况，我们的系统一天的数据量也远远不只这个数。

28 楼 zhu_chen001 2008-06-23  

用oracle吧，这才是企业级别的，要么DB2，其他的只能是小规模的应用

27 楼 twinkling 2008-06-23  

感觉ms-sql操作1000万左右的表没什么问题..主要还是sql语句以及索引的优化问题..
2005也支持表分区..
还有楼主没有说清楚,慢是查询慢还是更新慢..或者是都慢..