服务器崩溃临界点无责任猜想

维护中的一个项目，无甚大改，服务器各项指标基本正常，数据量处于稳步增长的状况中。
按照通常的设想，数据量的增长对系统的速度多少是会有影响的，数据量的上升和性能的下降应该可以通过某个函数描绘出一条漂亮的曲线（或直线），累计到一定程度以后可以开始听到客户的抱怨，随后有越发频繁的趋势，如继续置之不理，服务器将会逐渐缓慢到无法忍受的程度，最后在某个时刻华丽地崩溃。
然而现实好象不是像我现象的那样。
有一天，没有任何预兆，那个项目突然就这样“崩溃”了，数据库服务器的负载莫名其妙地到了100%，大量查询语句恶性堆积，然后tomcat就因为大量的无法释放的数据库连接而挂掉了。重启数据库和tomcat后，暂时恢复了正常，没过多久灾难就又一次重演。
这些服务器上没有其他的项目，各种配置文件也无人修改的痕迹，也不象是中病毒或者被人为攻击的样子。
难道说，数据量的上升对性能的影响在平时不可见，然后在达到临界点时，一次性地全盘崩溃？
不会吧？！
增加了一台tomcat服务器做负载平衡，增加了一些索引，优化了一些查询语句。
tomcat不挂了，其他方面收效甚微，数据库服务器负载依旧100%，但查询语句堆积似乎没再出现。
以上是几个通宵的奋斗结果，网站目前依旧相对缓慢，但至少是“可以用”的状态了。
继续观测中，现在还是很想知道造成这一系列问题的根本原因。万一最后发现是人为原因，我想，我是很乐意揪着那个罪魁祸首的领子，把他揍扁的。

评论

2 楼 kunee 2009-07-16  

你们合同怎么签的。。。。。

里面有写性能要求的吧，多少数据量，反应时间等等

1 楼 魔力猫咪 2009-07-15  

建议对崩溃的JVM内存使用进行分析，查找Heap中哪些对象占用了所有的空间，而且不能及时释放。