[求助]高并发的大数据量查询导致系统频繁宕机,咋办啊

我们的大数据量查询是数据库分页的,
但是导出和打印功能是基于全部数据的.

系统投入使用后,对于导出和打印功能的使用远远要高于我们的预期.

而我们的系统的硬件设备是有限的 不能再升级了.

抓取内存大对象的时候,常常发现数百个5M以上的collection大对象

我们的这个系统不大,就是一个提供一些信息管理的,页面也不多(不到1000个 其中能有6 7百的页面是查询),但是并发访问量比较大,同时在线能有5000人,而并发的查询操作至少也有500了,其中大数据量(10万以上)的太多了.这个问题怎么办啊

哪位有好的解决办法 (不生成vo 和 vo的collection也许可以,但是这样改动太大了)
而且关键是 系统已经上线了, 不太可能重新开发所有的dao层 :'(

4G内存的机器(当然java只用了2g) websphere 6.0的机器

评论

42 楼 zerozone 2007-05-01  

Lucas Lee 写道

1.
对于生成xls文件，我有一些经验。我用的POI。我发现，对于同样是将2万行的数据写入一个文件，放在一个sheet里和两个sheet里，内存占用能相差一倍，后者少。经过我的试验，一般一个sheet里1万行(一行有10几列)比较合适，多的就分sheet保存，可以有效的降低内存占用，约1--n倍。虽然不是终极的解决方案，也是一个可行的方案，不妨试试。

Lucas Lee说的有道理。我以前做HR产品，也有过类似经历。当从花名册导出XLS时，有时表格CELL超过100万，极易内存溢出。

改进途径：
1.修改Java Plugin 内存参数，效果不大；
2.当要导出的数据单元格超过10万时，输出不是一个而是多个XLS文件，也就是一拆多（以10万单元格为一单位），可有效避免大对象。

对极占用资源（如内存）的任务，应考虑“生产者-消费者模型+内存池”模型。数据由生产者（查询过程）从服务器端查询到内存池，消费者处理完数据从内存池移除旧数据...循环往复直到处理完毕。

41 楼 nihongye 2007-04-30  

可以算...,并发数量是500,每个大小是1m的话，那是500 * 1m  = 500m。而如果io阻塞，每个请求都得不到释放。每个请求的临时对象是5m，那就,垃圾回收又不停在浪费cpu,继续导致。。我说的好象很象真的一样。试试才知道咯...

40 楼 fins 2007-04-29  

nihongye 写道

fins 写道

programmer 写道

解决你的 excel问题，可以考虑生成csv。先在服务器生成一个临时文件来存放csv问题，然后查询数据，取数据放入stringBuffer 当此stringBuffer的数据大到一定程度时候就往文件里输出，然后清空StringBuffer 这样重复处理，直到查询出来的数据都写人文件。这样因该可以避免java的outofmemory。

类似的方法我们用过 我们是直接将 response.getOutputStream传入dao
在dao里生成  printwriter 然后直接 out.print
这个方法应该更好 避免了生成和修改文件

如果是直接使用response,这是不好的办法.可能因为io阻塞，导致对象不能及时释放。
Wrapper一个Response，写到自己实现的ByteArrayOuputStream

这样生成的ByteArrayOuputStream会不会也是大对象呢??

39 楼 umbrella 2007-04-29  

根据楼上的，是否可以这样做

每次打印都存在coolection内，重复的不加，不重复的加上，coolection对象有很多个，分组，分段，比如某个COOLECTION存第1-10000个对象，另一个存10001-20000的对象，根据打印哪些数据去从哪个COOLECTION内取数据。

38 楼 lane_cn 2007-04-28  

xly_971223 写道

lane_cn 写道

可以分析一下能不能在多个会话中共享一些对象，也许一个collection里面的元素和另一个collection的元素都是同一个，没必要建立一个新的，既浪费内存，又降低了效率。

想法不错 不过每个用户所需的数据可能不同 共享有些不太实际吧

collection是不能共享的，但是collection里面的元素应该是可以共享的。
比如用户A打印的报表上有一个合同，用户B打印的报表上也有这个合同，这个合同对象就可以共享了，每个collection里面只要有这个合同的引用就行了，节约内存40%以上。

37 楼 nihongye 2007-04-28  

fins 写道

programmer 写道

解决你的 excel问题，可以考虑生成csv。先在服务器生成一个临时文件来存放csv问题，然后查询数据，取数据放入stringBuffer 当此stringBuffer的数据大到一定程度时候就往文件里输出，然后清空StringBuffer 这样重复处理，直到查询出来的数据都写人文件。这样因该可以避免java的outofmemory。

类似的方法我们用过 我们是直接将 response.getOutputStream传入dao
在dao里生成  printwriter 然后直接 out.print
这个方法应该更好 避免了生成和修改文件

如果是直接使用response,这是不好的办法.可能因为io阻塞，导致对象不能及时释放。
Wrapper一个Response，写到自己实现的ByteArrayOuputStream

36 楼 nihongye 2007-04-28  

del

35 楼 xly_971223 2007-04-27  

lane_cn 写道

可以分析一下能不能在多个会话中共享一些对象，也许一个collection里面的元素和另一个collection的元素都是同一个，没必要建立一个新的，既浪费内存，又降低了效率。

想法不错 不过每个用户所需的数据可能不同 共享有些不太实际吧

34 楼 lane_cn 2007-04-27  

可以分析一下能不能在多个会话中共享一些对象，也许一个collection里面的元素和另一个collection的元素都是同一个，没必要建立一个新的，既浪费内存，又降低了效率。

33 楼 抛出异常的爱 2007-04-27  

fins 写道

我们的大数据量查询是数据库分页的,
但是导出和打印功能是基于全部数据的.

系统投入使用后,对于导出和打印功能的使用远远要高于我们的预期.

而我们的系统的硬件设备是有限的 不能再升级了.

抓取内存大对象的时候,常常发现数百个5M以上的collection大对象

我们的这个系统不大,就是一个提供一些信息管理的,页面也不多(不到1000个 其中能有6 7百的页面是查询),但是并发访问量比较大,同时在线能有5000人,而并发的查询操作至少也有500了,其中大数据量(10万以上)的太多了.这个问题怎么办啊

哪位有好的解决办法 (不生成vo 和 vo的collection也许可以,但是这样改动太大了)
而且关键是 系统已经上线了, 不太可能重新开发所有的dao层 :'(

4G内存的机器(当然java只用了2g) websphere 6.0的机器

用数据挖掘技术进行一定量的数据整理。
每台打印机不可能打5M左右的东西的。。。
放心吧总有能轧出来的性能的。

刚刚想点上一页
点了新手贴。。。
十二万分的抱歉。。。
权重太大了。。。

32 楼 抛出异常的爱 2007-04-27  

maoone2003 写道

如果无法提升硬件配置可以在导出或打印时控制每次打印或导出的行数，这个很容易做到的，我们以前是导出数据只要超过10W行就宕机，后来索性就只让每次导出1W行，如果客户觉得操作不便让他们内部协调提升硬件配置，要不好像没有别的解决办法啊.....

作程：定时器，延时器，多事务，哪个不能用？非要用户自己解决么？

31 楼 pufan 2007-04-27  

真是奇怪，不就是并发造成大对象过多引起out of memory error吗，最直观的方法就是控制并发数量了。
给你段代码：

final int limit=10;
final ThreadPoolExecutor threadPool = new ThreadPoolExecutor(limit, limit, 1 * 60, TimeUnit.SECONDS, new LinkedBlockingQueue());
public void outputExcel(HttpServletResponse rs,HttpServletRequest rq)
{
threadPool.execute(new Runnable() {
	public void run() {
		 读取数据库;
                   生成xsl;
                   输出到response;
			}
	});

}

你只需根据内存大小改变limit值即可。

30 楼 maoone2003 2007-04-27  

如果无法提升硬件配置可以在导出或打印时控制每次打印或导出的行数，这个很容易做到的，我们以前是导出数据只要超过10W行就宕机，后来索性就只让每次导出1W行，如果客户觉得操作不便让他们内部协调提升硬件配置，要不好像没有别的解决办法啊.....

29 楼 fins 2007-04-27  

Lucas Lee 写道

fins 写道

我说的不太准确 其实是两个瓶颈 一个是 collection对象 一个是jxl生成的xls大对象
郁闷中 我打算研究一下excel的生成原理 自己做一个合并xls文件的程序
把多个文件 合并成一个有多个sheet页的xls文件 (用jxl poi做这类操作还是会生成很大很大的对象)

1.
对于生成xls文件，我有一些经验。
我用的POI。我发现，对于同样是将2万行的数据写入一个文件，放在一个sheet里和两个sheet里，内存占用能相差一倍，后者少。经过我的试验，一般一个sheet里1万行(一行有10几列)比较合适，多的就分sheet保存，可以有效的降低内存占用，约1--n倍。
虽然不是终极的解决方案，也是一个可行的方案，不妨试试。


2.
csv是简单文本格式，内存占用量必定比xls少很多倍，但是他基本上无法表达格式。实在不行就用csv好了。


3.
还有一个曲线救国的方法，就是用html格式，技巧是，将html文件保存成xls后缀文件(假装为xls)，excel是可以自动识别为html并打开，也可以保存格式。唯一的不同是，用户需要“真实”的xls格式的话，需要用Excel打开后另存为xls格式。其实用户不就是打印么，那么应该没有区别。

1 3 策略我们现在的系统都用到了
问题就是老系统 我主贴中提到的是一个老系统 郁闷啊

不过还是谢谢大家提供的方案
其实仔细看看,可以说,楼上各位的方案基本上已经涵盖了 所有的 xls的解决方法
我可以把这个帖子作为一个 方法的汇总帖了 呵呵

谢谢各位!!!
如果我们老大允许我们大刀阔斧的改造代码 一切就都OK了
现在也许问题已经不是出在方法和技巧上 而是人的问题了

以前系统设计的不够好 ,让现在的人为过去埋单,似乎也是天经地义的.毕竟我也从前辈那学到过太多的东西
呵呵

再次谢谢大家

28 楼 fins 2007-04-27  

programmer 写道

解决你的 excel问题，可以考虑生成csv。先在服务器生成一个临时文件来存放csv问题，然后查询数据，取数据放入stringBuffer 当此stringBuffer的数据大到一定程度时候就往文件里输出，然后清空StringBuffer 这样重复处理，直到查询出来的数据都写人文件。这样因该可以避免java的outofmemory。

类似的方法我们用过 我们是直接将 response.getOutputStream传入dao
在dao里生成  printwriter 然后直接 out.print
这个方法应该更好 避免了生成和修改文件

27 楼 LucasLee 2007-04-27  

fins 写道

我说的不太准确 其实是两个瓶颈 一个是 collection对象 一个是jxl生成的xls大对象
郁闷中 我打算研究一下excel的生成原理 自己做一个合并xls文件的程序
把多个文件 合并成一个有多个sheet页的xls文件 (用jxl poi做这类操作还是会生成很大很大的对象)

1.
对于生成xls文件，我有一些经验。
我用的POI。我发现，对于同样是将2万行的数据写入一个文件，放在一个sheet里和两个sheet里，内存占用能相差一倍，后者少。经过我的试验，一般一个sheet里1万行(一行有10几列)比较合适，多的就分sheet保存，可以有效的降低内存占用，约1--n倍。
虽然不是终极的解决方案，也是一个可行的方案，不妨试试。


2.
csv是简单文本格式，内存占用量必定比xls少很多倍，但是他基本上无法表达格式。实在不行就用csv好了。


3.
还有一个曲线救国的方法，就是用html格式，技巧是，将html文件保存成xls后缀文件(假装为xls)，excel是可以自动识别为html并打开，也可以保存格式。唯一的不同是，用户需要“真实”的xls格式的话，需要用Excel打开后另存为xls格式。其实用户不就是打印么，那么应该没有区别。

26 楼 programmer 2007-04-27  

解决你的 excel问题，可以考虑生成csv。先在服务器生成一个临时文件来存放csv问题，然后查询数据，取数据放入stringBuffer 当此stringBuffer的数据大到一定程度时候就往文件里输出，然后清空StringBuffer 这样重复处理，直到查询出来的数据都写人文件。这样因该可以避免java的outofmemory。

25 楼 fins 2007-04-26  

sorphi 写道

fins，写完之后才发现你也提到了xls的写入才是瓶颈。

而且我刚才想了一下，我的方法中callback导致第2/3三条和第1条是冲突的。

既然方法被驳回了，那也说得过去。那就集中解决xls的生成问题吧

刚才google了一下csv -> xls的东西，虽然没找到什么有效的java代码，但是发现一个有趣的事情，有网站专门提供在线的转换。继而想到，何不单独提供一个应用来干这个事情呢？

不过用java来做这种转换，仍然摆脱不了内存占用较大的问题，看poi的API。jxl的我不清楚，照你说的，跟poi的差不多。

既然客户比较“变态”（查询这么贼多数据），那么何不让这种转换拿到client端来做呢？哈哈

继续google，activex+csv+xls

http://www.softinterface.com/Convert-Excel-ActiveX/Convert-Excel-ActiveX.htm

我说的不太准确 其实是两个瓶颈 一个是 collection对象 一个是jxl生成的xls大对象
郁闷中 我打算研究一下excel的生成原理 自己做一个合并xls文件的程序
把多个文件 合并成一个有多个sheet页的xls文件 (用jxl poi做这类操作还是会生成很大很大的对象)

24 楼 nihongye 2007-04-26  

考虑生成跟下载分成两个步骤。 另外既然内存占用那么多，jvm的内存调优也要考虑

23 楼 sorphi 2007-04-26  

fins，写完之后才发现你也提到了xls的写入才是瓶颈。

而且我刚才想了一下，我的方法中callback导致第2/3三条和第1条是冲突的。

既然方法被驳回了，那也说得过去。那就集中解决xls的生成问题吧

刚才google了一下csv -> xls的东西，虽然没找到什么有效的java代码，但是发现一个有趣的事情，有网站专门提供在线的转换。继而想到，何不单独提供一个应用来干这个事情呢？

不过用java来做这种转换，仍然摆脱不了内存占用较大的问题，看poi的API。jxl的我不清楚，照你说的，跟poi的差不多。

既然客户比较“变态”（查询这么贼多数据），那么何不让这种转换拿到client端来做呢？哈哈

继续google，activex+csv+xls

http://www.softinterface.com/Convert-Excel-ActiveX/Convert-Excel-ActiveX.htm