锁定老帖子 主题:java大数据量导出
精华帖 (0) :: 良好帖 (0) :: 新手帖 (3) :: 隐藏帖 (0)
|
|
---|---|
作者 | 正文 |
发表时间:2011-08-05
声明:ITeye文章版权属于作者,受法律保护。没有作者书面许可不得转载。
推荐链接
|
|
返回顶楼 | |
发表时间:2011-08-05
后台处理,出来完成后放在FTP服务器的指定目录,然后前台弹出对话框让客户FTP下载,几百万数据不算大,应该很容易搞定!
|
|
返回顶楼 | |
发表时间:2011-08-05
guoapeng 写道 后台处理,出来完成后放在FTP服务器的指定目录,然后前台弹出对话框让客户FTP下载,几百万数据不算大,应该很容易搞定! 如果不能放FTP服务器怎么办呢 |
|
返回顶楼 | |
发表时间:2011-08-05
几百万的数据量,你还想导出成xls格式,内存不溢出就不错了。
可以考虑导出成CSV格式,纯文本数据,性能也会好很多 第二招,可以将要导的数据分成多份,用多线程来导出成文件,这样CPU利用率高,然后先放在本地,最后压缩成zip再response客户端 |
|
返回顶楼 | |
发表时间:2011-08-05
Rainbamboo 写道 几百万的数据量,你还想导出成xls格式,内存不溢出就不错了。 可以考虑导出成CSV格式,纯文本数据,性能也会好很多 第二招,可以将要导的数据分成多份,用多线程来导出成文件,这样CPU利用率高,然后先放在本地,最后压缩成zip再response客户端 哥 这个肯定是客户的需求呀 客户要有这种需求 很纠结的 |
|
返回顶楼 | |
发表时间:2011-08-06
happinesss 写道 guoapeng 写道 后台处理,出来完成后放在FTP服务器的指定目录,然后前台弹出对话框让客户FTP下载,几百万数据不算大,应该很容易搞定!
如果不能放FTP服务器怎么办呢 那就写到文件系统,当客户再次点下载的时候,你把那个文件写到response里面。 这样就是需要自己去写代码,而且比较影响web server的性能! |
|
返回顶楼 | |
发表时间:2011-08-06
guoapeng 写道 happinesss 写道 guoapeng 写道 后台处理,出来完成后放在FTP服务器的指定目录,然后前台弹出对话框让客户FTP下载,几百万数据不算大,应该很容易搞定!
如果不能放FTP服务器怎么办呢 那就写到文件系统,当客户再次点下载的时候,你把那个文件写到response里面。 这样就是需要自己去写代码,而且比较影响web server的性能! 一般都是这样吧? |
|
返回顶楼 | |
发表时间:2011-08-06
化整为零。设定每个part的容量,查出totalcount,像分页程序一样多线程分part查询,导出多个excel文件,如果需要多标签整合再写一个程序弄成一个excel。用日志或者自己写,看哪个部分占用时间及其他资源多,可以用程序缓存,多线程,多文件等方式优化。
|
|
返回顶楼 | |
发表时间:2011-08-06
最后修改:2011-08-06
百万级的数据并不是很多,不过excel就难说,
如果先导出多个csv文本,再多标签导出excel应该会比较好点 |
|
返回顶楼 | |
发表时间:2011-08-06
chengli742005 写道 最近有个需求,大概几百万的数据,通过前台条件查询,然后导出成excel,现在用分sheet实现,速度特别慢,客户不满意,不知道大家有没有好的方法
是什么数据库?如果是oracle使用sqlloader导出成csv不行吗? |
|
返回顶楼 | |