|
锁定老帖子 主题：大量数据与Excel交互的解决方案
精华帖 (0) :: 良好帖 (1) :: 新手帖 (1) :: 隐藏帖 (0)
|
|
|---|---|
| 作者 | 正文 |
|
发表时间：2010-03-11
先生成CSV文件，再找软件另存为Excel
|
| 返回顶楼 | |
|
发表时间：2010-03-11
e3002 写道
lzg3267373 写道
一. 导入生成 Excel
采用的方案是：将大量要导出的数据放入临时表分批次形成多个 Excel 文件后合并.说明： 1. 大量要导出的数据放入临时表 大量数据有可能是在海量数据表里通过条件查询出来的，这样可以有效避免多次在海量 数据中查询，提高了查询效率 2. 分批次形成多个 Excel 比形成一个 Excel 的多个 sheet 好，因为多个 sheet 形式需要将整个 Excel 加载到内存中，那么 sheet 越多， Excel 越大 . 改多个 SHEET 页为多个 EXCEL 。通过多次生成，可以在后面 EXCEL 生成所需要的内存不 足时，有效回收前面生成 EXCEL 时占用的内存。
请问你说的临时表是个啥概念，导出时的数据本身就是从数据库中查询出的吧，难道还要在存入临时表不成? 我是说如果一张表里亿级数据量,通过条件查询出10W数据,那么我们只需要分批次处理这10W数据,而不需要每次从亿级数据量里再次查询. |
| 返回顶楼 | |
|
发表时间：2010-03-11
Excel导入数据慢不慢？
你可以生成一个csv文件，然后打开试一下，不就知道了吗？ 不要臆断它就慢。 |
| 返回顶楼 | |
|
发表时间：2010-03-11
willvvv 写道 这个以前做过类似的导入到excel中，采用的是从数据库读出若干条数据生成二维数组，写入到excel，再取若干条生成二维数组，写入到excel。基本上不会内存溢出，而且cpu占用也不是很高。导出的excel在5M左右没有问题。
二维数组，怎么具体操作，有相关API？？？ |
| 返回顶楼 | |
|
发表时间：2010-03-11
附件应该整点代码，不要和帖子内容一摸一样！
|
| 返回顶楼 | |
|
发表时间：2010-03-11
csv是个办法，不过是文本格式。
如果数据量超级大，还是建议不用jxl poi 自己看下biff8文件格式，实现简单的格式封装，自己一点点的往io写得了。 |
| 返回顶楼 | |
|
发表时间：2010-03-11
研究一下POI源代码，稍微改改就可以了。
|
| 返回顶楼 | |
|
发表时间：2010-03-11
找到个偷头像的贼。。。
再大数据有什么难的， excel支持vba,vba可以调用xmlhttprequest |
| 返回顶楼 | |
|
发表时间：2010-03-11
ray_linn 写道 找到个偷头像的贼。。。
再大数据有什么难的， excel支持vba,vba可以调用xmlhttprequest 我可不是偷你的头像。 朋友有没有vba的例子或给个链接，学习下。 |
| 返回顶楼 | |
|
发表时间：2010-03-12
为什么不考虑文本流生成XML格式的word文档呢，几万条也没有问题。
几万条的数据，如果分成多个xls文件生成，估计用户边合并边就要骂娘了，用户感知基本倒退到原始社会了 当然，对不少开发人员而说，调现成的excel开发包，第一时间交差就行了 |
| 返回顶楼 | |
