大量数据与Excel交互的解决方案

一. 导入生成 Excel

原始的做法：

将数据加载到内存中，导入 Excel, 此方法的弊端：

1. 大量数据加载到内存中 , 使机器变得缓慢

2. 大量数据在导入 Excel 时形成大量 cell 对象产生 OOM

 

在使用 TOMCAT 的情况下， JVM 最高只能支持到 2G 内存，则会发生内存溢出的情况。此时的内存开销主要是两部分，一部分是大量数据加载到内存，另一部分是写入一个 EXCEL 时形成大量 cell 对象的开销。由于 JVM 的 GC 机制是不能强制回收的 .

 

采用的方案是：将大量要导出的数据放入临时表分批次形成多个 Excel 文件后合并.说明：

1. 大量要导出的数据放入临时表

大量数据有可能是在海量数据表里通过条件查询出来的，这样可以有效避免多次在海量 数据中查询，提高了查询效率

2. 分批次形成多个 Excel

比形成一个 Excel 的多个 sheet 好，因为多个 sheet 形式需要将整个 Excel 加载到内存中，那么 sheet 越多， Excel 越大 . 改多个 SHEET 页为多个 EXCEL 。通过多次生成，可以在后面 EXCEL 生成所需要的内存不      足时，有效回收前面生成 EXCEL 时占用的内存。

3. 将多个 Excel 合并

参考 :http://www.iteye.com/topic/240053.

 

二. Excel 导出入库

1.excel 文件上传至服务器

2. 采用 eventusermodel 方式读取 excel 数据 , 分块读取数据并批量入临时表

3. 利用存储过程或其他纯 sql 语句来验证临时表 (Temp1) 中的数据

4. 将验证失败数据放入存储至校验失败的临时表中 (Temp2)

5. 将临时表 (Temp1) 中的数据插入库表

 

在此感谢 JAVAEYE 上的提供参考资料的各位同行

能不能说的更详细一些呢?比如eventusermodel 方式指的是什么,能不能给个例子?

更好的方案，自己写biff8文件

如果在Windows平台上，安装MS Excel，然后用Jacob通过OLE调用，应该可以，速度应该是最快的，相当于JNI了。

excel速度很慢滴...你可以试试浏览器里面用js调调

这个以前做过类似的导入到excel中，采用的是从数据库读出若干条数据生成二维数组，写入到excel，再取若干条生成二维数组，写入到excel。基本上不会内存溢出，而且cpu占用也不是很高。导出的excel在5M左右没有问题。

 

这个我们也是用存储过程校验的，用一句sql完成，速度的确很快

eventusermodel 读取一点不方便的

请问你说的临时表是个啥概念，导出时的数据本身就是从数据库中查询出的吧，难道还要在存入临时表不成?

eventusermodel 的确不好操作,但它只支持只读模式,读的时候是不允许操作的,效率会比usermodel高很多.