海量数据导出处理

现阶段问题：

1.会员批量数据导出有15000条数据大小限制，不设置限制时，如果有大量数据导出会导致服务器内存溢出。

2.现阶段使用的POI的User API (HSSF and XSSF)， 这种方式数据全部都在内存中处理，严重消耗内存。

 

java.lang.OutOfMemoryError: Java heap space

at java.util.HashMap.resize(HashMap.java:704)
at java.util.HashMap.putVal(HashMap.java:663)
at java.util.HashMap.put(HashMap.java:612)
at org.apache.poi.xssf.model.SharedStringsTable.addEntry(SharedStringsTable.java:192)
at org.apache.poi.xssf.usermodel.XSSFCell.setCellValue(XSSFCell.java:453)
at org.apache.poi.xssf.usermodel.XSSFCell.setCellValue(XSSFCell.java:417)

 

 

处理方案：

从POI 3.8版本开始，提供了一种基于XSSF的低内存占用的API----SXSSFWorkbook， 使用POI流梳理方式进行海量数据导出。

流式XSSFWorkbook允许写入非常大的文件而不会耗尽内存，因为任何时候只有可配置的行部分被保存在内存中。

 

SXSSFWorkbook wb = new SXSSFWorkbook(1000);

参考官方说明文档：

http://poi.apache.org/components/spreadsheet/how-to.html#sxssf

 

 

实际测试结果：