大量数据生成excel时候造成jvm内存泄漏问题的解决与测 （转）

一、从数据库中取大量数据（10万行左右）的时候，用jxl工具写excel，由于jxl是将每一个单元格生都成一个Cell对象，每一个对象都要消耗一定的内存空间，所以很容易导致内存溢出：

sheet0.addCell(new Label(colnum++,rownum,rs.getString("aname"),stuformat))//

tomcat报异常为：

java.lang.OutOfMemoryError: Java heap space

虽然在数据量在1—2万行左右的情况下，不会报异常，但是对服务器的资源消耗也是比较大的。

二、解决方法



要从消耗内存的原因出发解决，既然是由于生成大量的对象导致，就避免java创建太多的对象，就不能用jxl了。

另外可以对提前的数据进行情况来提取，对于不需要的数据可以不提取，节省时间和资源消耗。

用数据流的方法解决：

（1）直接写.txt文本文件，用”/t”来分割内容，可以从txt中直接复制到excel文件中。

public static void main(String[] args) {

       try {

           FileOutputStream fos = new FileOutputStream("hellotxt.txt");

           OutputStreamWriter osw=new OutputStreamWriter(fos);

           osw.write("aaa,bbb,ccc,ddd,eee,fff/r/n");

           osw.write("aaa/tbbb/tccc/tddd/teee/tfff/r/n");

           osw.flush();

           osw.close();

       } catch (IOException e) {

           e.printStackTrace();

       }

}

记事本打开效果如下：

aaa,bbb,ccc,ddd,eee,fff

aaa bbb ccc ddd eee fff

直接从记事本负责粘贴到excel中，效果如下：




aaa,bbb,ccc,ddd,eee,fff



















aaa


bbb


ccc


ddd


eee


fff




（2）也可以写成.csv

.csv文件打开格式跟excel基本一样,但是写入方式和写文本方式类似，可以以流的形式追加，只要在每列之间以固定标识符进行间隔，不存在内存和格式问题.

public static void main(String[] args) {

       try {

           FileWriter fw = new FileWriter("helloCsv.csv");

           fw.write("aaa,bbb,ccc,ddd,eee,fff,ggg,hhh/r/n");

           fw.write("aa1,bb1,cc1,dd1,ee1,ff1,gg1,hh1/r/n");

           fw.write("aaa/r/n");

           fw.write("aa2,bb2,cc2,dd2,ee2,ff2,gg2,hh2/r/n");

           fw.close();

       } catch (IOException e) {

           e.printStackTrace();

       }

    }



用excel打开文件显示如下，可以看到英文的逗号被作为了分割符而不显示出来。




aaa


bbb


ccc


ddd


eee


fff


ggg


hhh




aa1


bb1


cc1


dd1


ee1


ff1


gg1


hh1




aaa

























aa2


bb2


cc2


dd2


ee2


ff2


gg2


hh2


用记事本打开显示如下，逗号被作为内容的一部分显示出来：

aaa,bbb,ccc,ddd,eee,fff,ggg,hhh

aa1,bb1,cc1,dd1,ee1,ff1,gg1,hh1

aaa

aa2,bb2,cc2,dd2,ee2,ff2,gg2,hh2



注:写.csv文件的时候要注意里面的英文逗号，在用excel打开.csv文件的时候，英文逗号作为单元格之间的分隔符不显示出来。所以写的内容中的英文逗号要替换掉。



（3）写html

HTML   和   Excel之间通过改后缀名是可以相互转换的，  所以，可以先写HTML，这样内存不会溢出，写好后再改成xls后缀名。  

打开一个EXCEL，然后，选择另存为网页，可以看一下这个HTML的源码，直接把这个HTML文件后缀名改为xls，打开后效果和刚才那个EXCEL一样，但是会文件会变大。但是，压缩后比EXCEL还小。



以上几种方法以写.txt文件操作简单，效率比较高，写.csv文件效率跟写txt文件查不多，而且在小于65535行的情况下可以直接用excel打开，如果采用这个方法并且想用excel直接打开，行数如果多于65535行需要写多个.csv文件，并且要注意替换掉内容中的英文逗号，写html文件要写大量的标签，相对txt和csv文件内容会增加很多，具体写法可以上网查。比较优劣效率易编写情况，综合得出可以采用写txt和csv方法。





在网上查询相关资料，结合本案例，做的一个测试：

在java写文件中，通常会使用FileOutputStream和FileWriter，FileWriter只能写文本文件。 FileOutputStream也经常结合BufferedOutputStream。因为实际应用中写文本文件的情况占了大多数，对于java些excel的时候有jxl包，所以下面测试用不同的方式生成一个相同行数、大小相同的文件的四种不同方式。测试一下生成数据的时间，文件的大小，已经可以间接的看出消耗内存的情况。
   FileOutputStream 用于写入诸如图像数据之类的原始字节的流。

要写入字符流，请考虑使用 FileWriter。

BufferedOutputStream该类实现缓冲的输出流。通过设置这种输出流，应用程序就可以将各个字节写入基础输出流中，而不必为每次字节写入调用基础系统。
import java.io.BufferedOutputStream;

import java.io.File;

import java.io.FileOutputStream;

import java.io.FileWriter;



import jxl.Workbook;

import jxl.write.Label;

import jxl.write.WritableSheet;

import jxl.write.WritableWorkbook;



public class createDataFile {



  

    public static void main(String[] args) {

       // TODO Auto-generated method stub

       FileOutputStream out = null;

        FileOutputStream outSTr = null;

        BufferedOutputStream Buff=null;

        FileWriter fw = null;

        WritableWorkbook wb=null;

        int count=100000;//写文件行数

        try {

      

            long begin = System.currentTimeMillis();

            out = new FileOutputStream(new File("C:/add1.txt"));

            for (int i = 0; i < count; i++) {

                out.write("测试java 文件操作/r/n".getBytes());

            }

            out.close();

            long end = System.currentTimeMillis();

           // System.out.println((float)(new File("C:/add1.txt").length())/1024/1024);

            System.out.println("FileOutputStream执行耗时:" + (end - begin) + " 豪秒");

          

            long begin0 = System.currentTimeMillis();  

            outSTr = new FileOutputStream(new File("C:/add2.txt"));

            Buff=new BufferedOutputStream(outSTr);

            for (int i = 0; i < count; i++) {

                Buff.write("测试java 文件操作/r/n".getBytes());

            }

            Buff.flush();

            Buff.close();

            long end0 = System.currentTimeMillis();

            System.out.println("BufferedOutputStream执行耗时:" + (end0 - begin0) + " 豪秒");



          

            long begin3 = System.currentTimeMillis();

            fw = new FileWriter("C:/add3.txt");

            for (int i = 0; i < count; i++) {

                fw.write("测试java 文件操作/r/n");

            }

                fw.close();

            long end3 = System.currentTimeMillis();

            System.out.println("FileWriter执行耗时:" + (end3 - begin3) + " 豪秒");

            //生成excel

          

         

            long begin4=System.currentTimeMillis();

            wb=Workbook.createWorkbook( new  File( "c:/test.xls" ));         

            WritableSheet sheet0= wb.createSheet( "sheet1",0);

            //System.out.print(wb.getNumberOfSheets());

            int rownum=0;

            int limint=1;

            int snum=0;

            for(int i=0;i<count;i++){

              sheet0.addCell(new Label(0,rownum++,"测试java 文件操作"));  

              limint++;

              if(limint>65530){

               snum++;

                 wb.createSheet("sheet"+(wb.getNumberOfSheets()+1),wb.getNumberOfSheets()+1);//增加一个sheet

                 sheet0 = wb.getSheet(snum);

                 rownum  = sheet0.getRows();

                 limint=0;

              }

            }

            wb.write();

            wb.close();

            long end4=System.currentTimeMillis();

            System.out.println("jxl生成excel执行耗时:" + (end4 - begin4) + " 豪秒");

        } catch (Exception e) {

            e.printStackTrace();

        } finally {

            try {

            } catch (Exception e) {

                e.printStackTrace();

            }

        }

    }

}

以下结果经过多次执行，取常出现的数据，由于只是简单比较，不做详细统计。

1.    当count＝1000的，即写文件1000行的时候，写出的文件大小为18.5KB：



FileOutputStream执行耗时:16 豪秒

BufferedOutputStream执行耗时:16 豪秒

FileWriter执行耗时:15 豪秒

jxl生成excel执行耗时:296 豪秒                 文件大小为47KB



2.当count＝10000的，即写文件10000行的时候，写出的文件大小为185KB：



FileOutputStream执行耗时:94 豪秒

BufferedOutputStream执行耗时:15 豪秒

FileWriter执行耗时:16 豪秒

jxl生成excel执行耗时:391 豪秒                 文件大小为369KB

3.当count＝100000的，即写文件100000行的时候，写出的文件大小为1856KB：



FileOutputStream执行耗时:594 豪秒

BufferedOutputStream执行耗时:94 豪秒

FileWriter执行耗时:78 豪秒

jxl生成excel执行耗时:2625 豪秒               文件大小为3592KB

4.当count＝1000000的，即写文件1000000行的时候，写出的文件大小为18555KB：



FileOutputStream执行耗时:5625 豪秒

BufferedOutputStream执行耗时:1328 豪秒

FileWriter执行耗时:875 豪秒

执行生成excel的时候出现了异常：

Exception in thread "main" java.lang.OutOfMemoryError: Java heap space   



由以上数据可以看到，用文件流来写的速度比写excel的速度要快很多，生成的文件大小也比较小大小相差一半左右，而且从最后一项来看，写excel的时候对java虚拟机内存消耗也比较大，会报异常。

用流来写的三种方法中比较得出：如果不用缓冲流BufferedOutputStream，FileOutputStream写文件的是很不好的。当写 1000000行的文件的时候，FileOutputStream比FileWriter要慢4750毫秒， BufferedOutputStream比FileWriter慢553毫秒。
     不要小看这几秒的时间。当操作的数据量很大的时候，这点性能的差距就会很大了。在通用数据迁移工具导出数据库2千万条记录生成sql脚本文件的时候，性能性能相差2分钟以上。