`
teamojiao
  • 浏览: 350412 次
  • 性别: Icon_minigender_1
  • 来自: 南京
社区版块
存档分类
最新评论

大数据量导出Excel的方案

阅读更多

测试共同条件:
数据总数为110011条,每条数据条数为19个字段。
电脑配置为:P4 2.67GHz,1G内存。

一、POI、JXL、FastExcel比较
POI、JXL、FastExcel均为java第三方开源导出Excel的开源项目。

导出方案一:一次性全部导出到一个Excel文件中。
实际情况均报OutOfMemery错误,以下数据为报OutOfMemery数据时,数据到的最大数据数目,如表1所示:
表1:报OutOfMemery错误时所能处理的数据量
                                       FastExecl    POI      JXL
10000数据/sheet             37465     28996   42270
5000数据/sheet               39096     31487   46270
3000数据/sheet                 39000    32493   47860
小结:
多分sheet能一定程度上减少内存的使用,但是均因为程序中创建的Cell(即为Excel中的一个单元格)无法释放,消耗大量内存,导致OutOfMemery错误;JXL表现最好,创建Cell内存使用较少。

导出方案二:先分多个Excel文件将数据全部导出,然后对多个Excel文件进行合并。
首先,测试将全部数据导出所用的时间,如表2所示,数据均测试三次取平均。
表2:导出全部数据所用时间
                                 FastExecl    POI    JXL
10000数据/文件             68s          33s   30s
5000数据/文件               68s          32s   33s
3000数据/文件               59s           33s   39s
小结:
均成功导出Excel文件,原因是导出一个Excel文件,释放所占用的创建Cell的内存。
FastExecl表现最差,POI表现稳定,JXL随着数据的增大,速度一定程度上增快。

然后,进行整合,由于将多Excel合并成一个Excel文件的功能只有POI所有,故使用POI测试,结果如表3所示。
注:数据量大合并还会报OutOfMemery错误,故合并总数据量以5万为准。
表3:合并5万数据所用时间
时间
10000数据/文件 11s
5000数据/文件 11s
3000数据/文件 11s
小结:
使用POI对文件进行合并速度较快,但有数据量的限制。


总结:方案二比较可行,但是数据量有限制,为5万条。


二、导出XML 的电子表格
导出的格式类似为纯文本,能实现大数据量的存储,并能实现分Sheet查看,且能添加简单的样式,符合项目要求。经实际测试Excel2003和Excel2007均能识别并正常打开查看。使用时间测试如表4所示,数据均测试3次取平均。
表4:生成全部数据所用时间
                                   时间
10000数据/sheet      28.0秒
20000数据/sheet     30.1秒
30000数据/sheet     28.1秒
40000数据/sheet     26.5秒
50000数据/sheet     28.2秒
55000数据/sheet     26.8秒
59000数据/sheet      30.1秒
59500数据/sheet      发生假死机现象
60000数据/sheet      发生假死机现象

但是导出的数据为XML不是纯正的Excel文件,如使用Excel文件的xls后缀保存,打开文件会弹出警告,但不影响阅读。
且经实际测试,在Access2007和Access2003中可通过导入外部数据的方式,将导出的XML导入进Access数据库。

三、总结
项目要求是大数据量导出Excel文件,POI、JXL、FastExcel不能完全满足要求;使用XML 的电子表格导出实现了大数据量导出,但是格式为XML不是纯正的Excel文件,为曲线救国。两种导出形式的比较,如表5所示。
表5:合并5万数据所用时间
                               POI、JXL、FastExcel      XML 的电子表格
导出数据格式                为纯Execl文件                  为XML文件
导出数据量                            小                               较大
能否分Sheet                        能                               能
能否添加样式                         能                               能
能否添加图片                        POI 能                         不能
导出数据能否导入Access          能                               能

 

PS。我提高JVM的大小几乎没效果,不知道是怎么回事……

分享到:
评论
1 楼 chengkun 2010-07-16  
你们就是喜欢拿别人一模一样的

相关推荐

    java解决大批量数据导出Excel产生内存溢出的方案

    在Java开发中,当面临大批量数据导出到Excel...通过这些方法,我们可以在处理大量数据导出到Excel时避免内存溢出问题,同时保持程序的稳定性和效率。在实际应用中,可以根据具体需求和环境选择合适的方法进行组合使用。

    Java_批量导出大数据量Excel方法.zip

    在Java开发中,批量导出大数据量到...通过以上方法,开发者可以构建一个高效且健壮的Java批量导出大数据量到Excel的解决方案。具体实现细节可能在提供的excelproj和ExpXLS文件中有所体现,建议解压后仔细研究源代码。

    使用POI导出大数据量到EXCEL

    "使用POI导出大数据量到EXCEL"这个主题涉及到如何高效地利用POI处理大量数据并将其导出到Excel文件中。以下是对这个主题的详细讲解。 1. **Apache POI简介** Apache POI 是一个开源项目,它提供了Java API来创建、...

    java excel大数据量导出demo,可支持模板导出

    这可能涉及到数据库的分页查询,然后逐页导出到Excel。在Java中,这可以通过JDBC或者ORM框架如Hibernate、MyBatis来实现。 3. **数据处理**:在导出前,可能需要对数据进行预处理,比如格式转换、计算、过滤等。这...

    Excel大量数据快速导入数据库源码

    标题 "Excel大量数据快速导入数据库源码" 描述的是一个编程解决方案,用于高效地将Excel电子表格中的大量数据批量导入到数据库系统中。这个过程通常涉及到数据预处理、数据清洗和数据传输等步骤,是数据处理工作流程...

    多个excel导出压缩成zip 文件 数据量大导出

    在IT行业中,大数据量的处理是一项常见的挑战,尤其是在数据导出和存储方面。"多个Excel导出压缩成zip文件"的场景通常是为了解决数据量过大导致的文件管理不便、传输效率低以及存储空间占用过多等问题。下面我们将...

    POI百万级大数据量EXCEL导出 - 请叫我猿叔叔的博客 - CSDN博客.htm

    POI百万级大数据量EXCEL导出 - 请叫我猿叔叔的博客 - CSDN博客.htm

    Java解析大数据量Excel,可解析1048576行excel

    在处理大数据量的Excel文件时,Java是一种常用的语言,因为它提供了强大的库,如Apache POI,使得解析大型Excel文件成为可能。Apache POI是Java的一个开源项目,专门用于读写Microsoft Office格式的文件,包括Excel...

    PHP导出数据到excel

    总之,使用PHP将数据从MySQL导出到Excel文件是一个实用的功能,结合`mysqli`或`PDO`进行数据库操作,以及`phpspreadsheet`这样的库处理Excel文件,可以实现高效且灵活的数据导出。确保在实际项目中考虑性能、安全性...

    layui数据表格导出Excel插件

    layui数据表格导出Excel插件是一款为layui框架设计的实用工具,它允许用户方便地将layui数据表格中的数据导出到Excel文件中。layui是一款轻量级的前端UI框架,以其简洁、优雅的代码风格和丰富的组件库深受开发者喜爱...

    C#实现几十万级数据导出 实 Excel及Excel各种操作实例.zip

    在C#编程环境中,处理大量数据的导出到Excel...总之,这个压缩包资源为C#开发者提供了一套处理大量数据导出到Excel的实践指南,涵盖了从基础操作到高级技巧的各种知识点,对于提升C#开发者的Excel操作能力非常有帮助。

    asp.net 导出数据与图片到excel

    在标题“asp.net 导出数据与图片到excel”和描述中提到的,是关于如何在ASP.NET环境下将数据和图片导出到Excel文件的一个主题。这是一个常见的需求,尤其是在数据分析、报表生成或数据共享时。以下是一些相关的知识...

    java导出30万数据量的excel(采用生成多个excel,最后打包zip)

    在Java开发中,处理大数据量的Excel导出是一项常见的任务,尤其当数据量达到数十万条时,单个Excel文件可能会遇到性能瓶颈或格式限制...这种方案在实际项目中具有很高的实用价值,尤其对于需要大量数据导出的业务场景。

    处理大数据量excel

    这篇博文“处理大数据量excel”可能提供了针对这一问题的解决方案。博主分享了在处理大量数据时,如何利用编程工具和特定库来提升效率和性能。 首先,我们关注到标签中的“源码”和“工具”,这暗示了博主可能介绍...

    java多线程导出excel(千万级别)优化

    Java多线程导出Excel是处理大数据量时的一种高效策略,尤其在面对千万级别的数据时。传统的Apache POI库在处理大规模数据时可能会遇到栈溢出(StackOverflowError)和内存溢出(OutOfMemoryError)等问题,因为这些...

    SQL定时导出数据到Excel

    当涉及到将数据导出到Excel时,可以利用`OPENROWSET`与OLE DB驱动程序的组合来实现这一目标。 **示例代码**: ```sql INSERT INTO [SheetName]$ SELECT * FROM OPENROWSET('MICROSOFT.JET.OLEDB.4.0', 'Excel5.0;...

    plsql大数据量导出工具

    在Oracle数据库环境中,处理大数据量的表数据导出是一项挑战,特别是当数据达到百万或千万级别时。"plsql大数据量导出工具"是专为解决这类问题而设计的工具,它能有效地从Oracle数据库中导出大规模数据,并将其保存...

    原创之数据导出到Excel原创demo

    本教程以"原创之数据导出到Excel原创demo"为主题,通过C#编程语言实现了一个高效且灵活的数据导出解决方案。这个解决方案允许开发者根据需要选择要导出的列,并可以直接作为帮助类使用,无需进行额外的修改,极大地...

    delphi表格数据导出到excel的控件

    标题提到的"delphi表格数据导出到excel的控件"是解决这类问题的一种解决方案。这个控件允许开发者在不编写大量自定义代码的情况下,将表格数据方便地导出到Microsoft Excel格式的文件中。 描述中提到,使用该控件的...

Global site tag (gtag.js) - Google Analytics