0 0

poi读取excel2007(大数据),然后保存到数据库中0

如题所示,我一开始用的是XSSFWorkbook,但是大数据会导致内存溢出,后来在网上查到了SXSSFWorkbook,但是这个类是用来读取大数据写到excel2007中的,跟我的需求方向正好相反。所以我想请问下哪位大神有比较好的解决方案?
2014年10月28日 11:41

1个答案 按时间排序 按投票排序

0 0

根本不用什么第三方API。
如果是xlsx的excel格式的话,将文件扩展名改为.zip,然后解压缩,你会发现实际上数据都在xml里面存着呢。

所以你要做的就是读文件,解压缩,读XML,顺序读一行行数据,然后入库即可。

2014年10月28日 12:43

相关推荐

    大数据Excel通过POI导入数据库通用设计方案

    1. **读取Excel**:使用Apache POI库解析Excel文件,获取标题行和数据行。 2. **验证规则**:根据数据导入规则检查Excel数据的合法性。 3. **数据转换**:将Excel数据转换为符合数据库表结构的对象。 4. **处理重复...

    excel导入大数据失败解决方法

    2. 读取Excel文件:使用Apache POI库或其他类似库读取Excel文件。POI库可以处理.xlsx和.xls格式的文件。 3. 转换数据:遍历Excel工作表中的每一行和每一列,将数据保存到内存中的数据结构,如ArrayList或List。 4. ...

    poi 自己写的excel sax方式导入大量数据

    SAX(Simple API for XML)解析方式与DOM不同,它不会一次性加载整个文件到内存,而是逐行读取,只处理当前需要的数据,这极大地降低了内存使用,特别适合处理大数据量的Excel文件。 以下是一些关于使用Apache POI...

    大数据Excel操作不会内存溢出POI

    同时支持Excel-2003和Excel-2007,excel-2003解析采用poi的eventusermodel模式实现,2007采用xmlreader实现,经项目验证,excel文件20W条数据没有任何问题,仅读取的话2-3分钟解析完毕。 网络上有关eventusermodel...

    POI读写海量Excel(代码)

    接着,让我们看看如何使用POI读取Excel文件。首先,我们需要创建一个` FileInputStream `对象来打开文件,然后使用` XSSFWorkbook `类创建一个工作簿实例: ```java FileInputStream fis = new FileInputStream(...

    超大xml解析导入数据库、千万级别大数据导出到Excel。实现核心:高性能、分段、分页循环:读取-写入-清空内存。解.zip

    标题提到的"超大XML解析导入数据库"和"千万级别大数据导出到Excel"涉及到两个关键的技术领域:大数据处理和高效数据转换。以下将详细探讨这两个方面的核心实现策略。 首先,对于超大XML文件的解析,XML是一种广泛...

    将excel的数据导入到数据库中

    使用Apache POI库,可以方便地读取Excel文件。POI提供API来访问和修改Excel文件,创建一个工作簿对象,然后通过工作表和行对象来获取数据。 6. **数据插入**: 读取到数据后,你需要创建SQL的INSERT语句,将Excel...

    EasyExcel 并发读取文件字段并进行校验,数据写入到新文件,批量插入数据到数据库

    EasyExcel提供了一种多线程并发读取Excel数据的方式,通过`readSheetHandler`和`executeParallel`方法,可以将读取任务分配到多个线程中执行。每个线程独立处理一部分行数据,这样可以显著提升数据处理速度。 3. *...

    1. 将⼀些数据库信息导出为Excel表格 2. 将Excel表格数据导⼊数据库 3. ⼤量的数据的导⼊导出操作

    **读取Excel数据**:使用easyExcel提供的API读取Excel文件,并将其转换成Java对象列表。 2. **数据清洗与转换**:对读取的数据进行必要的清洗和转换,确保其符合数据库的要求。 3. **批量插入数据库**:将处理后...

    大数据快速导出EXCEL-Java

    除了Apache POI,还可以考虑其他解决方案,例如使用JExcelAPI或者OpenCSV,它们也支持将数据导出到Excel,但可能不如POI在处理大数据时那样高效。 此外,优化数据读取和转换过程也是关键。例如,可以使用批处理查询...

    java读取excel所需jar包(xlsx导出并附带其他数据库连接基本jar包)

    通过以上分析,我们可以了解到这个资源主要涉及了使用Java和Apache POI处理xlsx文件,特别是大数据批量导出的场景,同时还提供了数据库连接的支持。开发者可以根据具体需求,结合`ExportExcels.java`中的示例代码和...

    POI设置EXCEL单元格格式为文本.pdf

    在本文中,我们将深入探讨如何使用 POI 来设置 EXCEL 单元格格式为文本,以及如何从数据库导出数据到 EXCEL 文件。 首先,我们需要了解 POI 的基本概念。POI 提供了 HSSF(用于处理 .xls 文件)和 XSSF(用于处理 ....

    POI设置EXCEL单元格格式为文本.docx

    在数据挖掘和大数据分析中,POI 提供了方便的方式来读取、写入和修改 Excel 数据,这在从数据库导出数据到 Excel 表格时非常有用。 在本文中,我们将探讨如何使用 POI 设置 Excel 单元格格式为文本,并从数据库生成...

    excle大量数据读取

    Pandas的`read_excel()`函数可以用来读取Excel文件,但默认情况下,它会将整个工作簿加载到内存中,这在处理大数据时是不可取的。为避免内存溢出,我们可以设置参数`chunksize`,将其设为一个合适的值,比如10000,...

    poi-3.8-20120326.jar 和 poi-excelant-3.8-20120326.jar

    2. **打开Excel文件**:使用POI的API读取Excel文件,创建工作簿对象。 3. **遍历工作表和行**:访问每个工作表,然后逐行读取数据。 4. **解析单元格数据**:根据单元格类型提取数据,如字符串、数字等,并转换为...

    以读取XML方式的大批量导入Excel

    然后,这些数据可以被映射到Java对象,进一步处理或存储到数据库中。这个过程可能涉及到Java反射API,用于动态创建和初始化对象,以及Apache POI库,这是一款强大的Java库,用于处理Microsoft Office格式,包括Excel...

    POI海量导出EXCEL所需jar包和db文件

    1. **读取Excel文件**:POI提供了HSSF(Horizontally SpreadSheet Format)用于处理.xls格式的老版Excel文件,而XSSF(eXtended SpreadSheet Format)则用于处理.xlsx的新版Excel文件。通过Workbook接口,可以访问...

    excel_poi.zip

    在IT行业中,Excel表格的处理是一项常见的任务,尤其是在大数据导入导出、报表生成以及数据分析等领域。Apache POI是一个流行的开源库,它允许开发者使用Java语言来读取、写入和修改Microsoft Office格式的文件,...

    ExcelPOI.zip

    在实际应用中,如批量数据导入到数据库或者进行复杂的数据分析,这样的能力至关重要。传统的逐行读取和写入方法可能会导致性能瓶颈,但Apache POI通过优化内存管理和流式处理,可以在合理的时间内完成百万级数据的...

    java数据导出到Excel表包POI

    Java数据导出到Excel是常见的数据处理需求,Apache POI是一个强大的库,专门用于处理Microsoft Office格式的文件,包括Excel。在本篇文章中,我们将深入探讨如何使用Apache POI 3.7版本来实现Java程序中的Excel数据...

Global site tag (gtag.js) - Google Analytics