`
lyjilu
  • 浏览: 175656 次
  • 性别: Icon_minigender_1
  • 来自: 成都
社区版块
存档分类
最新评论

java 导出Excel 大数据量(一)

阅读更多

分析导出实现代码,XLSX支持:

 

 

/**
	 * 生成XLSX,2007版本的excel,每个sheet无6.5W的行数限制,但是到了一定数量,可能内存溢出,
	 * 次方法适合在预计10W以下的数据导出时使用,本机测试,14W可以导出。列数量在8列左右
	 * 
	 * @param fileOut
	 *            输出流
	 * @param sheetMap
	 *            要设置的数据信息
	 * @throws SQLException
	 */
	public static void createXSLXByResultSet(OutputStream fileOut, WriteXLSBean... beans)
			throws SQLException {
		try {
			//重点 Workbook
			Workbook wb = new XSSFWorkbook();
			for (int i = 0, len = beans.length; i < len; i++) {
				WriteXLSBean xlsBean = beans[i];
				Sheet sheet = wb.createSheet(xlsBean.getSheetName());
				ResultSet rs = xlsBean.getRs();
				ResultSetMetaData rsmd = rs.getMetaData();
				TypeHandlerRegistry tr = BeanContext.tr;
				Map<String, String> th = xlsBean.getTh();
				int index = 0;
				while (rs.next()) {
					long t1 = System.currentTimeMillis();
					org.apache.poi.ss.usermodel.Row row = sheet
							.createRow(index);
					for (int j = 0, numberOfColumns = rsmd.getColumnCount(); j < numberOfColumns; j++) {
						String key = rsmd.getColumnLabel(j + 1).toLowerCase();
						if (th.containsKey(key)) {
							TypeHandler<?> type = tr.getTypeHandler(JdbcType
									.forCode(rsmd.getColumnType(j + 1)));
							Object obj = type.getResult(rs, key);
							row.createCell(j).setCellValue(obj == null ? ""
									: obj.toString());
						}
					}
					System.out.println(index + " :"
							+ (System.currentTimeMillis() - t1));
					index++;
				}
			}
			//重点 Workbook
			wb.write(fileOut);
		} catch (IOException e) {
			e.printStackTrace();
			throw new ServiceRunTimeException("生产xls文档错误", e);
		} finally {

		}
	}

 在上面 标注了重点的两处,分别是:

1.构建一个Excel对象

2.将该对象写入一个OutPutStream

而在构建过程中,没有地方写入OutPutSteam ,也就是说必须在内存中构建整个 Excel,才能进行写出操作,在大数据量情况下,这样将导致所有数据加载到内存中,而不能输出,导致最后 内存溢出。

根据运行环境不用,可能内存溢出的 情况不同

根据情况,如果数据量达到10W以上,建议使用

1、多个Excel,每个Excel一个Sheet,因为所有Sheet都是Workbook的组成部分。如果不分多个Excel,即使分Sheet也没用,

 

2、每个Excel中列数适中,比如: 5W行每个Excel档,实现分多次导出和分页查询原理一样 

 

3、对多个Excel导出到一个临时目录,并通过程序压缩,然后提供给客户下载

 

4、用另外一种方式,见 2 http://lyjilu.iteye.com/blog/2083106

 

2003版通过数据库结果存到List中,然后进行生产:Table 就是List Row 是Map

 

/**
	 * 生产xls,2003版本的excel,每个sheet有6.5W的行数限制
	 * 
	 * @param fileOut
	 *            输出流,未关闭
	 * @param sheetMap
	 *            要导出的数据信息
	 */
	public static void createXSLByMap(OutputStream fileOut, Map<String, Table<Row<String, Object>>> sheetMap) {
		try {
			HSSFWorkbook wb = new HSSFWorkbook();
			Set<String> keys = sheetMap.keySet();
			for (Iterator<String> iterator = keys.iterator(); iterator
					.hasNext();) {
				String SheetKey = iterator.next();
				Sheet sheet = wb.createSheet(SheetKey);
				List<Row<String, Object>> sheetRows = sheetMap.get(SheetKey);
				for (int i = 0, len = sheetRows.size(); i < len; i++) {
					Map<String, Object> cellMap = sheetRows.get(i);
					Set<String> cellSet = cellMap.keySet();
					org.apache.poi.ss.usermodel.Row row = sheet.createRow(i);
					int j = 0;
					for (Iterator<String> iterCell = cellSet.iterator(); iterCell
							.hasNext(); j++) {
						String cellKey = iterCell.next();
						Object obj = cellMap.get(cellKey);
						row.createCell(j).setCellValue(obj == null ? ""
								: obj.toString());
					}
				}
			}
			wb.write(fileOut);
		} catch (IOException e) {
			e.printStackTrace();
			throw new ServiceRunTimeException("生产xls文档错误", e);
		} finally {
		}
	}

 

 

 

 新版本 POI+office 2007版本excel可以导出几十万条而不内存溢出,详细见:

http://lyjilu.iteye.com/blog/2083106

出处: http://lyjilu.iteye.com/

 

分享到:
评论
1 楼 18335864773 2017-06-06  
国产的软件PageOffice,本质上也是在客户端生成Excel表格的。填充上万行数据也能瞬间完成,还支持赋值公式、单元格样式和文本样式的设置。有机会的话可以用pageoffice生成excel。比poi 和 jxl 简单方便。

相关推荐

    java Excel导出 Excel数据处理

    总结起来,Java中处理和导出Excel数据涉及使用像Apache POI这样的库,创建工作簿,添加工作表,填充和格式化数据,然后将所有内容写入文件。了解并熟练掌握这些步骤是Java开发人员处理Excel数据的基础。在实际应用中...

    java导出excel复杂表头

    本示例涉及的主题是“java导出excel复杂表头”,这意味着我们要处理的不是简单的单级表头,而是包含多级或者多层次结构的表头。在描述中提到这是一个可以直接运行的Java工程,但需要进一步改造为Web下载服务。 首先...

    java导出30万数据量的excel(采用生成多个excel,最后打包zip)

    在Java开发中,处理大数据量的Excel导出是一项常见的任务,尤其当数据量达到数十万条时,单个Excel文件可能会遇到性能瓶颈或格式限制。本项目针对这一问题提出了一种解决方案,即分块生成多个Excel文件,然后将它们...

    Java_批量导出大数据量Excel方法.zip

    在Java开发中,批量导出大数据量到Excel是一项常见的任务,尤其在数据分析、报表生成或者数据交换场景下。为了高效地处理这种情况,开发者通常需要掌握一些特定的技术和策略。本资料"Java_批量导出大数据量Excel方法...

    java解决大批量数据导出Excel产生内存溢出的方案

    这是因为Excel文件格式本身的设计,以及Java默认处理大数据的方式,可能导致内存占用过高,尤其是在一次性加载大量数据到内存中进行处理时。为了解决这个问题,我们可以采用以下几种策略: 1. **分批导出**: - ...

    java excel大数据量导出demo,可支持模板导出

    这个Java demo提供了一种实用的方法来处理Excel大数据量导出的问题,它适用于那些需要高效、稳定地处理大量数据并生成Excel报告的业务场景。通过深入理解并实践这个示例,开发者可以更好地掌握Apache POI的流式API,...

    Java导出数据到Excel文件中(支持多表头)

    在代码实现中,我们需要创建一个`SXSSFWorkbook`对象,它是一个内存优化的Excel工作簿,可以处理大量数据。接着,我们创建`SXSSFSheet`作为工作簿中的工作表,并设置表头。一级表头可以通过`createRow`方法创建行并...

    JAVA导出数据到excel中大数据量的解决方法

    web项目中需要有将数据导出excel的操作需求 使用html格式导出方法,但在导出时,根据最大行数重新建立新的excel文件; 数据从数据库取出使用纯jdbc方式读数据,边读边向文件中写; 待所有数据写完,将各个小excel...

    java导出到excel的工具类

    2. 提供数据分页功能,避免一次性加载大量数据导致内存溢出。 3. 增加列标题的设置,使导出的Excel文件更易于理解。 4. 添加数据验证和错误处理,确保输入数据的正确性。 5. 支持多sheet导出,方便组织复杂的Excel...

    java多线程导出excel(千万级别)优化

    Java多线程导出Excel是处理大数据量时的一种高效策略,尤其在面对千万级别的数据时。传统的Apache POI库在处理大规模数据时可能会遇到栈溢出(StackOverflowError)和内存溢出(OutOfMemoryError)等问题,因为这些...

    java poi导出大量数据到Excel

    1. **内存优化**:当数据量非常大时,建议使用Apache POI提供的SXSSF类来降低内存占用。 2. **性能考虑**:在实际应用中,应尽可能减少对Excel文件的读写操作,避免频繁创建和销毁对象。 3. **异常处理**:在处理...

    java 导出Excel poi读写数据

    在Java编程中,导出Excel是一项常见的任务,特别是在数据分析、报表生成或数据交换等领域。Apache POI是一个流行的库,它允许开发者使用Java处理Microsoft Office格式的文档,包括Excel(.xlsx和.xls)。在这个场景...

    Java数据导出到Excel模板

    本项目就是这样一个示例,它利用了Apache POI库来处理Excel文件的生成,使得Java程序能够方便地操作Excel数据。下面将详细阐述相关知识点。 1. **Apache POI**:Apache POI是一个开源项目,它提供了Java API来读写...

    java导出excel的jar包及例子代码

    对于大数据量的导出,要考虑内存管理和性能优化,可能需要使用Streaming API或Apache POI的SXSSF(Streaming Usermodel API)。 总之,Java导出Excel涉及到的主要知识点包括:Apache POI库的使用,Workbook、Sheet...

    java复杂模板excel导出例子

    7. **性能优化**: 处理大量数据时,注意使用`SXSSFWorkbook`代替`XSSFWorkbook`,这是一个内存优化的版本,它通过写入磁盘来处理大型工作簿。 此外,还可以考虑其他库,如JExcelAPI、EPPlus(仅限.NET,但有Java...

    Java 导出Excel.zip

    "Java 导出Excel.zip"这个压缩包文件提供了一个Java实现的解决方案,允许开发者以全泛型的方式方便地导出数据到Excel文件,而且支持动态创建不同数量的sheet页面,增强了灵活性。 1. **Java与Excel交互**:Java中...

    java导出图片到excel

    7. **性能优化**:如果数据量大,考虑使用SXSSFWorkbook,它可以处理大量数据而不会耗尽内存,因为它会将部分数据写入磁盘。 8. **异常处理**:在整个过程中,需要捕获并处理可能出现的IOException和其他异常,确保...

    java导出excel的相关jar

    压缩包中的文件"java导出excel"很可能包含了使用这两种库的示例代码或教程资源,你可以通过解压并学习这些文件来深入理解如何在Java中实现数据到Excel的导出。记得在实际使用时,要根据项目需求选择合适的技术,并...

    java导出excel2007

    在Java编程环境中,导出Excel 2007文件(也称为.xlsx文件)是一项常见的任务,主要用于数据报表、数据分析和数据交换。Excel 2007引入了Open XML格式,这是Microsoft Office的一项新标准,提供了更高效的数据存储...

    java中使用poi导出Excel大批量数据到客户端

    在java web系统应用中我们经常会用到大批量数据的导出,动辄就上几十万几百万的数据让我们的程序感觉...java中使用poi导出Excel大批量数据到客户端 存在两个导出方法:存在一个分批量导出ZIP文件,一个导出exel文件

Global site tag (gtag.js) - Google Analytics