`

关于批量写入数据库

 
阅读更多

今天上午写个程序要将几张表内的数据读出写入一张表(2w多数据),开始没有使用批处理(每条写入都自动commit),写入速度在分钟级(太慢了后来就没计时),后来添加了批处理(不自动commit),全部用时20多秒。可见批处理写入数据库要快很多。程序大致结构如下:

EntityManager em = JPA.em();
em.setFlushMode(FlushModeType.COMMIT);
for(int i=0;i<20000;i++){
	MaterialInfo mi = new MaterialInfo();
	//set...
	em.persist(mi);
	if(i%BATCH_SIZE==0){
		em.flush();
	}
}
 上面的BATCH_SIZE我设置的是100,即每100条数据提交一次。
分享到:
评论

相关推荐

    C#读取大文本文件(4G)并将其批量写入数据库(每次100万条).zip

    本示例聚焦于使用C#语言读取大型文本文件(如4GB大小)并将其批量写入数据库(每次处理100万条记录)。这种操作在大数据处理场景下尤为常见,因为一次性读取和处理整个大文件可能会导致内存溢出,因此采用分批处理的...

    C#批量修改数据库

    该示例代码展示了如何使用SqlBulkCopy类将数据批量写入数据库,并提供了详细的注释,方便读者理解。 知识点1:SqlBulkCopy类 SqlBulkCopy类是.NET Framework中的一种类,用于批量将数据写入数据库。该类提供了许多...

    Flink 流数据批量写入数据库

    因此,本文将详细介绍如何在 Flink 中实现流数据的批量写入数据库,以提高效率并减轻数据库的压力。 首先,为了实现批量写入,我们可以利用 Flink 的窗口(Window)功能。窗口可以将连续的数据流分成多个时间间隔的...

    C#读取大文本文件_将其批量写入数据库_Demo

    在C#编程中,处理大文本文件并将其批量写入数据库是一项常见的任务,尤其是在日志分析、数据导入或大数据处理场景。本示例演示了如何高效地完成这一操作,避免因内存不足或性能低下导致的问题。 首先,让我们理解...

    批量插入数据库方法

    本示例聚焦于“批量插入数据库方法”,通过C#编程语言来实现这一功能。C#是一种广泛用于Windows平台的面向对象的编程语言,其丰富的类库和强大的.NET Framework使得处理数据库操作变得相对简便。 批量插入数据库的...

    C#.NET中如何批量插入大量数据到数据库中

    在C#.NET中批量插入大量数据到数据库是一个常见的任务,特别是在处理诸如从Excel文件导入数据等场景时。这里,我们将探讨如何使用C#.NET高效地完成这个任务,并提供一个简单的示例来说明整个过程。 首先,我们需要...

    技术支持利用JSON数据批量操作数据库(插入、更新)

    本篇文章详细介绍了如何利用JSON数据批量操作数据库(插入、更新),包括JSON数据的解析、数据库的连接与操作以及异常处理等方面的知识点。通过这些知识点的学习,读者可以更好地理解和应用相关的技术,在实际项目...

    excel批量导入数据库

    4. 导入操作:执行SQL INSERT语句或使用数据库提供的API将数据写入数据库。 5. 错误处理:设置合理的错误处理机制,捕获并解决导入过程中可能出现的问题。 三、使用小工具进行批量导入 为了节省时间和降低技术门槛...

    Java实现批量向mysql写入数据的方法

    本文中提供了一个完整的示例代码,演示了Java实现批量向mysql写入数据的方法,包括JDBC连接mysql数据库、批量向mysql写入数据和基本的异常处理等操作。该示例代码可以作为Java程序设计的参考,帮助读者更好地理解...

    批量读取excel文件并利用dbcp连接池写入数据库

    再者,为了提高批量写入数据库的效率,我们可以利用多线程技术。创建一个线程池,将读取到的Excel数据分块,每一块分配给一个线程进行处理。线程池可以有效地管理和控制并发线程的数量,避免过度并发导致的系统资源...

    批量写入SQL数据库的优化函数

    通过本函数在进行批量数据操作时可以实现事件回滚,保持事务一致性。

    Spring Batch读取txt文件并写入数据库的方法教程

    这里,我们使用 JdbcBatchItemWriter 将处理后的 User 对象批量写入数据库。SQL 语句用于插入新的记录。 4. 最后,定义一个 Job 和 Step: ```java @Configuration @EnableBatchProcessing public class ...

    java中excel数据写入数据库

    在Java编程中,将Excel数据写入数据库是一项常见的任务,特别是在数据处理和导入导出场景。这个场景通常涉及使用特定库来解析Excel文件,并通过某种框架(如Struts)与数据库进行交互。以下是对这个过程的详细解释:...

    Flink Kafka数据批量写入到数据库

    4. **批量写入数据库**:为了将处理后的数据批量写入数据库,我们可以使用 Flink 的 JDBC 输出格式。首先,我们需要配置数据库连接参数,然后创建一个 `JDBCOutputFormat` 并设置 SQL 插入语句。 ```java ...

    C#读取大文本文件(4G)并将其批量写入数据库(每次100万条)

    读取大文件(此示例用的是nginx日志文件,约4G),并将其 批量写入数据库的方法 因为读取nginx日志大文件并拆分成必要的列 比较耗时,所以插入100万条数据用时约1分钟,如果不计算的话,批量插入效率会更高

    将xls中的数据写入数据库

    这篇博文“将xls中的数据写入数据库”提供了实现这一功能的方法。以下是对这个主题的详细解释: 首先,我们需要理解xls文件。XLS是Microsoft Excel早期版本使用的文件格式,用于存储电子表格数据。它包含了单元格、...

    OPC客户端,对外数据发布,实时写入数据库

    2.OPC数据实时写入数据库 3.OPC数据定时写入数据库 4.OPC数据根据时间间隔写入数据 5.根据OPC数据点变化触发写入数据库 6.OPC数据Socket对外发布 7.OPC数据Remoting对外发布 程序可能还有些Bug,如有问题可与我联系...

    log4net写入数据库

    《log4net写入数据库:B/S与C/S模式详解》 在软件开发过程中,日志记录是一项至关重要的任务,它可以帮助开发者追踪程序运行状态,定位和解决潜在问题。log4net是一款广泛应用于.NET平台的日志记录工具,其强大的可...

    odbc 数据库批量插入操作

    本话题将深入探讨如何使用ODBC进行数据库的批量插入操作,并与单条更新操作进行对比,展示其性能优势。 首先,了解ODBC的基本原理:ODBC驱动程序管理器作为桥梁,连接应用程序和数据库驱动。应用程序通过ODBC API...

Global site tag (gtag.js) - Google Analytics