`
maozilee
  • 浏览: 251493 次
  • 性别: Icon_minigender_1
  • 来自: 长沙
社区版块
存档分类
最新评论

用Java向数据库中插入大量数据时的优化

 
阅读更多

使用jdbc向数据库插入100000条记录,分别使用statement,PreparedStatement,及PreparedStatement+批处理3种方式进行测试: 

//1.使用statement插入100000条记录 

public void exec(Connection conn){ 
  try { 
   //开始时间
   Long beginTime = System.currentTimeMillis(); 
   //设置手动提交 
   conn.setAutoCommit(false);
    
   Statement st = conn.createStatement(); 

   for(int i=0;i<100000;i++){ 
      String sql="insert into t1(id) values ("+i+")"; 
      st.executeUpdate(sql);  
   } 
   
   //结束时间
   Long endTime = System.currentTimeMillis(); 

   System.out.println("st:"+(endTime-beginTime)/1000+"秒");//计算时间 

   st.close(); 
   conn.close(); 
  } catch (SQLException e) { 
   e.printStackTrace(); 
  }  
} 
 

//2.使用PreparedStatement对象 

public void exec2(Connection conn){ 
  try { 
   Long beginTime = System.currentTimeMillis(); 
   conn.setAutoCommit(false);//手动提交 
   PreparedStatement pst = conn.prepareStatement("insert into t1(id) values (?)"); 
   for(int i=0;i<100000;i++){ 
    pst.setInt(1, i); 
    pst.execute();    
   } 
   conn.commit(); 
   Long endTime = System.currentTimeMillis(); 
   System.out.println("pst:"+(endTime-beginTime)/1000+"秒");//计算时间 
   pst.close(); 
   conn.close(); 
  } catch (SQLException e) { 
   e.printStackTrace(); 
  } 

} 
 

//3.使用PreparedStatement + 批处理 

public void exec3(Connection conn){ 
  try { 
   conn.setAutoCommit(false); 
   Long beginTime = System.currentTimeMillis(); 
   //构造预处理statement
   PreparedStatement pst = conn.prepareStatement("insert into t1(id) values (?)"); 
   //1万次循环
   for(int i=1;i<=100000;i++){    
    pst.setInt(1, i); 
    pst.addBatch(); 
    //每1000次提交一次
    if(i%1000==0){//可以设置不同的大小;如50,100,500,1000等等 
     pst.executeBatch(); 
     conn.commit(); 
     pst.clearBatch(); 
    } 
   }
   Long endTime = System.currentTimeMillis(); 
   System.out.println("pst+batch:"+(endTime-beginTime)/1000+"秒"); 
   pst.close(); 
   conn.close(); 
  } catch (SQLException e) { 
   e.printStackTrace(); 
  } 
} 
 
在Oracle 10g中测试,结果: 
1.使用statement  耗时142秒; 
2.使用PreparedStatement 耗时56秒; 
3.使用PreparedStatement + 批处理耗时: 
   a.50条插入一次,耗时5秒; 
    b.100条插入一次,耗时2秒; 
    c.1000条以上插入一次,耗时1秒; 
通过以上可以得出结论,在使用jdbc大批量插入数据时,明显使用第三种方式(PreparedStatement + 批处理)性能更优。 

 

 

-------------------------------------------------------------------------------------------------------------------------------

/*
普通方式处理大量数据的insert时,处理速度相当慢。
*/
PreparedStatement ps = null;
//循环10000次
for(int i = 0; i < 100000; i++) {
    ps = con.prepareStatement(sql);
    ps.executeUpdate();
}

 /*

 

方法二:通过addBatch()的方式,将数据缓存在对象里面,通过最后执行executeBatch();方法提交,因此速度会快很多!
*/
PreparedStatement ps = con.prepareStatement(sql);
for(int i = 0; i < 100000; i++) {
    ps.setString(1, "1");
    ps.setString(2, "2");
    ps.addBatch();
}
ps.executeBatch();
分享到:
评论
3 楼 tanier53 2014-01-14  
那我最近也在做大批量导入这个功能,你说得比较好,但我有疑问数据多少提交一把是最优化  的啊,你现在是10W的数据量,1000提交一把,那我30W的数据量得多少提交一次是最优化的喃?
 
  还有,如果数据量不是整数的是31W2K的数据量,那怎么处理提交次数啊。谢谢
2 楼 bzq19881115 2013-11-13  
学习了 
1 楼 337240552 2013-02-25  

相关推荐

    用java程序怎么实现200ms往数据库中插入10000条数据

    如果我们需要插入大量数据,可以使用批量插入方式来提高效率。我们可以使用 `addBatch()` 方法将多个插入语句添加到批量中,然后使用 `executeBatch()` 方法执行批量插入操作。 优化插入性能 为了提高插入性能,...

    java批量插入Oracle数据方法

    通过优化这一过程,可以显著提升应用程序的性能,特别是在处理大量数据时。以下是对“java批量插入Oracle数据方法”的深入解析,包括代码示例及其背后的原理。 ### 一、Java批量插入Oracle数据方法概览 在Java中,...

    ORACLE数据库中插入大字段数据的解决方法

    当插入大量相似数据时,使用绑定变量能有效防止SQL语句硬解析,提高执行效率。例如,使用PL/SQL匿名块,将大字段作为参数传递。 4. **使用流接口**: 对于非常大的字段,可以利用Oracle的流API(PLS_INTEGER型...

    使用JAVA内存数据库h2database性能优化

    【使用JAVA内存数据库h2database性能优化】 在开发应用程序时,我们经常遇到性能瓶颈,特别是当涉及到大量的IO操作时。数据库访问是这类问题的主要来源,特别是在处理高并发、实时计算和海量数据监控的情况下。例如...

    Java使用JDBC向MySQL数据库批次插入10W条数据(测试效率)

    在Java开发中,当需要向MySQL数据库大量插入数据时,使用JDBC的批量处理功能可以显著提高效率。本文将详细讲解如何使用JDBC批量插入10万条数据,并探讨其背后的原理和优化策略。 批量处理在JDBC中主要通过Statement...

    java 数据库中图片文件的存取

    在Java编程中,存储和检索数据库中的图片文件是一项常见的任务,尤其在开发涉及多媒体内容的应用时。本主题将深入探讨如何使用Java与数据库交互来处理图片数据。 首先,我们需要了解几种在数据库中存储图片的基本...

    利用itext操作pdf从数据库导出大量数据

    在这个场景中,我们需要利用iText来从数据库导出大量数据并生成PDF文件。以下是关于这个主题的详细知识: 1. **iText简介**: iText是一个开源的Java库,它提供了创建、读取、更新和签署PDF文档的功能。它支持多种...

    向数据库插入blob数据实例源码--在mysql中通过

    Blob(Binary Large Object)在数据库中用于存储二进制大对象,如图片、音频或视频文件等...源码中可能包含了类似的实现,通过解压提供的"向数据库插入blob数据实例源码"压缩包,你可以查看并运行完整的Java代码示例。

    java实现Excel数据导入到数据库

    例如,可以将Excel文件按行分块处理,或者在导入大量数据时使用批量插入。 总之,Java结合Apache POI和JDBC提供了一套完整的解决方案,用于在Excel和MySQL数据库之间进行数据迁移。通过熟练掌握这些工具和技术,...

    批量插入大量数据

    在数据库操作中,批量插入大量数据是常见的性能优化策略,特别是在大数据处理或系统初始化时。批量插入能够显著减少网络通信次数,提升效率,降低数据库事务的开销。本例展示了如何在4秒内高效地插入10万条数据,...

    java和数据库性能优化.doc

    ### Java和数据库性能优化策略详解 ...综上所述,Java和数据库性能优化涉及多方面考量,从数据库设计到Java编码,每一步都需要精心规划,才能确保应用程序在面对高并发和大数据量时仍能保持高效运行。

    java向mysql中插入150万条数据比较索引表的优势

    在Java编程语言中,向MySQL数据库插入大量数据是一项常见的任务,特别是在进行性能测试或数据分析时。本案例聚焦于150万条数据的插入,并对比了有索引和无索引表的查询效率,以此来突出数据库索引的重要性和优势。在...

    用java编程将txt文件数据导入oracle

    Java 编程将 TXT 文件数据导入 Oracle 数据库是指使用 Java 语言编写程序将 TXT 文件中的数据导入 Oracle 数据库中,以方便进行计算、统计等操作。下面将详细介绍该知识点。 标题:用 Java 编程将 TXT 文件数据...

    Excel树形结构数据导入Oracle数据库(Java)

    8. **性能优化**:为了处理大量数据,可能需要分批读取Excel和插入数据,避免一次性加载造成内存溢出。 9. **日志记录**:记录操作过程,方便调试和追踪问题。 10. **资源关闭**:操作完成后,确保关闭数据库连接...

    从Excel中读取数据导入到数据库中

    在IT领域,数据导入是一项常见的任务,特别是在数据分析和数据库管理中。本文将详细阐述如何从Excel文件中读取数据并将其导入到数据库中,重点处理合并单元格和超过4000字符的数据列。 首先,我们需要理解Excel是...

    用java程序怎么实现200ms往数据库中插入10000条数据.doc

    在Java编程中,高效地将大量数据插入数据库是常见的需求,特别是当处理大规模数据时。在给定的文档示例中,我们看到如何使用Java连接到数据库并执行单条插入语句。为了在200毫秒内完成10000条数据的插入,我们需要...

    java把excel表格数据导入数据库

    在处理大量数据时,为提高性能,可以考虑使用批处理(`addBatch()`和`executeBatch()`)。 总的来说,通过Java和JExcelAPI,我们可以方便地读取Excel文件,解析其中的数据,并将这些数据存储到数据库中。这种方法在...

    java 数据库高级编程代码

    通过深入学习上述知识点,并结合“Java数据库高级教程”中的示例和实践,你将能够掌握Java数据库高级编程技巧,无论是在企业级应用开发还是数据分析项目中,都能游刃有余。不断练习和实践,是提升技能的关键。

    java 数据库编程.pdf

    Java数据库编程中需要采取措施防止SQL注入,比如使用预编译语句和参数化查询。 知识点五:JPA (Java Persistence API) JPA是Java EE的一部分,它提供了一种标准的方法来处理Java应用程序中的对象持久化。JPA允许...

Global site tag (gtag.js) - Google Analytics