`
aa87963014
  • 浏览: 154898 次
  • 性别: Icon_minigender_1
  • 来自: 布尼塔尼亚
社区版块
存档分类
最新评论

Mysql 批量操作重大发现

 
阅读更多

一直测试的批量操作和普通操作性能上没什么区别。

觉得很奇怪,而且驱动里面源码也会发现表面上是批量操作实际上也是一条条执行。

 

后来看了http://elf8848.iteye.com/blog/770032这位的帖子

发现了rewriteBatchedStatements这个参数

加上之后,简单的测试了下效率提高了30倍

 

当时就让我震惊了

 

又测试了下1000条记录/提交

插入1.6W条记录耗时7s, 测试总耗时9s

 

而最开始测试无论是批量执行还是一条条支持耗时差不多都在350s

 

这个差距真是惊天地泣鬼神!

 

这个参数需要在 jdbc 5.1.13+版本才有效

1
0
分享到:
评论
1 楼 aa87963014 2012-06-07  
500条记录/次提交
耗时:4秒!!!

相关推荐

    mysql批量修改表前缀

    总之,批量修改MySQL中的表前缀是一项涉及数据库操作的重要任务,需要谨慎执行,并且确保在执行前有充分的备份。通过PHP编写脚本进行批量修改,可以大大提高效率,但同时也需要熟悉SQL语法和PHP编程。在使用提供的...

    根据excel数据批量新增或更新mysql的表

    对于批量操作,可以使用`executemany()`方法提高效率。 6. **提交事务**:确保所有更改都已保存,通过调用连接对象的`commit()`方法提交事务。 7. **关闭连接**:最后,记得关闭数据库连接,以释放资源。 在实际...

    向MySQL批量导入文本文件

    本篇文章将详细讲解如何向MySQL批量导入文本文件,以便于快速有效地处理大量数据。 首先,理解文本文件导入的基本原理。在MySQL中,最常用的文本格式是CSV(Comma Separated Values,逗号分隔值)或TSV(Tab ...

    批量删除MySQL数据库相同前缀的数据表.rar

    本话题聚焦于批量删除具有相同前缀的数据表,这通常在进行数据清理、测试环境重置或者应用升级时需要进行的操作。这里提供的"批量删除MySQL数据库相同前缀的数据表.rar"是一个工具,它能够帮助用户高效地完成这一...

    Shell脚本批量添加CSV数据到MySQL

    此时,利用自动化工具如Shell脚本来批量处理数据就显得尤为重要。本篇将详细介绍如何使用Shell脚本结合CSV文件批量将数据导入MySQL数据库,以提高工作效率。 首先,`prov.csv` 是一个包含CSV(逗号分隔值)格式的...

    kettle批量导出mysql建表语句

    总结来说,"kettle批量导出mysql建表语句"涉及到的关键技术点包括Kettle的使用、MySQL数据库的连接与交互、元数据的获取、文件的读写操作以及文本处理和自动化流程的设计。通过掌握这些技能,IT专业人员可以更高效地...

    MySQL BLOB类型中二进制字段和批量操作输入.docx

    MySQL中的BLOB类型是用于存储...总结来说,MySQL的BLOB类型是为了解决大数据存储问题,而PreparedStatement是Java中用来安全高效地操作BLOB字段的工具。正确理解和使用这些技术,对于处理大量的二进制数据至关重要。

    Mybatis 3+Mysql 实现批量插入

    在IT领域,尤其是在数据库操作与框架应用中,批量插入数据是一项常见且重要的需求。相比于单条插入,批量插入能够显著提升数据处理效率,减少数据库I/O操作,从而提高整体性能。本文将深入探讨如何利用MyBatis框架...

    kettle批量导出mysql存储过程

    在IT行业中,数据库管理和数据迁移是一项重要的任务,尤其是在大规模系统中。Kettle(Pentaho Data Integration,简称PDI)是一款强大的ETL工具,能够帮助我们处理数据抽取、转换和加载的各种需求。在这个场景中,...

    批量删除MySQL数据库相同前缀的数据表 1.0.rar

    本话题聚焦于批量删除MySQL数据库中具有相同前缀的数据表,这在进行数据库重构、测试环境清理或旧数据淘汰时非常实用。"批量删除MySQL数据库相同前缀的数据表 1.0.rar" 是一个针对此需求的工具,它简化了手动逐个...

    批量替换msyql字段内容

    在实际操作中,确保在执行批量替换之前备份数据是非常重要的,因为一旦执行,原始数据可能无法恢复。另外,对于大型数据库,应先在小规模数据上测试脚本,以确保替换逻辑正确无误。 综上所述,批量替换MySQL字段...

    mysql批量清空表工具shell

    在执行批量操作前,最好先备份重要的数据,以防意外发生。 6. **自定义和扩展**: 对于有编程基础的用户,可以根据自己的需求对脚本进行修改和扩展,例如添加日志记录、增加对特定表的判断条件、支持不同数据库...

    MySQL存储过程:批量操作的高效利器

    ### MySQL存储过程:批量操作的高效利器 #### 一、MySQL概述 MySQL 是一个非常流行的开源关系型数据库管理系统(RDBMS),它以其强大的功能、可靠性和灵活性在Web应用程序领域中占据着重要的地位。MySQL 基于结构...

    kettle批量数据库操作流程脚本

    通过打开和编辑这些文件,你可以查看具体的SQL查询、转换逻辑以及调度设置,了解并学习如何在实际项目中应用Kettle进行多数据库的批量操作。 总之,Kettle的批量数据库操作流程脚本是数据集成中的一个重要工具,...

    odbc 数据库批量插入操作

    这是因为批量操作减少了网络通信的开销,提高了数据库引擎内部的处理效率,尤其是在处理大量数据时。单条更新需要多次交互,而批量操作只需一次,这大大降低了系统的I/O负载。 在实际应用中,我们还需要考虑一些...

    MySQL批量SQL插入各种性能优化.docx

    以下是一些针对MySQL批量SQL插入的性能优化策略: 1. **批量插入数据** - 传统的做法是逐条插入数据,但这种方式会导致大量的SQL语句执行和日志写入,从而降低性能。优化的方式是将多条插入语句合并为一条,如示例...

    mysql中将一个表数据批量导入另一表.rar

    在MySQL数据库管理中,批量导入数据是常见的操作,特别是在处理大量数据时,高效的数据迁移和复制至关重要。本教程主要关注如何在MySQL中将一个表的数据批量导入到另一个表。这通常用于数据备份、数据同步或者在不同...

    Mysql Update批量更新的几种方式

    在MySQL中,批量更新数据是常见的操作,尤其在处理大量数据时,效率至关重要。本文将介绍几种Mysql Update批量更新的常见方式。 1. **单条更新语句**: 基本的更新语法是: ```sql UPDATE table_name SET ...

    mysql批量执行sql文件的方法

    在数据库管理中,高效地处理大量SQL脚本是至关重要的,特别是当涉及到数据迁移、数据库初始化或批量更新时。MySQL提供了多种方式来批量执行SQL文件,以简化这些任务。这里我们将详细探讨一种实用的方法,即通过创建...

    MySql数据库操作类

    在`MyDatabase`类中,一个重要的方法是建立到MySQL服务器的连接。这通常通过调用`mysql_real_connect()`函数来实现,该函数需要服务器地址、端口号、用户名、密码和数据库名作为参数。连接成功后,会返回一个`MYSQL...

Global site tag (gtag.js) - Google Analytics