`
wshyj18
  • 浏览: 166619 次
  • 性别: Icon_minigender_1
  • 来自: 北京
文章分类
社区版块
存档分类
最新评论

mysql批量insert速度超慢

 
阅读更多
      在进行大批量数据insert的时候,我使用的是hibernate的进行save,而数据库采用mysql.但是在save的时候,速度很慢。
        刚开始以为是MYSQL进行DNS解析的问题,于是修改hosts文件或修改my.ini文件,最终都不管用,后来发现,原来我的表的格式是Innodb(因为我是用hibernate自动生成表结构生成的),于是我将其引擎改为MYISAM,这样的话,速度超快。
        当然,进行批量插入时,如果数据量到达了千万级别,一定得先看硬盘够不够了,不然会郁闷的
分享到:
评论
1 楼 shenjiaxu521 2014-10-27  
真的是这个样子 我弄完了就可快了

相关推荐

    mysql 批量更新及效率对比

    在 MySQL 中批量更新记录时,使用 Replace Into 或 Insert Into ... On Duplicate Key Update 语句可以大大提高更新效率,而使用临时表的方法也可以提高效率,但是需要用户有 temporary 表的 create 权限。

    Java实现批量向mysql写入数据的方法

    Java实现批量向mysql写入数据的方法 Java语言是目前最流行的编程语言之一,在数据库应用中,Java语言广泛应用于与数据库的交互,特别是mysql数据库。mysql数据库是目前最流行的开源关系数据库管理系统,它提供了...

    mysql批量增加字段.txt

    MySQL批量对表增加指定字段,会快速实现批量字段的添加。写了2个存储存储过程,执行即可。方便快速!

    mysql批量导出建表语句.zip

    MySQL批量导出建表语句是一项常见的数据库管理任务,它涉及到数据库备份、迁移或复制到新的环境。在本例中,"mysql批量导出建表语句.zip" 是一个压缩包,包含了一种使用Kettle(也称为Pentaho Data Integration,...

    10万条数据下MySQL批量更新6种方式的性能测试.zip

    通过实际测试对比了Spring Boot中6种MySQL批量更新方式的效率,并详细记录了每种方法在处理500,1000,5000,10000,50000,100000条数据的平均时间、最小时间和最大时间。包括MyBatis-Plus提供的批量更新,JdbcTemplate...

    10倍以上提高Pentaho Kettle的MySQL写入速度

    1. **批处理**: MySQL支持批量插入,即一次提交多个INSERT语句,减少网络通信开销,提高效率。Kettle可以通过增大批处理大小来实现这一点。 2. **索引优化**: 创建合适的索引可以加速查询,尤其是对于写操作,避免...

    MySQL创建存储过程批量插入10万条数据

    MySQL创建存储过程批量插入10万条数据 存储过程 1、首先防止主键冲突,我们清空表。 TRUNCATE table A_student; 2、编写存储过程 delimiter ‘$’; CREATE PROCEDURE batchInsert(in args int) BEGIN declare i int ...

    使用批处理对MySQL进行数据批量操作

    批处理是一种非交互式运行MySQL程序的方法,如同您在MySQL中使用的命令一样,你仍然将使用这些命令。本文介绍了使用批处理对MySQL进行数据批量操作的方法。

    根据excel数据批量新增或更新mysql的表

    标题所指的"根据excel数据批量新增或更新mysql的表"是一个常见的需求,特别是在数据分析、数据导入导出或者自动化报表生成等场景。 首先,我们需要了解涉及的主要工具和概念。`MySQL`是一款广泛使用的开源关系型...

    Mysql批量更新:6种方式的效率对比.zip

    通过实际测试对比了Spring Boot中6种MySQL批量更新方式的效率,并详细记录了每种方法在处理500,1000,5000,10000,50000,100000条数据的平均时间、最小时间和最大时间。包括MyBatis-Plus提供的批量更新,JdbcTemplate...

    kettle批量插入hive2,解决表输出速度慢问题

    ### Kettle 批量插入Hive2:解决表输出速度慢问题 #### 一、问题背景及原因分析 在使用Kettle进行数据处理时,尤其是将数据从源系统传输到目标系统的过程中,如果目标系统是Hive2,则可能会遇到表输出速度极其缓慢...

    python工具-excel批量导入mysql (几千万数据半小时可搞定)

    本篇文章将详细讲解如何利用Python工具实现Excel数据的批量导入到MySQL数据库,以及如何优化这一过程,使得几千万的数据能够在半小时内完成导入。 首先,我们需要了解Python中用于操作Excel的主要库——pandas。...

    Shell脚本批量添加CSV数据到MySQL

    本篇将详细介绍如何使用Shell脚本结合CSV文件批量将数据导入MySQL数据库,以提高工作效率。 首先,`prov.csv` 是一个包含CSV(逗号分隔值)格式的数据文件,这种文件类型常用于存储表格数据,易于读写和处理。在本...

    mysql批量修改表前缀

    下面将详细介绍如何在MySQL中进行批量修改表前缀的操作。 首先,我们需要一个能够执行SQL脚本的工具,比如PHPMyAdmin、MySQL命令行客户端或者通过PHP编写一个脚本来实现。在这个案例中,提供了一个名为"sql批量修改...

    Mysql 批量修改字符集

    MySQL 批量修改SCHEMA下所有数据表的编码及字符集

    批量删除MySQL数据库相同前缀的数据表.rar

    这里提供的"批量删除MySQL数据库相同前缀的数据表.rar"是一个工具,它能够帮助用户高效地完成这一任务。 首先,让我们了解这个工具的工作原理。"killsql.php"是主要的执行文件,它很可能包含PHP源码,因为根据标签...

    Mysql Update批量更新的几种方式

    但是,如果你想更新多行数据,并且每行记录的各字段值都是各不一样,你会怎么办呢?刚开始你可能会想到使用循环执行多条UPDATE语句的方式,就像以下的python程序示例: for x in xrange(10): sql = ''' UPDATE ...

    mysql 批量插入测试数据

    mysql 批量插入测试数据 ,可判断条件插入数据,随心所遇插入,do where 循环

    数据库删除数据太慢

    ### 数据库删除数据太慢:提高数据删除速度的思路 在数据库管理中,删除操作是一项基本但又极其重要的功能。然而,在处理大量数据时,删除操作可能会变得异常缓慢,这不仅影响了系统的性能,还可能导致用户体验下降...

    MySQL批量更新实战:6种方式效率PK.zip

    通过实际测试对比了Spring Boot中6种MySQL批量更新方式的效率,并详细记录了每种方法在处理500,1000,5000,10000,50000,100000条数据的平均时间、最小时间和最大时间。包括MyBatis-Plus提供的批量更新,JdbcTemplate...

Global site tag (gtag.js) - Google Analytics