`

mysql插入1亿条数据要多长时间?

阅读更多
@Test

    public void insert1000Data(){

       try {

           String sql = "insert into usersss(name,descn)values(' 很郁闷 ',' 嘻嘻哈哈好嘻嘻哈哈好 ')" ;

           conn .setAutoCommit( false );

           long start = System.currentTimeMillis ();

           for ( int x=0;x<10000;x++){

              Statement stmt = conn .createStatement();

              for ( int i=0;i<10000;i++){

                  stmt.execute(sql);

              }

              conn .commit();

           }

          

           System. out .println(System.currentTimeMillis ()-start);

        } catch (SQLException e) {

           e.printStackTrace();

       }

    }  

 

Create table usersss(

id int primary key auto_increment,

name varchar(20),

descn varchar(20)

)

  
 

 

1 个多小时 插入了 26310000 条记录。

 

Select count(*) from usersss    耗时 33.7s

Select count(id) from usersss    耗时 33.3s

 

Delete from usersss               耗时 6m 33s

 

 

本机配置:

Cup:T7500

内存: 3G

硬盘: 160G 5400r/m

 

软件环境:

Mysql: Server version: 5.0.41-community-nt MySQL Community Edition (GPL)

Windows XP 32 sp3

 

整个执行过程中 cup 占用 55% 左右, javaw 占用 18% 左右, mysql-nt.exe 占用 20% 左右。

插入时其他程序可正常运行,相互感觉没有影响速度。

26310000 条记录占用磁盘空间 2 个多 G delete 掉后释放了 1 G 的空间。(为什么还有 1 个多 G 不给释放?)

1
0
分享到:
评论
6 楼 sds0003 2014-11-11  
不是有批量插入语句麽。
5 楼 maomiandyou 2010-03-24  
闲的...
4 楼 xucz153 2009-07-01  
楼主再帖帖linux下怎么测试呀?还是用java来测试吗?SHELL可不可以做到呀?或者PERL
3 楼 txy920 2009-06-28  
改天一定在linux上测试一下,在window上给我郁闷坏了。
说明一下
jdbc驱动为:mysql-connector-java-5.0.4-bin.jar

表信息为:
+---------+--------+---------+------------+------+----------------+-------------+-----------------+--------------+-----------+----------------+---------------------+-------------+------------+-----------------+----------+----------------+-------------------------+
| Name    | Engine | Version | Row_format | Rows | Avg_row_length | Data_length | Max_data_length | Index_length | Data_free | Auto_increment | Create_time         | Update_time | Check_time | Collation       | Checksum | Create_options | Comment                 |
+---------+--------+---------+------------+------+----------------+-------------+-----------------+--------------+-----------+----------------+---------------------+-------------+------------+-----------------+----------+----------------+-------------------------+
| usersss | InnoDB |      10 | Compact    |    0 |              0 |       16384 |               0 |            0 |         0 |              1 | 2009-06-27 12:47:24 | NULL        | NULL       | utf8_general_ci |     NULL |                | InnoDB free: 2784256 kB |
+---------+--------+---------+------------+------+----------------+-------------+-----------------+--------------+-----------+----------------+---------------------+-------------+------------+-----------------+----------+----------------+-------------------------+
2 楼 xieye 2009-06-28  
用linux再试,一定快很多
1 楼 yisafe 2009-06-28  
很有趣的实验,没玩过。

相关推荐

    C#在MySQL大量数据下的高效读取、写入详解

    总结,优化C#与MySQL在大数据场景下的交互,关键在于选择正确的数据访问方式(原生API优于ORM)、充分利用索引、优化数据处理逻辑以及高效地批量插入数据。通过这些策略,可以显著提高处理效率,降低资源消耗,使...

    1亿条数据如何分表100张到Mysql数据库中(PHP)

    通过上述步骤,可以将1亿条数据均匀地分散到100张MySQL表中。使用哈希函数来分配数据到不同的表可以保证数据分布的均衡性,而`MERGE`存储引擎则为用户提供了一个统一的查询接口,简化了数据的查询过程。这些技术的...

    mysql数据库如何实现亿级数据快速清理

    当确定了需要清理的数据量后,常规的`DELETE`语句通常不是理想的选择,因为它的执行速度与索引数量成正比,对于大数据量的表,这可能会耗费很长时间,并且不释放磁盘空间。 一种常见的快速清理策略是创建新表并重新...

    MySQL之数据类型

    本文将详细介绍 MySQL 中的一些关键数据类型,特别是日期时间类型、TEXT 和 BLOB 类型。 #### 整数类型 MySQL 提供了五种整数类型,它们分别是: - **TINYINT**:占用 1 个字节,无符号类型取值范围是 0 至 255,...

    mysql海量数据

    假设某电商平台需要处理数亿条商品信息及相关交易记录,在这样的场景下,我们可以采取以下措施: 1. **建立合理的索引**:为商品表和订单表中的常用查询字段创建索引,如商品ID、用户ID等。 2. **分表处理**:将...

    Sync Clickhouse with MySQL/MongoDB.pdf

    - **快速同步多数据源**:能够在几分钟内将多个数据源的数据同步到ClickHouse。 PTS系统由三部分组成:Provider、Transform和Sinker。主要的Provider负责监听数据源的变更,如MySQL的binlog或MongoDB的oplog。它...

    20个「MySQL」经典面试题

    1. **MySQL复制原理**: - MySQL复制通过主从架构实现,主要包括三个线程:主服务器的binlog线程记录所有更改,从服务器的io线程拉取binlog内容至relay log,然后sql执行线程执行relay log中的语句。 2. **MyISAM...

    【精品】如何打造一个高效的AIoT数据平台-19.9.pdf

    - 在8核服务器上,计算100亿条记录的平均值仅需不到2秒。 此外,TDengine还降低了总拥有成本: - 超强性能使得计算资源需求仅为通用大数据方案的1/5。 - 列式存储和高级压缩算法使存储空间减少到通用数据库的1/10。...

    HBase学习笔记(个人整理)

    1. 海量存储:HBase能处理极大规模的数据,单表可以达到数十亿行、数百万列,存储能力远超传统的关系型数据库。 2. 列式存储:表结构灵活,无需预先定义列,仅插入需要的数据,便于权限控制和按列读取。 3. 多版本:...

    2021-2022计算机二级等级考试试题及答案No.13257.docx

    22. 生成表查询主要用于创建表的备份、按指定时间显示数据的报表以及创建历史表等,涉及对现有数据的转换和重组。 这些题目涵盖的计算机知识包括数据库设计原则、Excel功能、PHP编程、数据库概念、VBA语法、算法...

    大厂面试系列二.pdf

    长连接与短连接的选择主要取决于应用的使用模式,长连接适合于频繁交互的场景,能够减少连接建立和释放的开销,但长时间占用连接资源可能会导致资源泄露;短连接适合于轻量级交互或者交互频率低的场景。 二分图应用...

    百度技术类笔试题目最全合集

    为了快速检测长时间未访问的文件,可使用优先队列(如最大堆)来维护文件的访问时间,定期检查并移除长时间未访问的文件。 #### 三、C语言与Linux系统知识 - **题目解析**:这部分涉及C语言的基础知识和Linux系统...

    如何设计一个短链系统?.rar

    在互联网世界中,短链系统是一种广泛应用于社交媒体、营销推广和数据分析的服务,它将冗长的URL转换为简短易记的字符串。短链系统的设计是实现高效、可靠且易于管理的URL缩短服务的关键。本篇文章将深入探讨如何设计...

    2011百度笔试题

    - **需求**:设计一个系统来处理每天1000亿条访问记录数据,包括时间、URL、IP地址。 - **解决方案**: 1. **数据存储**:使用分布式文件系统如Hadoop HDFS存储原始数据。 2. **数据处理**:利用MapReduce框架对...

    百度2011到2012软件研发笔试题

    - **数据存储**:考虑到需要存储100亿个网页,可以使用分布式文件系统(如Hadoop HDFS)进行存储,每个网页存储为单独的文件。 - **索引机制**:建立一个基于网页ID的索引表,索引表中存储每个网页的ID和对应文件...

    2021-2022计算机二级等级考试试题及答案No.13357.docx

    - **题目**: 在MySQL中,INSERT触发器操作数据时,可以使用的临时表是______。 - A. NEW - B. OLD - C. NEW和OLD - D. LAST - **正确答案**: A - **解析**: INSERT 触发器中可以使用 NEW 表来访问新插入的行的...

    Redis List列表的详细介绍

    List 能够在列表的头部(左侧)或尾部(右侧)添加元素,且其容量极大,最大可包含 2^32 - 1 个元素,这意味着每个列表可以存储超过 40 亿个元素。 在给定的实例中,我们看到了如何使用 `LPUSH` 命令向名为 `...

Global site tag (gtag.js) - Google Analytics