@Test
public void insert1000Data(){
try {
String sql = "insert into usersss(name,descn)values(' 很郁闷 ',' 嘻嘻哈哈好嘻嘻哈哈好 ')" ;
conn .setAutoCommit( false );
long start = System.currentTimeMillis ();
for ( int x=0;x<10000;x++){
Statement stmt = conn .createStatement();
for ( int i=0;i<10000;i++){
stmt.execute(sql);
}
conn .commit();
}
System. out .println(System.currentTimeMillis ()-start);
} catch (SQLException e) {
e.printStackTrace();
}
}
Create table usersss(
id int primary key auto_increment,
name varchar(20),
descn varchar(20)
)
1
个多小时
插入了
26310000
条记录。
Select count(*) from usersss
耗时
33.7s
Select count(id) from usersss
耗时
33.3s
Delete from usersss
耗时
6m
33s
本机配置:
Cup:T7500
内存:
3G
硬盘:
160G
5400r/m
软件环境:
Mysql:
Server version: 5.0.41-community-nt
MySQL Community Edition (GPL)
Windows XP 32
位
sp3
整个执行过程中
cup
占用
55%
左右,
javaw
占用
18%
左右,
mysql-nt.exe
占用
20%
左右。
插入时其他程序可正常运行,相互感觉没有影响速度。
26310000
条记录占用磁盘空间
2
个多
G
,
delete
掉后释放了
1
个
G
的空间。(为什么还有
1
个多
G
不给释放?)
分享到:
相关推荐
总结,优化C#与MySQL在大数据场景下的交互,关键在于选择正确的数据访问方式(原生API优于ORM)、充分利用索引、优化数据处理逻辑以及高效地批量插入数据。通过这些策略,可以显著提高处理效率,降低资源消耗,使...
通过上述步骤,可以将1亿条数据均匀地分散到100张MySQL表中。使用哈希函数来分配数据到不同的表可以保证数据分布的均衡性,而`MERGE`存储引擎则为用户提供了一个统一的查询接口,简化了数据的查询过程。这些技术的...
当确定了需要清理的数据量后,常规的`DELETE`语句通常不是理想的选择,因为它的执行速度与索引数量成正比,对于大数据量的表,这可能会耗费很长时间,并且不释放磁盘空间。 一种常见的快速清理策略是创建新表并重新...
本文将详细介绍 MySQL 中的一些关键数据类型,特别是日期时间类型、TEXT 和 BLOB 类型。 #### 整数类型 MySQL 提供了五种整数类型,它们分别是: - **TINYINT**:占用 1 个字节,无符号类型取值范围是 0 至 255,...
假设某电商平台需要处理数亿条商品信息及相关交易记录,在这样的场景下,我们可以采取以下措施: 1. **建立合理的索引**:为商品表和订单表中的常用查询字段创建索引,如商品ID、用户ID等。 2. **分表处理**:将...
- **快速同步多数据源**:能够在几分钟内将多个数据源的数据同步到ClickHouse。 PTS系统由三部分组成:Provider、Transform和Sinker。主要的Provider负责监听数据源的变更,如MySQL的binlog或MongoDB的oplog。它...
1. **MySQL复制原理**: - MySQL复制通过主从架构实现,主要包括三个线程:主服务器的binlog线程记录所有更改,从服务器的io线程拉取binlog内容至relay log,然后sql执行线程执行relay log中的语句。 2. **MyISAM...
- 在8核服务器上,计算100亿条记录的平均值仅需不到2秒。 此外,TDengine还降低了总拥有成本: - 超强性能使得计算资源需求仅为通用大数据方案的1/5。 - 列式存储和高级压缩算法使存储空间减少到通用数据库的1/10。...
1. 海量存储:HBase能处理极大规模的数据,单表可以达到数十亿行、数百万列,存储能力远超传统的关系型数据库。 2. 列式存储:表结构灵活,无需预先定义列,仅插入需要的数据,便于权限控制和按列读取。 3. 多版本:...
22. 生成表查询主要用于创建表的备份、按指定时间显示数据的报表以及创建历史表等,涉及对现有数据的转换和重组。 这些题目涵盖的计算机知识包括数据库设计原则、Excel功能、PHP编程、数据库概念、VBA语法、算法...
长连接与短连接的选择主要取决于应用的使用模式,长连接适合于频繁交互的场景,能够减少连接建立和释放的开销,但长时间占用连接资源可能会导致资源泄露;短连接适合于轻量级交互或者交互频率低的场景。 二分图应用...
为了快速检测长时间未访问的文件,可使用优先队列(如最大堆)来维护文件的访问时间,定期检查并移除长时间未访问的文件。 #### 三、C语言与Linux系统知识 - **题目解析**:这部分涉及C语言的基础知识和Linux系统...
在互联网世界中,短链系统是一种广泛应用于社交媒体、营销推广和数据分析的服务,它将冗长的URL转换为简短易记的字符串。短链系统的设计是实现高效、可靠且易于管理的URL缩短服务的关键。本篇文章将深入探讨如何设计...
- **需求**:设计一个系统来处理每天1000亿条访问记录数据,包括时间、URL、IP地址。 - **解决方案**: 1. **数据存储**:使用分布式文件系统如Hadoop HDFS存储原始数据。 2. **数据处理**:利用MapReduce框架对...
- **数据存储**:考虑到需要存储100亿个网页,可以使用分布式文件系统(如Hadoop HDFS)进行存储,每个网页存储为单独的文件。 - **索引机制**:建立一个基于网页ID的索引表,索引表中存储每个网页的ID和对应文件...
- **题目**: 在MySQL中,INSERT触发器操作数据时,可以使用的临时表是______。 - A. NEW - B. OLD - C. NEW和OLD - D. LAST - **正确答案**: A - **解析**: INSERT 触发器中可以使用 NEW 表来访问新插入的行的...
List 能够在列表的头部(左侧)或尾部(右侧)添加元素,且其容量极大,最大可包含 2^32 - 1 个元素,这意味着每个列表可以存储超过 40 亿个元素。 在给定的实例中,我们看到了如何使用 `LPUSH` 命令向名为 `...