`
explorer
  • 浏览: 95665 次
  • 性别: Icon_minigender_1
  • 来自: 南京
社区版块
存档分类
最新评论

sqllite 导入数据性能

阅读更多

需要从另一个数据集中导入一定数据进入sqllite, 我是在 dll  中开单线程处理, 线程唤醒后开启sqllite 事务,  然后导入数据。   共12 张表, 线程每次唤醒导入一张表, 导入数据有两种方法: 

1.  直接根据NewData 的 PK name 和 value 先 删除sqllite 中数据, 再直接插入

2.  先根据Newdata PK name& value 在sqllite 中select , 如果有数据 则 update 没有则 insert

方法一:

Insert 语句平均执行: 301.8861 ms (平均 23 个字段)  116 次 共 35.018 sec

Delete语句平均执行: 310.2870 ms                                 120 次 共 37.234 sec

方法二:

select 语句平均执行: 3.4736 ms  116 次     共 0.402 sec

Update&Insert 平均: 243.3451 ms 120 次 共 29.201 sec

性能差别怎么这么大, 看来sqllite 的事务 还是很多秘密 ....

不过 sqllite 和 oracle 比还是好慢啊!

  • 描述: SQLLite 插入
  • 大小: 53.1 KB
分享到:
评论
1 楼 explorer 2007-09-07  


冤啊, 原来是开启事务的代码问题。我用的是ZeosDbo 控件,zeoConnection.Starttransaction 不是真正的开始事务,它仅仅提供事务计数和标志并触发了 onStarttransaction 事件,

增加了begin; 语句后 提高了两个数量级啊, 

相关推荐

    SQLLITE的批量插入。。。

    本话题主要聚焦于SQLite的批量插入操作,这是一种提高数据导入效率的重要技术。 批量插入在处理大量数据时尤其有用,它可以显著减少与数据库交互的次数,从而降低系统资源的消耗并提升性能。在SQLite中,我们可以...

    SQLLite全国各个省市数据

    在本场景中,"SQLLite全国各个省市数据"是一个包含中国所有省份和城市信息的SQLite数据库文件,名为`city.db`。这个数据库通常用于存储地理、行政区域等与行政区划相关的信息,方便进行地理位置查询、统计分析或者与...

    SQL Server数据导入SQLite工具及源码

    3. 数据转换:由于SQL Server和SQLite的数据类型可能存在差异,工具需要进行数据类型的映射和转换,以确保数据可以正确地导入SQLite。 4. 数据导出:工具会将SQL Server中的数据导出为适合SQLite格式的文件,例如...

    sqllite加密工具sqllite

    可以先备份加密的数据库,然后创建一个新的未加密数据库,最后将数据从备份文件导入到新数据库中。 5. **安全注意事项** 加密SQLite数据库时,务必妥善保管加密密钥,因为一旦丢失,数据将无法恢复。同时,要确保...

    ArcGIS10切片数据入SQLlite数据库

    本话题主要关注如何将ArcGIS10中的切片数据有效地导入到轻量级的SQLite数据库中,这对于移动应用、离线地图或资源有限的环境特别有用。 切片数据通常指的是地图数据被预先分割成多个小块,每个块对应地图上的一个...

    将postgres 表结构和数据转换到sqllite数据库中的工具类源码

    6. **性能优化**:由于可能涉及大量数据迁移,应考虑批量插入、多线程处理等优化策略,以提高迁移速度。 这个工具类源码的实现细节可能包括使用Spring Boot的JdbcTemplate或者JPA(Java Persistence API)进行...

    SQLiteSpy sqlLite数据库查看工具

    5. **导出与导入**:支持将数据库或表的数据导出为CSV、XML、HTML等多种格式,同时也可导入这些格式的数据到SQLite数据库中,便于数据迁移和备份。 6. **日志查看**:能够查看SQLite数据库的日志,这对于追踪数据库...

    SqlLite API和视图

    SQLite Studio提供了创建、编辑和管理表、视图、触发器、索引的功能,以及执行SQL查询、导入/导出数据、备份数据库等操作。通过这些工具,开发者和数据库管理员可以更加便捷地进行数据库管理工作,而无需编写代码。 ...

    sqllite跨平台管理工具

    3. **数据导入导出**:将数据从CSV、Excel或其他数据库格式导入到SQLite,或者将SQLite数据库导出为其他格式。 4. **SQL查询执行**:提供SQL编辑器,支持编写复杂的SQL语句,进行数据查询、插入、更新、删除等操作...

    sqlLite可视化工具,很好用,分享大家

    - **数据导入导出**:从CSV、Excel或其他数据库格式导入数据,或导出为各种格式。 - **性能分析**:检查查询执行计划,优化SQL语句,提升数据库性能。 - **版本控制**:对于开发团队,支持版本控制,协同编辑数据库...

    sqllite expert pro

    同时,还具备数据导入和导出功能,可以将数据从CSV、XML、Excel等格式导入或导出到SQLite数据库。 3. **查询构建器**:内置了可视化的SQL查询构建器,允许用户通过拖拽的方式创建复杂的SQL查询,对于不熟悉SQL语法...

    Sqllite查询分析器.zip

    它可能包括了表的浏览、数据的导入导出、SQL语句的编写和执行等功能。对于开发者来说,它提供了便利的调试环境,可以测试和优化SQL查询性能。 集成的GZip功能则意味着该工具具备数据压缩和解压缩的能力。GZip是一种...

    Delphi SQLLite3 应用实例

    在IT行业中,数据库管理系统是软件开发中的重要组成部分,而SQLite是一个轻量级、自包含...在实际项目中,根据具体需求,你可能还需要处理并发访问、数据导入导出、数据同步等问题,这些都是进一步提升应用效能的关键。

    sqllite压缩包

    它提供了创建、编辑、查询数据库以及导入/导出数据的功能。 10. 开发者支持:SQLite提供了C语言API,方便开发者将其集成到各种应用程序中。此外,还有许多编程语言的绑定库,如Python、Java、C#等,使得在这些语言...

    sqlLite数据库

    它提供了直观的界面,方便用户进行表的设计、数据的导入导出、查询的构建和执行,以及数据库的备份和恢复等功能,是开发人员和DBA进行SQLite数据库管理的有效助手。使用这样的工具,可以大大提高SQLite数据库的管理...

    sqllite相关文件

    SqliteStudio提供了一系列实用功能,如数据浏览、SQL查询执行、数据库结构设计、导入导出数据等,极大地简化了SQLite数据库的日常管理工作。 SQLite的特性包括: 1. **事务处理**:SQLite支持ACID(原子性、一致性...

    sqllite创建工具

    6. **导入导出数据**:支持从CSV、Excel等格式导入数据到SQLite数据库,或者将SQLite数据库中的数据导出为这些格式,便于与其他系统交换数据。 7. **权限管理**:虽然SQLite本身的权限系统相对简单,但工具可能提供...

    本地数据库SQLlite工具.zip

    7. **数据导出导入**:将数据导出为CSV或其他格式,或者从外部文件导入数据。 8. **日志查看**:查看数据库操作日志,便于调试和问题定位。 SQLite工具的使用场景可能包括: 1. **开发阶段**:开发者在编码时可以...

    dbeaver不错的数据库可视化客户端工具,可以链接mysql、sqllite、oracle、postgreSql等数据库

    在DBeaver中,你可以轻松地导入和导出数据,执行SQL脚本,进行数据筛选、排序、分组以及聚合计算。它还提供了数据对比和同步功能,方便在不同数据库之间进行数据迁移。 4. **版本控制集成**: DBeaver支持与Git和...

    sqllite3ForWindows

    6. **高效性能**:通过优化的B树数据结构和内存管理,SQLite3能处理大量数据并保持快速的读写速度。 7. **安全性**:可以设置权限和加密,保护数据库安全。 8. **API接口**:提供C语言的API,易于与其他编程语言(如...

Global site tag (gtag.js) - Google Analytics