论坛首页 Java企业应用论坛

大量数据导入数据库问题总结(成也索引,败也索引)

浏览 15563 次
精华帖 (0) :: 良好帖 (1) :: 新手帖 (0) :: 隐藏帖 (0)
作者 正文
   发表时间:2011-12-01  
素来知道索引会一定程度上降低写入速度,但没想到影响会由这么大?
楼主能否透露下,你导数据的速度,取消索引前后分别能达到多少条/秒?大概数据就行,不需精准。
0 请登录后投票
   发表时间:2011-12-01  
SocalQuest 写道
素来知道索引会一定程度上降低写入速度,但没想到影响会由这么大?
楼主能否透露下,你导数据的速度,取消索引前后分别能达到多少条/秒?大概数据就行,不需精准。

这个精准的我也没做过测试提供不了,就是提供个经验指标。我用的是jdbc支持的批量插入,删除索引前批量插入500条数据大概要10秒的时间(这时数据库已经有一定数据量了),删除后批量插入1000条数据用了不到1秒钟时间。个人感觉在有索引的时候批量插入起不到作用(只是减少了建立连接和事务控制的流程,但是使用数据库连接池和手动控制事务技术后这些差距可以忽略不计了),因为会一条一条的建立索引和更新索引,而且随着数据量和索引量的不断增大,时间会越来越长。
0 请登录后投票
   发表时间:2011-12-02  
膜拜各位大哥,学习了
0 请登录后投票
   发表时间:2011-12-02  
是的

有索引的表 导入的同时 会生产索引的rowid 一方面占用空间 一方面影响效率

索引是对DQL的优化 同时是对DML的弱化
0 请登录后投票
论坛首页 Java企业应用版

跳转论坛:
Global site tag (gtag.js) - Google Analytics