`

数据库性能优化记录一(SQL语句优化技术分析)

    博客分类:
  • SQL
阅读更多
1、IN 操作符
用IN写出来的SQL的优点是比较容易写及清晰易懂,这比较适合现代软件开发的风格。
但是用IN的SQL性能总是比较低的,从ORACLE执行的步骤来分析用IN的SQL与不用IN的SQL有以下区别:
        ORACLE试图将其转换成多个表的连接,如果转换不成功则先执行IN里面的子查询,再查询外层的表记录,如果转换成功则直接采用多个表的连接方式查询。由此可见用IN的SQL至少多了一个转换的过程。一般的SQL都可以转换成功,但对于含有分组统计等方面的SQL就不能转换了。
           推荐方案:在业务密集的SQL当中尽量不采用IN操作符。

2、NOT IN操作符
       此操作是强列推荐不使用的,因为它不能应用表的索引。
       推荐方案:用NOT EXISTS 或(外连接+判断为空)方案代替
3、<> 操作符(不等于)
       不等于操作符是永远不会用到索引的,因此对它的处理只会产生全表扫描。
推荐方案:用其它相同功能的操作运算代替,如
       a<>0 改为 a>0 or a<0
      a<>’’ 改为 a>’’
4、IS NULL 或IS NOT NULL操作(判断字段是否为空)
       判断字段是否为空一般是不会应用索引的,因为B树索引是不索引空值的。
       推荐方案:
用其它相同功能的操作运算代替,如
       a is not null 改为 a>0 或a>’’等。
       不允许字段为空,而用一个缺省值代替空值,如业扩申请中状态字段不允许为空,缺省为申请。
       建立位图索引(有分区的表不能建,位图索引比较难控制,如字段值太多索引会使性能下降,多人更新操作会增加数据块锁的现象)

5、> 及 < 操作符(大于或小于操作符)
       大于或小于操作符一般情况下是不用调整的,因为它有索引就会采用索引查找,但有的情况下可以对它进行优化,如一个表有100万记录,一个数值型字段A,30万记录的A=0,30万记录的A=1,39万记录的A=2,1万记录的A=3。那么执行A>2与A>=3的效果就有很大的区别了,因为A>2时ORACLE会先找出为2的记录索引再进行比较,而A>=3时ORACLE则直接找到=3的记录索引。

6、LIKE操作符
LIKE操作符可以应用通配符查询,里面的通配符组合可能达到几乎是任意的查询,但是如果用得不好则会产生性能上的问题,如LIKE ‘%5400%’ 这种查询不会引用索引,而LIKE ‘X5400%’则会引用范围索引。一个实际例子:用YW_YHJBQK表中营业编号后面的户标识号可来查询营业编号 YY_BH LIKE ‘%5400%’ 这个条件会产生全表扫描,如果改成YY_BH LIKE ’X5400%’ OR YY_BH LIKE ’B5400%’ 则会利用YY_BH的索引进行两个范围的查询,性能肯定大大提高。

7、UNION操作符
UNION在进行表链接后会筛选掉重复的记录,所以在表链接后会对所产生的结果集进行排序运算,删除重复的记录再返回结果。实际大部分应用中是不会产生重复的记录,最常见的是过程表与历史表UNION。如:
select * from gc_dfys
union
select * from ls_jg_dfys
这个SQL在运行时先取出两个表的结果,再用排序空间进行排序删除重复的记录,最后返回结果集,如果表数据量大的话可能会导致用磁盘进行排序。
推荐方案:采用UNION ALL操作符替代UNION,因为UNION ALL操作只是简单的将两个结果合并后就返回。
select * from gc_dfys
union all
select * from ls_jg_dfys

8、SQL书写的影响
同一功能同一性能不同写法SQL的影响
如一个SQL在A程序员写的为
       Select * from zl_yhjbqk
B程序员写的为
       Select * from dlyx.zl_yhjbqk(带表所有者的前缀)
C程序员写的为
       Select * from DLYX.ZLYHJBQK(大写表名)
D程序员写的为
       Select *  from DLYX.ZLYHJBQK(中间多了空格)

以上四个SQL在ORACLE分析整理之后产生的结果及执行的时间是一样的,但是从ORACLE共享内存SGA的原理,可以得出ORACLE对每个SQL 都会对其进行一次分析,并且占用共享内存,如果将SQL的字符串及格式写得完全相同则ORACLE只会分析一次,共享内存也只会留下一次的分析结果,这不仅可以减少分析SQL的时间,而且可以减少共享内存重复的信息,ORACLE也可以准确统计SQL的执行频率。

8、WHERE后面的条件顺序影响

WHERE子句后面的条件顺序对大数据量表的查询会产生直接的影响,如
Select * from zl_yhjbqk where dy_dj = '1KV以下' and xh_bz=1
Select * from zl_yhjbqk where xh_bz=1  and dy_dj = '1KV以下'
以上两个SQL中dy_dj(电压等级)及xh_bz(销户标志)两个字段都没进行索引,所以执行的时候都是全表扫描,第一条SQL的dy_dj = '1KV以下'条件在记录集内比率为99%,而xh_bz=1的比率只为0.5%,在进行第一条SQL的时候99%条记录都进行dy_dj及xh_bz的比较,而在进行第二条SQL的时候0.5%条记录都进行dy_dj及xh_bz的比较,以此可以得出第二条SQL的CPU占用率明显比第一条低。

9、查询表顺序的影响
在FROM后面的表中的列表顺序会对SQL执行性能影响,在没有索引及ORACLE没有对表进行统计分析的情况下ORACLE会按表出现的顺序进行链接,由此因为表的顺序不对会产生十分耗服务器资源的数据交叉。(注:如果对表进行了统计分析,ORACLE会自动先进小表的链接,再进行大表的链接)

10、SQL语句索引的利用
对操作符的优化(见上节)
对条件字段的一些优化
采用函数处理的字段不能利用索引,如:
substr(hbs_bh,1,4)=’5400’,优化处理:hbs_bh like ‘5400%’
trunc(sk_rq)=trunc(sysdate), 优化处理:
sk_rq>=trunc(sysdate) and sk_rq<trunc(sysdate+1)
进行了显式或隐式的运算的字段不能进行索引,如:
ss_df+20>50,优化处理:ss_df>30
‘X’||hbs_bh>’X5400021452’,优化处理:hbs_bh>’5400021542’
sk_rq+5=sysdate,优化处理:sk_rq=sysdate-5
hbs_bh=5401002554,优化处理:hbs_bh=’ 5401002554’,注:此条件对hbs_bh 进行隐式的to_number转换,因为hbs_bh字段是字符型。
条件内包括了多个本表的字段运算时不能进行索引,如:
ys_df>cx_df,无法进行优化
qc_bh||kh_bh=’5400250000’,优化处理:qc_bh=’5400’ and kh_bh=’250000’

应用ORACLE的HINT(提示)处理

提示处理是在ORACLE产生的SQL分析执行路径不满意的情况下要用到的。它可以对SQL进行以下方面的提示
目标方面的提示:
COST(按成本优化)
RULE(按规则优化)
CHOOSE(缺省)(ORACLE自动选择成本或规则进行优化)
ALL_ROWS(所有的行尽快返回)
FIRST_ROWS(第一行数据尽快返回)
执行方法的提示:
USE_NL(使用NESTED LOOPS方式联合)
USE_MERGE(使用MERGE JOIN方式联合)
USE_HASH(使用HASH JOIN方式联合)
索引提示:
INDEX(TABLE INDEX)(使用提示的表索引进行查询)
其它高级提示(如并行处理等等)
ORACLE的提示功能是比较强的功能,也是比较复杂的应用,并且提示只是给ORACLE执行的一个建议,有时如果出于成本方面的考虑ORACLE也可能不会按提示进行。根据实践应用,一般不建议开发人员应用ORACLE提示,因为各个数据库及服务器性能情况不一样,很可能一个地方性能提升了,但另一个地方却下降了,ORACLE在SQL执行分析方面已经比较成熟,如果分析执行的路径不对首先应在数据库结构(主要是索引)、服务器当前性能(共享内存、磁盘文件碎片)、数据库对象(表、索引)统计信息是否正确这几方面分析。

11、DISTINCT:会引起系统的额外开销、额外排序
12、许多数据库系统处理子查询的效率低(因为他会尝试去转化为内联)
13、使用没有必要的临时表会影响性能
14、复杂的相关子查询的执行效率可能很低(这时也许用临时表会好一些)
15、如果许多变量绑定只有微小差异,使用临时表有助于避免orderby操作(例如:查询值为3000-4000,5000-6000的数据并以值大小排序)
16、在聚簇索引上使用连接条件是个很好的方法。
17、当WHERE条件满足时,不要用HAVING语句
select avg(selary) as avgSelary,dept from employee Group By dept having dept="information"
换成
select dept,avg(selary) as avgSelary from employee where dept="information" group by dept
18、研究你的系统特性,有的系统OR是不使用索引的,可以改用UNION(UNION ALL)
19、FROM后面先写小表,后写大表
20、视图可能降低查询执行效率(视图可能导致写出低效甚至是错误的的查询,视图会转化为查询语句)注:若视图用了两张表,而你只用一张表。
21、合理利用触发器
分享到:
评论

相关推荐

    数据库性能优化之SQL语句优化

    SQL语句优化是数据库性能优化中的一个核心环节,涉及对SQL查询语句的调整,以减少查询时间,提高系统资源利用率。 首先,要理解为什么需要优化SQL语句。随着数据库中数据量的不断增加,如果没有对SQL语句进行有效的...

    数据库性能调优常用SQL语句

    数据库性能调优是IT领域中的一个关键环节,尤其是在大数据量和高并发的业务场景下,优化SQL语句显得尤为重要。本篇文章将详细讲解在数据库性能优化过程中常用的SQL语句及其应用,帮助你提升数据库的运行效率。 首先...

    对数据库中SQL语句的优化技术进行研究——对LECCO SQL Expert的分析与研究.pdf

    本篇论文《对数据库中SQL语句的优化技术进行研究——对LECCO SQL Expert的分析与研究》重点讨论了计算机数据库中SQL语句的优化技术,并对LECCO SQL Expert这一自动SQL优化工具进行了深入分析。文章从数据库性能优化...

    oracle数据库性能优化.pdf

    其次,SQL语句的优化是另一个关键领域。理解Oracle处理SQL的机制有助于我们写出更高效的查询。例如,在基于规则的优化器中,应将记录条数少的表作为驱动表放置在FROM子句末尾;WHERE子句的条件应从能过滤大量数据的...

    浅析数据库系统中SQL语句的优化技术.pdf

    数据库系统中SQL语句优化技术是提高数据库性能的关键手段。优化SQL语句能直接减少对数据库资源的消耗,提升查询效率,降低系统负载。SQL语句的优化通常包含以下几个方面的知识点: 1. SQL语句优化的重要性: SQL...

    Oracle数据库语句性能优化方法.pdf

    本文将讨论 Oracle 数据库语句性能优化的方法,从系统设计阶段的重要性、SQL 语句处理的过程、共享语句、访问路径、表连接和干预执行计划等优化方法进行深入分析,并研究 SQL 语句的运行机制、优化要素和实践应用。...

    SQLSERVER数据库性能优化分析

    - **未优化的SQL语句**:一些SQL语句可能未经过优化,导致执行效率低下。 - **频繁的表操作**:存储过程中频繁的SELECT、UPDATE、INSERT操作会增加数据库的负担。 - **大量使用临时表**:过多地使用临时表会导致...

    新一代智能SQL语句优化技术

    总的来说,新一代智能SQL语句优化技术是数据库性能提升的一个重要突破,它通过自动化和智能化的方式,使得SQL优化变得更加高效和精确,从而帮助企业在日益复杂的数据库环境中保持竞争优势。随着技术的不断进步,我们...

    SQL Server数据库性能优化的几点分析.pdf

    在数据库性能优化领域,SQL Server提供了一系列的工具和方法来提升数据库的性能,包括索引优化、SQL语句优化和分区优化等。索引优化能够让查询更加高效,但是过多的索引可能会导致系统效率下降;SQL语句的优化要关注...

    SQL语句优化数据库java

    在标题“SQL语句优化数据库Java”中,我们可以看出文章主要讨论的是如何通过优化SQL语句来提高数据库性能,尤其是对于Java应用程序而言。描述部分则进一步指出,本文档提供了一套较为全面的SQL代码编写规范,遵循...

    Oralce数据库SQL语句优化技术分析

    “Oracle SQL语句优化技术分析.ppt”很可能是整个课程的总结,它会总结前面章节的要点,提供具体的SQL优化技巧和工具,比如使用EXPLAIN PLAN分析执行计划,通过绑定变量提升性能,或者利用Oracle的性能监控工具进行...

    Effective MySQL之SQL语句最优化.pdf

    10. SQL语句优化的技术手段:技术手段包括但不限于使用子查询优化、使用JOIN代替子查询、避免SELECT *、使用更有效的查询方法(如IN代替OR)、利用数据库提供的存储过程和函数减少网络往返次数等。 11. 经验与实践...

    Oracle数据库性能分析

    为了有效地进行Oracle数据库性能分析,识别导致性能问题的SQL语句是非常关键的。以下是一些常用的工具和技术: - **AWR(Automatic Workload Repository)**: AWR提供了关于系统活动的重要信息,可以帮助识别高CPU或I...

    数据库优化从性能优良的SQL语句开始

    综上,数据库优化是一项涉及多方面的系统工程,从编写高效的SQL语句开始,结合合理的数据库设计和配置调优,以及充分利用现有的技术手段,可以显著提升数据库性能。在实际工作中,应根据具体业务场景灵活运用这些...

    试析Oracle数据库SQL语句的性能优化.pdf

    在探讨Oracle数据库SQL语句性能优化的背景下,文章主要介绍了一些提高数据库性能的基本原则、常用措施,并分析了SQL语句的执行过程,从而指导编程人员或数据库运维人员编写出高质量的SQL语句,减少资源占用,提高...

    Oracle数据库SQL语句的性能优化.pdf

    总结,Oracle数据库SQL语句的性能优化是一个涉及多方面知识的综合过程,包括索引策略、查询优化器使用、子查询与连接优化、分页查询、存储过程设计、资源管理、SQL语句重构以及利用各种内置工具进行监控和调优。...

    Oracle数据库性能优化 盖国强著

    盖国强先生的《Oracle数据库性能优化》一书深入浅出地探讨了这个主题,旨在帮助读者理解并掌握提高Oracle数据库效率的关键技术。 在Oracle数据库性能优化中,首要涉及的知识点是SQL优化。SQL语句是数据库操作的基础...

    sql语句优化技术分析

    SQL语句优化是数据库管理中的核心技能之一,它关乎到系统的性能、响应时间和资源利用率。在处理大量数据时,有效的SQL优化策略能显著提升数据库应用的效率。以下是对SQL语句优化技术的详细分析: 一、理解执行计划 ...

    浅析SQL SERVER数据库的性能优化.pdf

    常见的数据库监控优化技术包括使用数据库性能监控工具、使用数据库日志分析工具等。 9. 数据备份与恢复优化:数据备份与恢复是指对数据库中的数据进行备份和恢复,以防止数据丢失。数据备份与恢复优化是指对数据...

    【整理】数据库面试题索引sql优化+数据库SQL优化总结之百万级数据库优化

    接下来,"数据库SQL优化总结之百万级数据库优化.pdf"可能深入到实际的优化实践。 1. **数据库架构设计**:在百万级数据量下,合理的设计能避免性能瓶颈,如垂直分割、水平分割,以及读写分离策略。 2. **缓存与...

Global site tag (gtag.js) - Google Analytics