基于Oracle的SQL优化（社区万众期待 数据库优化扛鼎巨著）

基于Oracle的SQL优化（社区万众期待数据库优化扛鼎巨著）

崔华 编  

ISBN 978-7-121-21758-6

2014年1月出版

定价：128.00元

856页

16开

 

 

编辑推荐

本土Oracle数据库性能优化顶级大师泣血力作

集十数年实战修行与潜心钻研之大成

盖国强等国内数据库一线名家联合推荐

囊括数据库性能优化技术所有分支与脉络，讲解通俗，实例经典

内容提要

《基于Oracle的SQL优化》是一本与众不同的书，它的目的是使读者真正掌握如何在 Oracle数据库里写出高质量的 SQL语句，以及如何在 Oracle数据库里对有性能问题的 SQL做诊断和调整。

《基于Oracle的SQL优化》从 Oracle处理 SQL的本质和原理入手，由浅入深、系统地介绍了 Oracle数据库里的优化器、执行计划、Cursor和绑定变量、查询转换、统计信息、Hint和并行等这些与 SQL优化息息相关的本质性内容，并辅以大量极具借鉴意义的一线 SQL优化实例，阐述了作者倡导的“从本质和原理入手，以不变应万变”的优化思路，最后还介绍了作者在实际工作中总结出来的 Oracle数据库里 SQL优化的方法论。

《基于Oracle的SQL优化》适用于使用 Oracle数据库的开发人员、Oracle DBA和其他对 Oracle数据库感兴趣的人员，也可以作为各院校相关专业的教学辅导和参考用书，或作为相关培训机构的培训教材。

目录

第 1章  Oracle里的优化器 ...................................1

1.1 什么是 Oracle里的优化器 ...........................1

1.1.1 基于规则的优化器............................2

1.1.2 基于成本的优化器........................9

1.1.2.1 集的势 ..............................11

1.1.2.2 可选择率 ...............................11

1.1.2.3 可传递性..............................16

1.1.2.4 CBO的局限性...................................18

1.2 优化器的基础知识 .......................19

1.2.1 优化器的模式..................................19

1.2.2 结果集............................21

1.2.3 访问数据的方法................................22

1.2.3.1 访问表的方法.............................22

1.2.3.1.1 全表扫描 ....................................22

1.2.3.1.2 ROWID扫描 .....................................23

1.2.3.2 访问索引的方法 .....................................24

1.2.3.2.1 索引唯一性扫描 ...............................25

1.2.3.2.2 索引范围扫描 .......................................25

1.2.3.2.3 索引全扫描 ......................................28

1.2.3.2.4 索引快速全扫描 ...............................29

1.2.3.2.5 索引跳跃式扫描 ...............................31

1.2.4 表连接..........................33

1.2.4.1 表连接的类型......................................34

1.2.4.1.1 内连接.............................................34

1.2.4.1.2 外连接.................................................37

1.2.4.2 表连接的方法............................................47

1.2.4.2.1 排序合并连接 ..................................47

1.2.4.2.2 嵌套循环连接 ...................................48

1.2.4.2.3 哈希连接 ..........................................51

1.2.4.2.4 笛卡儿连接 ......................................56

1.2.4.3 反连接 ...........................................58

1.2.4.4 半连接 ................................63

1.2.4.5 星型连接............................................65

1.3 优化器模式对 CBO计算成本带来巨大影响的实例...............66

1.4 总结.......................80

第 2章  Oracle里的执行计划 ........................... 82

2.1 什么是执行计划.................................82

2.2 如何查看执行计划 ..........................85

2.2.1 explain plan命令....................................86

2.2.2 DBMS_XPLAN包............................89

2.2.3 AUTOTRACE开关 ...............................95

2.2.4 10046事件与 tkprof命令.............................99

2.3 如何得到真实的执行计划..................................102

2.4 如何查看执行计划的执行顺序.............................118

2.5 Oracle里的常见执行计划 .......................122

2.5.1 与表访问相关的执行计划.................................122

2.5.2 与 B树索引相关的执行计划.................................124

2.5.3 与位图索引相关的执行计划...................................129

2.5.4 与表连接相关的执行计划.......................................138

2.5.5 其他典型的执行计划...............................................146

2.5.5.1 AND-EQUAL（INDEX MERGE）.....................146

INDEX JOIN ................................148

2.5.5.2 VIEW.......................149

2.5.5.3FILTER ..................................151

2.5.5.4 SORT ....................................154

2.5.5.5

2.5.5.6 UNION/UNION ALL......................167

CONCAT..................................................168

2.5.5.7

CONNECT BY...................................................171

2.5.5.8

2.6 Oracle里执行计划的稳定 ................................172

2.6.1 使用 SQL Profile来稳定执行计划 ...........................173

2.6.1.1 Automatic类型的 SQL Profile ...............................173

2.6.1.2 Manual类型的 SQL Profile......................................179

2.6.2 使用 SPM来稳定执行计划........................................190

2.7 总结..............................203

第 3章  Oracle里的 Cursor和绑定变量 ......................... 204

3.1 Oracle里的 Cursor.............................204

3.1.1 Oracle里的 Shared Cursor.............................204

3.1.1.1 Shared Cursor的含义 ..........................................204

3.1.1.2 硬解析 ................................................212

3.1.1.3 软解析 ...................................214

3.1.2 Oracle里的 Session Cursor..............................215

3.1.2.1 Session Cursor的含义 .....................................215

3.1.2.2 Session Cursor的相关参数解析...........................218

OPEN_CURSORS.........................................218

3.1.2.2.1 SESSION_CACHED_CURSORS ............................219

3.1.2.2.2CURSOR_SPACE_FOR_TIME ..............................221

3.1.2.2.3

3.1.2.3 Session Cursor的种类和用法 .............................222

3.1.2.3.1 隐式游标 ........................................222

3.1.2.3.2 显式游标 ........................................225

3.1.2.3.3 参考游标 ........................................230

3.2 Oracle里的绑定变量 ...............................237

3.2.1 绑定变量的作用....................................237

3.2.2 绑定变量的典型用法.........................................238

3.2.3 绑定变量的使用原则和最佳实践..............................245

3.2.3.1 PL/SQL批量绑定模板一 ...................................245

3.2.3.2 PL/SQL批量绑定模板二 .....................................247

3.2.4 绑定变量窥探............................................258

3.2.5 绑定变量分级..................................270

3.2.6 绑定变量的个数不宜太多........................................276

3.2.7 批量绑定时如何处理错误.......................................280

3.2.8 如何得到已执行的目标 SQL中绑定变量的值 ..........283

3.3 Oracle里的游标共享 .......288

3.3.1 常规游标共享..............................289

3.3.2 自适应游标共享........................297

3.4 Oracle里的应用类型 ...............................320

3.4.1 Session Cursor的生命周期.........................................320

3.4.2 应用类型一（硬解析）................................................322

3.4.3 应用类型二（软解析）...............................................323

3.4.4 应用类型三（软软解析）..........................................323

3.4.5 应用类型四（一次解析、多次执行）....................324

3.4.6 四种应用类型的实测性能对比..............................325

3.5 总结.............................333

第 4章  Oracle里的查询转换 .......................... 335

4.1 Oracle里查询转换的作用 ................335

4.2 子查询展开.................................336

4.3 视图合并............................344

4.3.1 简单视图合并...........................345

4.3.2 外连接视图合并..................351

4.3.3 复杂视图合并.....................354

4.4 星型转换.....................365

4.5 连接谓词推入 ................372

4.6 连接因式分解 ................379

4.7 表扩展 .......................387

4.8 表移除 .............396

4.9 Oracle如何处理 SQL语句中的 IN.............401

IN-List Iterator .................402

4.9.1

4.9.2 IN-List Expansion / OR Expansion ................404

IN-List Filter .............409

4.9.3

4.9.4 对 IN做子查询展开/视图合并 .............410

4.10 查询转换的综合应用实例（逻辑读从 200万降到 6） .....413

4.11总结..............................420

第 5章  Oracle里的统计信息 ........ 422

5.1 什么是 Oracle里的统计信息...........422

5.2 Oracle里收集与查看统计信息的方法 .............423

5.2.1 收集统计信息...................423

5.2.1.1 用 ANALYZE命令收集统计信息...........423

5.2.1.2 用 DBMS_STATS包收集统计信息..........428

5.2.1.3 ANALYZE和 DBMS_STATS的区别........432

5.2.2 查看统计信息................433

5.3 表的统计信息 ..............435

5.3.1 表统计信息的种类和含义.........435

5.3.2 表统计信息不准导致 SQL性能问题的实例 .................437

5.4 索引的统计信息..............440

5.4.1 索引统计信息的种类和含义.................440

5.4.2 聚簇因子的含义及重要性............442

5.5 列的统计信息 ..................450

5.5.1 列统计信息的种类和含义..............450

5.5.2 列统计信息不准导致谓词越界的实例..........454

5.5.3 直方图........................460

5.5.3.1 直方图的含义...............460

5.5.3.2 直方图的类型.................462

5.5.3.2.1 Frequency类型的直方图 ...........463

5.5.3.2.2 Height Balanced类型的直方图 ..................471

5.5.3.3 直方图的收集方法................................475

5.5.3.4 直方图对 CBO的影响 ....................477

5.5.3.4.1 直方图对 Shared Cursor的影响 .............477

5.5.3.4.2 直方图对可选择率的影响 ................482

5.5.3.5 使用直方图的注意事项...........................495

5.6 全局统计信息 ............................496

5.7 动态采样............................507

5.8 多列统计信息 ...........................516

5.9 系统统计信息 .............................519

5.10 数据字典统计信息..................536

5.11内部对象统计信息 .............................539

5.12 Oracle里的自动统计信息收集 .........................546

5.13 Oracle里应如何收集统计信息 ..........................563

5.14 总结.........................567

第 6章  Oracle里的 Hint..................... 568

6.1 什么是 Hint .....................568

6.2 Hint的用法 ...............................576

6.3 Hint被 Oracle忽略的常见情形 ...............590

6.3.1 情形一：使用的 Hint有语法或者拼写错误.................591

6.3.2 情形二：使用的 Hint无效.........................592

6.3.3 情形三：使用的 Hint自相矛盾..............597

6.3.4 情形四：使用的 Hint受到了查询转换的干扰...........599

6.3.5 情形五：使用的 Hint受到了保留关键字的干扰.........602

6.4 常见的 Hint ...............605

6.4.1 与优化器模式相关的 Hint................606

6.4.1.1 ALL_ROWS ...............606

6.4.1.2 FIRST_ROWS(n)...................606

RULE........................608

6.4.1.3

6.4.2 与表访问相关的 Hint...................615

FULL .......................615

6.4.2.1 ROWID .............615

6.4.2.2

6.4.3 与索引访问相关的 Hint...................615

INDEX .........................615

6.4.3.1 NO_INDEX .....................616

6.4.3.2 INDEX_DESC ...............617

6.4.3.3 INDEX_COMBINE................618

6.4.3.4 INDEX_FFS ..................620

6.4.3.5

6.4.3.6 INDEX_JOIN.............621

6.4.3.7 AND_EQUAL.....................622

6.4.4 与表连接顺序相关的 Hint...................624

ORDERED ................................624

6.4.4.1 LEADING ........................626

6.4.4.2

6.4.5 与表连接方法相关的 Hint.............628

6.4.5.1 USE_MERGE ............628

NO_USE_MERGE .............631

6.4.5.2 USE_NL............633

6.4.5.3 NO_USE_NL .................634

6.4.5.4 USE_HASH.............635

6.4.5.5 NO_USE_HASH ..........635

6.4.5.6

6.4.5.7 MERGE_AJ.........636

NL_AJ............................637

6.4.5.8 HASH_AJ.................637

6.4.5.9 MERGE_SJ....................637

6.4.5.10 NL_SJ...........................638

6.4.5.11HASH_SJ .......................639

6.4.5.12

6.4.6 与查询转换相关的 Hint .....................639

USE_CONCAT ...............639

6.4.6.1 NO_EXPAND ...............640

6.4.6.2 MERGE................642

6.4.6.3 NO_MERGE................642

6.4.6.4 UNNEST ....................643

6.4.6.5

6.4.6.6 NO_UNNEST........................643

EXPAND_TABLE .................................644

6.4.6.7 NO_EXPAND_TABLE .......................644

6.4.6.8

6.4.7 与并行相关的 Hint ...........................645

PARALLEL...................................645

6.4.7.1 NO_PARALLEL ................................652

6.4.7.2

6.4.7.3 PARALLEL_INDEX ................................654

NO_PARALLEL_INDEX......................................656

6.4.7.4

6.4.8 其他常见 Hint ............................656

DRIVING_SITE..............................656

6.4.8.1 APPEND ...........................................659

6.4.8.2 APPEND_VALUES ........................................662

6.4.8.3

6.4.8.4 PUSH_PRED .......................664

NO_PUSH_PRED ................................666

6.4.8.5

6.4.8.6 PUSH_SUBQ....................................666

6.4.8.7 NO_PUSH_SUBQ................669

OPT_PARAM ..............................................670

6.4.8.8 OPTIMIZER_FEATURES_ENABLE ...............................672

6.4.8.9

6.4.8.10 QB_NAME ........................................674

CARDINALITY .................................674

6.4.8.11SWAP_JOIN_INPUTS .............................677

6.4.8.12

6.5 用 Cardinality Hint解决 ORA-01555错误的实例...............682

6.6 总结...............................693

第 7章  Oracle里的并行 ..................... 695

7.1 Oracle里并行的基本概念 ...............695

7.1.1 为什么要用并行.................695

7.1.2 并行的理论基础....................696

7.1.3 Oracle里能够并行执行的操作...............697

7.1.4 Oracle里与并行有关的术语及解释 ..................707

7.1.4.1 Query Coordinator .............708

7.1.4.2 Query Slaves和 Query Slave Set.............708

7.1.4.3 Table Queues.........716

7.1.4.4 数据传递方法.............721

7.1.4.5 granules............735

7.1.4.6 直接读取 ............737

7.1.5 深入解析并行执行计划的实例.............746

7.2 Oracle里并行的控制 ..........755

7.2.1 Oracle里如何开启并行 .............755

7.2.2 Oracle里并行度的控制 .............760

7.2.3 Oracle RAC环境下的并行...........771

7.2.4 Oracle里与并行相关的参数 ..............775

PARALLEL_MAX_SERVERS .........775

7.2.4.1 PARALLEL_MIN_SERVERS ......................776

7.2.4.2

7.2.4.3 自动并行相关的参数 ...................776

PARALLEL_DEGREE_POLICY ................................776

7.2.4.3.1 PARALLEL_MIN_TIME_THRESHOLD ...................................776

7.2.4.3.2

7.2.4.3.3 PARALLEL_DEGREE_LIMIT ..................777

PARALLEL_SERVERS_TARGET..................................777

7.2.4.3.4

7.2.4.4 自适应并行相关的参数...............778

PARALLEL_ADAPTIVE_MULTI_USER ...............778

7.2.4.4.1 PARALLEL_MIN_PERCENT ........................778

7.2.4.4.2 PARALLEL_AUTOMATIC_TUNING .........778

7.2.4.4.3

7.2.4.5 其他参数 ............................778

PARALLEL_THREADS_PER_CPU ...................................778

7.2.4.5.1 PARALLEL_EXECUTION_MESSAGE_SIZE.............779

7.2.4.5.2 PARALLEL_FORCE_LOCAL.........................779

7.2.4.5.3

7.2.5 绕开 Oracle并行执行 Bug大幅提升性能的实例 ................779

7.3 总结..........................805

第 8章  Oracle里 SQL优化的方法论 ................... 807

8.1 Oracle里如何做 SQL优化...................807

8.1.1 Oracle里 SQL优化的本质是基于对 CBO和执行计划的深刻理解 ......807

8.1.2 Oracle里 SQL优化需要联系实际的业务 ...................819

8.1.3 Oracle里 SQL优化需要适时使用绑定变量 ............824

8.2 Oracle里 SQL优化的方法论在实战中的验证...............824

8.3 总结......................841

 

作者简介

崔华，网名dbsnake，Oracle ACE, ACOUG成员。

资深Oracle数据库工程师，拥有Oracle数据库技术各个领域的经验，尤其是在Oracle数据库性能优化与备份恢复方面经验丰富。

他与其他人合作编写了多本Oracle技术书籍，他经常在Oracle相关活动中发表演讲并在自己的博客上撰写了大量技术文章。

前言

为什么写这本书

写这本书纯属偶然。

2010年 12月 11日，我在中国软件技术大会上做了一个关于 Oracle数据库备份与恢复机制揭密的主题演讲。可能是因为这个演讲的缘故，电子工业出版社的编辑毕宁随后多次邀请我写一本关于 Oracle数据库备份恢复方面的书，但均被我以各种理由搪塞、推脱。这一拖就拖了大半年（为什么会推脱？一来是因为我认为备份恢复这个点相对来说较窄，不具备普适性；二来市面上已经有不少关于备份恢复方面的书，这意味着如果我想写出有新意、有不一样的内容的话，会有相当的难度）。

这种推脱一直持续到 2011年 10月，那个时候我正好在公司内部主讲一个基于 Oracle数据库的 SQL优化的系列课程。我开设这门课程的初衷是因为当时恰逢公司开始研发新一代系统，而我深知对于使用 Oracle数据库的应用系统而言，SQL语句的质量会直接影响系统的性能，甚至可以说大部分基于 Oracle数据库的应用系统的性能问题都是由于开发人员不懂 Oracle数据库，不懂如何在 Oracle数据库里写出高质量的 SQL所致。这样的系统性能问题，单靠高水准的 Oracle DBA来调整是非常痛苦的，很多时候是事倍功半。如果能把我在 SQL优化方面的经验分享给大家，告诉大家如何避免在 Oracle数据库中写出很烂的 SQL，如何在 Oracle数据库中做 SQL优化，那么就可以从源头上提升新一代系统在数据库端的性能，这也算是我为公司新一代系统的研发所做的一份贡献。

这门课程一经推出，就取得了很好的反响，同事们纷纷反馈说这门课程很实用，课程里的不少方法和知识点在实际的工作中都能用上，这使我意识到自己是在做一件非常有意义的事情，虽然辛苦，但是确实能帮助到同事。

这门课程大约是 30个学时，我才开始讲没多久，毕宁就再次打电话给我，他还是希望我能写一本关于 Oracle数据库备份恢复方面的书。我清楚地记得那天下午接到毕宁电话的时候，脑海里突然闪现了一个念头——为什么不把现在讲的这门 SQL优化的课程写成一本书呢？这样一来可以对毕宁有个交待，二来也可以帮到更多的人，而不仅仅是我的同事。因为只要是用 Oracle数据库的，只要是构建在 Oracle数据库上的应用系统就必然会涉及 SQL优化，也就是说 SQL优化不同于备份恢复，它是具备普适性的。另外，市面上系统阐述 Oracle数据库中 SQL优化的书非常少，这意味着我有很大的发挥空间。如果能写一本系统的、从本质上阐述如何在 Oracle数据库里做 SQL优化的书，能够通过这本书教会开发人员如何在 Oracle数据库里写出高质量的 SQL，以及如何对有性能问题的 SQL做诊断与调整，那么也许就可以从源头上保证，由这些开发人员所开发出来的基于 Oracle数据库的应用系统在 SQL上是没有性能问题的，而那些由于 SQL撰写不当而导致的各种性能问题也就不复存在了。如果真能做到这一点，那真是一件功德无量的事情。

在和毕宁沟通过几次后，我的上述想法获得了他的支持，于是从 2011年 10月份开始，我就正式开始撰写这本书。只是我万万没有想到，这一写就写了 17个月。

这本书的撰写过程是极为艰苦的。一来是因为我对自己要求很高，希望写出来的书通俗易懂（普通的使用 Oracle数据库的开发人员就能看懂），但同时又要具备一定的深度；二来是因为我倡导“从本质和原理入手，以不变应万变”的 SQL优化思路，必然涉及深入介绍 Oracle数据库里的优化器，但 Oracle数据库里的优化器实在是太复杂了。

现在回想起来，我为这本书付出了太多太多。在这一年多的撰写过程中，由于长期熬夜，我能明显感觉到身体越来越差，到了撰写后期更是频繁往医院跑，但无论如何，我还是坚持下来了。

本书的主要内容

本书共 8章。

第 1章“Oracle里的优化器”，详细介绍了 Oracle数据库中与优化器相关的各个方面的内容，包括优化器的模式、结果集（Row Source）、集的势（Cardinality）、可选择率（Selectivity）、可传递性（Transitivity）、各种数据访问的方法，以及与表连接相关的内容。

第 2章“Oracle里的执行计划”，详细介绍了 Oracle数据里与执行计划有关的各个方面的内容，包括执行计划的含义，如何查看执行计划，如何得到目标 SQL真实的执行计划，如何查看执行计划的执行顺序， Oracle数据库里各种常见的执行计划的含义，以及如何在 Oracle数据库中稳定执行计划。

第 3章“Oracle里的 Cursor和绑定变量”，详细介绍了 Oracle数据库中与 Cursor和绑定变量相关的各个方面的内容，包括 Shared Cursor、Session Cursor、绑定变量、游标共享、硬解析、软解析、软软解析，以及与它们息息相关的 Oracle数据库里的四种应用类型。

第 4章“Oracle里的查询转换”，详细介绍了 Oracle数据库中与查询转换有关的各个方面的内容，包括子查询展开、视图合并、星型转换、连接谓词推入、连接因式分解、表扩展、表移除，以及 Oracle如何处理 SQL语句中的 IN。

第 5章“Oracle里的统计信息”，详细介绍了 Oracle数据库里与统计信息相关的各个方面的内容，包括 Oracle数据库中各种统计信息的分类、含义、收集和查看方法，以及如何在 Oracle数据库里正确地收集统计信息。

第 6章“ Oracle里的 Hint”，详细介绍了 Oracle数据库中与 Hint有关的各个方面的内容，包括什么是 Hint，如何用 Hint，Hint什么情况下会失效，以及 Oracle数据库中常见的各种 Hint。

第 7章“Oracle里的并行”，详细介绍了 Oracle数据库里并行的基本概念以及在 Oracle数据库里如何控制并行，包括在 Oracle数据库里开启并行、控制并行度等。

第 8章“Oracle里 SQL优化的方法论”，介绍了在 Oracle数据库里如何做 SQL优化，提出了我们总结出来的 Oracle数据库里 SQL优化的方法论，并结合实例验证了上述方法论。

本书的读者对象

本书适用于使用 Oracle数据库的开发人员、Oracle DBA和其他对 Oracle数据库感兴趣的人员。

本书也可以作为各大中专院校相关专业的教学辅导和参考用书，或作为相关培训机构的培训教材。

本书代码下载

本书使用的所有脚本和范例代码均可以通过我网站上的 Books专栏下载，网址为 http://www.dbsnake.net/books。

本书约定

本书介绍的 SQL优化方法论是通用的方法，并不局限于 Oracle数据库的某个具体的版本，但本书的实例和测试结果绝大部分是基于 Oracle 11gR2的（除个别特别注明的实例之外）。而 Oracle数据库不同的版本之间在某些方面可能会差别很大，所以即便是同样的实例，在 Oracle数据库不同的版本上的测试结果也有可能不同，在此特别说明，一切以实际情况为准。

由于我的水准和经验所限，书中的错误之处在所难免，在此诚挚期待大家阅读后的指正。可以通过电子邮件与我取得联系（[e-mail]），欢迎与我交流任何关于本书的问题。