sql优化、索引的建立和运用以及多表连接建索引的拙劣见解

一、问题的提出

    在应用系统开发初期，由于开发数据库数据比较少，对于查询SQL语句，复杂视图的编写等体会不出SQL语句各种写法的性能优劣，
但是如果将应用系统提交实际应用后，随着数据库中数据的增加，系统的响应速度就成为目前系统需要解决的最主要的问题之一。
系统优化中一个很重要的方面就是SQL语句的优化。对于海量数据，劣质SQL语句和优质SQL语句之间的速度差别可以达到上百倍，可见
对于一个系统不是简单地能实现其功能就可，而是要写出高质量的 SQL 语句，提高系统的可用性。

    在多数情况下，Oracle使用索引来更快地遍历表，优化器主要根据定义的索引来提高性能。但是，如果在SQL语句的where子句中
写的SQL代码不合理，就会造成优化器删去索引而使用全表扫描，一般就这种SQL语句就是所谓的劣质SQL语句。在编写SQL语句时我们
应清楚优化器根据何种原则来删除索引，这有助于写出高性能的SQL语句。

二、SQL语句编写注意问题

    下面就某些SQL语句的where子句编写中需要注意的问题作详细介绍。

    在这些where子句中，即使某些列存在索引，但是由于编写了劣质的SQL，系统在运行该SQL语句时也不能使用该索引，而同样使用
全表扫描，这就造成了响应速度的极大降低。

    1. IS NULL 与 IS NOT NULL

    不能用null作索引，任何包含null值的列都将不会被包含在索引中。即使索引有多列这样的情况下，只要这些列中有一列含有null，
该列就会从索引中排除。也就是说如果某列存在空值，即使对该列建索引也不会提高性能。

    任何在where子句中使用is null或is not null的语句优化器是不允许使用索引的。

    2. 联接列

    对于有联接的列，即使最后的联接值为一个静态值，优化器是不会使用索引的。
    
    我们一起来看一个例子，假定有一个职工表（employee），对于一个职工的姓和名分成两列存放（FIRST_NAME和LAST_NAME），
    现在要查询一个叫比尔.克林顿（Bill Cliton）的职工。

    下面是一个采用联接查询的SQL语句，

 select * from employee
 where
 first_name||''||last_name ='Beill Cliton';

    上面这条语句完全可以查询出是否有Bill Cliton这个员工，但是这里需要注意，系统优化器对基于last_name创建的索引没有
使用。

    当采用下面这种SQL语句的编写，Oracle系统就可以采用基于last_name创建的索引。

 Select * from employee
 where
 first_name ='Beill' and last_name ='Cliton';

    遇到下面这种情况又如何处理呢？如果一个变量（name）中存放着Bill Cliton这个员工的姓名，对于这种情况我们又如何避免
全程遍历，使用索引呢？
    可以使用一个函数，将变量name中的姓和名分开就可以了，但是有一点需要注意，这个函数是不能作用在索引列上。
    下面是SQL查询脚本：

 select * from employee
 where
 first_name = SUBSTR('&&name',1,INSTR('&&name',' ')-1)
 and
 last_name = SUBSTR('&&name',INSTR('&&name’,' ')+1)

    3. 带通配符（%）的like语句

    同样以上面的例子来看这种情况。目前的需求是这样的，要求在职工表中查询名字中包含cliton的人。
    可以采用如下的查询SQL语句：

 select * from employee where last_name like '%cliton%';

    这里由于通配符（%）在搜寻词首出现，所以Oracle系统不使用last_name的索引。
    在很多情况下可能无法避免这种情况，但是一定要心中有底，通配符如此使用会降低查询速度。然而当通配符出现在字符串
    其他位置时，优化器就能利用索引。
    
    在下面的查询中索引得到了使用：

 select * from employee where last_name like 'c%';

    4. Order by语句

    ORDER BY语句决定了Oracle如何将返回的查询结果排序。Order by语句对要排序的列没有什么特别的限制，也可以将函数加入
列中（象联接或者附加等）。任何在Order by语句中有非索引项或者有计算表达式都将降低查询速度。

    仔细检查order by语句以找出非索引项或者表达式，它们会降低性能。
    解决这个问题的办法就是重写order by语句以使用索引，也可以为所使用的列建立另外一个索引，同时应绝对避免在order by
子句中使用表达式。

    5. NOT

    我们在查询时经常在where子句使用一些逻辑表达式，如大于、小于、等于以及不等于等等，也可以使用and（与）、or（或）
以及not（非）。NOT可用来对任何逻辑运算符号取反。下面是一个NOT子句的例子：

 ... where not (status ='VALID')

    如果要使用NOT，则应在取反的短语前面加上括号，并在短语前面加上NOT运算符。NOT运算符包含在另外一个逻辑运算符中，
这就是不等于（<>）运算符。换句话说，即使不在查询where子句中显式地加入NOT词，NOT仍在运算符中，见下例：

 ... where status <>'INVALID';

    再看下面这个例子：

 select * from employee where salary<>3000;

    对这个查询，可以改写为不使用NOT：

 select * from employee where salary<3000 or salary>3000;

    虽然这两种查询的结果一样，但是第二种查询方案会比第一种查询方案更快些。第二种查询允许Oracle对salary列使用索引，
而第一种查询则不能使用索引。

    6. IN和EXISTS

    有时候会将一列和一系列值相比较。最简单的办法就是在where子句中使用子查询。在where子句中可以使用两种格式的子查询。

    第一种格式是使用IN操作符：

 ... where column in(select * from ... where ...);

    第二种格式是使用EXIST操作符：

 ... where exists (select 'X' from ...where ...);

    我相信绝大多数人会使用第一种格式，因为它比较容易编写，而实际上第二种格式要远比第一种格式的效率高。在Oracle中
可以几乎将所有的IN操作符子查询改写为使用EXISTS的子查询。

    第二种格式中，子查询以‘select 'X'开始。运用EXISTS子句不管子查询从表中抽取什么数据它只查看where子句。这样优化
器就不必遍历整个表而仅根据索引就可完成工作（这里假定在where语句中使用的列存在索引）。相对于IN子句来说，EXISTS使用
相连子查询，构造起来要比IN子查询困难一些。

    通过使用EXIST，Oracle系统会首先检查主查询，然后运行子查询直到它找到第一个匹配项，这就节省了时间。Oracle系统在
执行IN子查询时，首先执行子查询，并将获得的结果列表存放在一个加了索引的临时表中。在执行子查询之前，系统先将主查询
挂起，待子查询执行完毕，存放在临时表中以后再执行主查询。这也就是使用EXISTS比使用IN通常查询速度快的原因。

    同时应尽可能使用NOT EXISTS来代替NOT IN，尽管二者都使用了NOT（不能使用索引而降低速度），NOT EXISTS要比NOT IN查
询效率更高。

三、索引

 1、索引分单列索引和组合索引
  单列索引：即一个索引只包含单个列，一个表可以有多个单列索引，但这不是组合索引。
  组合索引：即一个索包含多个列。

  1.普通索引。
   这是最基本的索引，它没有任何限制。它有以下几种创建方式：
   （1）创建索引：CREATE INDEX indexName ON tableName(tableColumns(length));如果是CHAR,VARCHAR类型，length可以小于字段实际长度;如果是 BLOB 和 TEXT 类型，必须指定length，下同。
   （2）修改表结构：ALTER tableName ADD INDEX [indexName] ON (tableColumns(length)) 
   （3）创建表的时候直接指定：CREATE TABLE tableName ( [...], INDEX [indexName] (tableColumns(length)) ;

  2.唯一索引。
   它与前面的"普通索引"类似，不同的就是：索引列的值必须唯一，但允许有空值。如果是组合索引，则列值的组合必须唯一。它有以下几种创建方式：
   （1）创建索引：CREATE UNIQUE INDEX indexName ON tableName(tableColumns(length))
   （2）修改表结构：ALTER tableName ADD UNIQUE [indexName] ON (tableColumns(length))
   （3）创建表的时候直接指定：CREATE TABLE tableName ( [...], UNIQUE [indexName] (tableColumns(length));

  3.主键索引
   它是一种特殊的唯一索引，不允许有空值。一般是在建表的时候同时创建主键索引：CREATE TABLE testIndex(i_testID INT NOT NULL AUTO_INCREMENT,vc_Name VARCHAR(16) NOT NULL,PRIMARY KEY(i_testID)); 当然也可以用ALTER命令。
   记住：一个表只能有一个主键。

  4.全文索引
   MySQL从3.23.23版开始支持全文索引和全文检索。这里不作讨论，呵呵~~

  删除索引的语法：DROP INDEX index_name ON tableName

 2，复合索引
  比如有一条语句是这样的：select * from users where area=’beijing’ and age=22;
  如 果我们是在area和age上分别创建单个索引的话，由于mysql查询每次只能使用一个索引，所以虽然这样已经相对不做索引时全表扫描提高了很多效率， 但是如果在area、age两列上创建复合索引的话将带来更高的效率。如果我们创建了(area, age, salary)的复合索引，那么其实相当于创建了(area,age,salary)、(area,age)、(area)三个索引，这被称为最佳左前缀 特性。因此我们在创建复合索引时应该将最常用作限制条件的列放在最左边，依次递减。

 3，索引不会包含有NULL值的列
  只要列中包含有NULL值都将不会被包含在索引中，复合索引中只要有一列含有NULL值，那么这一列对于此复合索引就是无效的。所以我们在数据库设计时不要让字段的默认值为NULL。

 4，使用短索引
  对串列进行索引，如果可能应该指定一个前缀长度。例如，如果有一个CHAR(255)的 列，如果在前10 个或20 个字符内，多数值是惟一的，那么就不要对整个列进行索引。短索引不仅可以提高查询速度而且可以节省磁盘空间和I/O操作。

 5，排序的索引问题
  mysql查询只使用一个索引，因此如果where子句中已经使用了索引的话，那么order by中的列是不会使用索引的。因此数据库默认排序可以符合要求的情况下不要使用排序操作；尽量不要包含多个列的排序，如果需要最好给这些列创建复合索引。

 6，like语句操作
  一般情况下不鼓励使用like操作，如果非使用不可，如何使用也是一个问题。like “%aaa%” 不会使用索引而like “aaa%”可以使用索引。

 7，不要在列上进行运算
  select * from users where YEAR(adddate)<2007;将在每个行上进行运算，这将导致索引失效而进行全表扫描，因此我们可以改成select * from users where adddate<‘2007-01-01’;

 8，不使用NOT IN和<>操作
  NOT IN和<>操作都不会使用索引将进行全表扫描。NOT IN可以NOT EXISTS代替，id<>3则可使用id>3 or id<3来代替。

四、测试 index 用法

 1、对复合索引的测试
  
  1. 对 juren_cards 表 在 card_num 和 type_id 字段上建立 复合索引，即：create index index_c on juren_cards(card_num, type_id)
   即：将产生索引：(card_num, type_id) 和 (card_num) 两个子索引
   
   比较：没有索引时候，耗时：0.0193m

   a、单表查询：
    当 sql 是 ：where card='XX' and type_id = 'XX'
    耗时：0.0006m 提高30倍

    当 sql 是 ：where type_id = 'XX' and card='XX' 
    耗时：0.0006m 提高30倍，

    结论：复合索引建立成功后，查询的速度与复合索引的字段在 查询语句中where 中的先后次序 没有关系。 
   
  2. 在 1 的基础上，对 juren_card_sales 表 在 card_num 字段上 建立索引
   即：create index index_cs on juren_card_sales(card_num)

   联表查询1：
    SELECT c.*,s.* FROM `juren_cards` as c 
    left join juren_card_sales as s on s.card_num=c.card_num 
    where s.card_num='XQ1T005T202616BJ'

    比较：当 juren_card_sales 表没有建立索引 index_cs 的时候，耗时：0.0173m
    建立后：耗时 0.0010m 提高 17倍

    结论：暂时 看不出来
   
   联表查询2：
    SELECT c.*,s.* FROM `juren_cards` as c 
    left join juren_card_sales as s on s.card_num=c.card_num 
    where c.id<=1000

    比较：当 juren_card_sales 表没有建立索引 index_cs 的时候，耗时：0.4952m
    建立后：耗时 0.0020m 提高 250倍

    结论：联表的时候，对于 on 后的条件，可以对互联的表建立适当的索引，将会大大提高效率。

   联表查询3：
    SELECT c.*, s.sales_type,d.caption AS claimerDeptCaption FROM juren_cards AS c 
    LEFT JOIN juren_card_sales AS s ON c.card_num = s.card_num 
    LEFT JOIN juren_depts AS d ON d.id=c.claimer_dept_id 
    WHERE 1 = 1
    
    比较：当 juren_card_sales 表没有建立索引 index_cs 的时候，耗时：0.1645m
    建立后：耗时 0.0018m 提高近 100倍

    结论：联表的时候，对于 on 后的条件，可以对互联的表建立适当的索引，将会大大提高效率。