SQL Server 查询处理中的各个阶段(SQL执行顺序)
SQL 不同于与其他编程语言的最明显特征是处理代码的顺序。在大数编程语言中,代码按编码顺序被处理,但是在SQL语言中,第一个被处理的子句是FROM子句,尽管SELECT语句第一个出现,但是几乎总是最后被处理。
每个步骤都会产生一个虚拟表,该虚拟表被用作下一个步骤的输入。这些虚拟表对调用者(客户端应用程序或者外部查询)不可用。只是最后一步生成的表才会返回 给调用者。如果没有在查询中指定某一子句,将跳过相应的步骤。下面是对应用于SQL server 2000和SQL Server 2005的各个逻辑步骤的简单描述。
(1)FROM [left_table]
(3)<join_type> JOIN <right_table>
(2) ON <join_condition>
(4)WHERE <where_condition>
(5)GROUP BY <group_by_list>
(6)WITH <CUBE | RollUP>
(7)HAVING <having_condition>
(10)ORDER BY <order_by_list>
逻辑查询处理阶段简介
- FROM:对FROM子句中的前两个表执行笛卡尔积(Cartesian product)(交叉联接),生成虚拟表VT1
- ON:对VT1应用ON筛选器。只有那些使<join_condition>为真的行才被插入VT2。
- OUTER(JOIN):如 果指定了OUTER JOIN(相对于CROSS JOIN 或(INNER JOIN),保留表(preserved table:左外部联接把左表标记为保留表,右外部联接把右表标记为保留表,完全外部联接把两个表都标记为保留表)中未找到匹配的行将作为外部行添加到 VT2,生成VT3.如果FROM子句包含两个以上的表,则对上一个联接生成的结果表和下一个表重复执行步骤1到步骤3,直到处理完所有的表为止。
- WHERE:对VT3应用WHERE筛选器。只有使<where_condition>为true的行才被插入VT4.
- GROUP BY:按GROUP BY子句中的列列表对VT4中的行分组,生成VT5.
- CUBE|ROLLUP:把超组(Suppergroups)插入VT5,生成VT6.
- HAVING:对VT6应用HAVING筛选器。只有使<having_condition>为true的组才会被插入VT7.
- SELECT:处理SELECT列表,产生VT8.
- DISTINCT:将重复的行从VT8中移除,产生VT9.
- ORDER BY:将VT9中的行按ORDER BY 子句中的列列表排序,生成游标(VC10).
- TOP:从VC10的开始处选择指定数量或比例的行,生成表VT11,并返回调用者。
注:步骤10,按ORDER BY子句中的列列表排序上步返回的行,返回游标VC10.这一步是第一步也是唯一一步可以使用SELECT列表中的列别名的步骤。这一步不同于其它步骤的 是,它不返回有效的表,而是返回一个游标。SQL是基于集合理论的。集合不会预先对它的行排序,它只是成员的逻辑集合,成员的顺序无关紧要。对表进行排序 的查询可以返回一个对象,包含按特定物理顺序组织的行。ANSI把这种对象称为游标。理解这一步是正确理解SQL的基础。
因为这一步不返回表(而是返回游标),使用了ORDER BY子句的查询不能用作表表达式。表表达式包括:视图、内联表值函数、子查询、派生表和共用表达式。它的结果必须返回给期望得到物理记录的客户端应用程序。例如,下面的派生表查询无效,并产生一个错误:
select * from(select orderid,customerid from orders order by orderid) as d
下面的视图也会产生错误
create view my_view as select * from orders order by orderid
在SQL中,表表达式中不允许使用带有ORDER BY子句的查询,而在T—SQL中却有一个例外(应用TOP选项)。
所以要记住,不要为表中的行假设任何特定的顺序。换句话说,除非你确定要有序行,否则不要指定ORDER BY 子句。排序是需要成本的,SQL Server需要执行有序索引扫描或使用排序运行符。
推荐一段SQL代码:行列转置
/*问题:假设有张学生成绩表(tb)如下:
姓名 课程 分数
张三 语文 74
张三 数学 83
张三 物理 93
李四 语文 74
李四 数学 84
李四 物理 94
想变成(得到如下结果):
姓名 语文 数学 物理
---- ---- ---- ----
李四 74 84 94
张三 74 83 93
-------------------
*/
create table tb(姓名 varchar(10),课程 varchar(10),分数 int)
insert into tb values('张三' , '语文' , 74)
insert into tb values('张三' , '数学' , 83)
insert into tb values('张三' , '物理' , 93)
insert into tb values('李四' , '语文' , 74)
insert into tb values('李四' , '数学' , 84)
insert into tb values('李四' , '物理' , 94)
go
--SQL SERVER 2000 静态SQL,指课程只有语文、数学、物理这三门课程。(以下同)
select 姓名 as 姓名 ,
max(case 课程 when '语文' then 分数 else 0 end) 语文,
max(case 课程 when '数学' then 分数 else 0 end) 数学,
max(case 课程 when '物理' then 分数 else 0 end) 物理
from tb
group by 姓名
这样做确实是爽了自己, 可苦了机器, 服务器还需要在我们的杂乱无章的 SQL 语句中寻找它下一句需要执行的关键字在哪里.
效 率嘛, 由于我们的感觉神经对秒以下的变化实在不敏感, 暂且就认为自已写的 SQL 顺序无关紧要, "反正没什么变化!", 呵呵.其实服务器对每句 SQL 解析时间都会有详细记录的, 大家可以看一下自已按习惯写的 SQL 和按标准顺序写的SQL解析时间差别有多大.
因此, 建议大家在平时工作中 SQL 语句按标准顺序写, 一是专业, 二是实用, 呵呵, 不过我觉得最主要的是心里感觉舒服.
标准的 SQL 的解析顺序为:
(1).FROM 子句, 组装来自不同数据源的数据
(2).WHERE 子句, 基于指定的条件对记录进行筛选
(3).GROUP BY 子句, 将数据划分为多个分组
(4).使用聚合函数进行计算
(5).使用 HAVING 子句筛选分组
(6).计算所有的表达式
(7).使用 ORDER BY 对结果集进行排序
举例说明: 在学生成绩表中 (暂记为 tb_Grade), 把 "考生姓名"内容不为空的记录按照 "考生姓名" 分组, 并且筛选分组结果, 选出 "总成绩" 大于 600 分的.
标准顺序的 SQL 语句为:
select 考生姓名, max(总成绩) as max总成绩
from tb_Grade
where 考生姓名 is not null
group by 考生姓名
having max(总成绩) > 600
order by max总成绩
在上面的示例中 SQL 语句的执行顺序如下:
(1). 首先执行 FROM 子句, 从 tb_Grade 表组装数据源的数据
(2). 执行 WHERE 子句, 筛选 tb_Grade 表中所有数据不为 NULL 的数据
(3). 执行 GROUP BY 子句, 把 tb_Grade 表按 "学生姓名" 列进行分组
(4). 计算 max() 聚集函数, 按 "总成绩" 求出总成绩中最大的一些数值
(5). 执行 HAVING 子句, 筛选课程的总成绩大于 600 分的.
(7). 执行 ORDER BY 子句, 把最后的结果按 "Max 成绩" 进行排序.
--1.from
--2.on
--3.outer(join)
--4.where
--5.group by
--6.cube|rollup
--7.having
--8.select
--9.distinct
--10.order by
--11.top
1. 逻辑查询处理步骤序号
(8)SELECT (9)DISTINCT (11)<TOP_specification> <select_list>
(1)FROM <left_table>
(3) <join_type> JOIN <right_table>
(2) ON <join_condition>
(4)WHERE <where_condition>
(5)GROUP BY <group_by_list>
(6)WITH {CUBE | ROLLUP}
(7)HAVING <having_condition>
(10)ORDER BY <order_by_list>
每个步骤产生一个虚拟表,该虚拟表被用作下一个步骤的输入。
只有最后一步生成的表返回给调用者。
如果没有某一子句,则跳过相应的步骤。
1. FROM:
对FROM子句中的前两个表执行笛卡尔积,生成虚拟表VT1。
2. ON:
对VT1应用ON筛选器。只有那些使<join_condition>为真的行才被插入VT2。
3. OUTER(JOIN):
如果指定了OUTER JOIN,保留表中未找到匹配的行将作为外部行添加到VT2,生成VT3。
如果FROM子句包含两个以上的表,则对上一个联接生成的结果表和下一个表重复执行步骤1到步骤3,直到处理完所有的表为止。
4. 对VT3应用WHERE筛选器。只有使<where_condition>为TRUE的行才被插入VT4。
5. GROUP BY:
按GROUP BY 子句中的列列表对VT4中的行分组,生成VT5。
6. CUBE|ROLLUP:
把超组插入VT5,生成VT6。
7. HAVING:
对VT6应用HAVING筛选器。
只有使<having_condition>为TRUE的组才会被插入VT7。
注:having不能单独使用,having子句是对分组后的记录的筛选,所以有having必须要有group by
8. SELECT:
处理SELECT列表,产生VT8。
9. DISTINCT:
将重复的行从VT8中移除,产生VT9。
10. ORDER BY:
将VT9中的行按ORDER BY子句中的列列表排序,生成一个有表(VC10)。
11. TOP:从VC10的开始处选择指定数量或比例的行,生成表VT11,并返回给调用者。
注:top n可以实现分页
select top 20 * from 雇员 ------第一页
select top 20 * from 雇员
where 身份证号码 not in (select top 20 身份证号码 from 雇员) ------第二页
2. 准备数据
SET NOCOUNT ON;
USE tempdb;
GO
IF OBJECT_ID('dbo.Orders') IS NOT NULL
DROP TABLE dbo.Orders;
GO
IF OBJECT_ID('dbo.Customers') IS NOT NULL
DROP TABLE dbo.Customers;
GO
CREATE TABLE dbo.Customers
(
customerid CHAR(5) NOT NULL PRIMARY KEY,
city VARCHAR(10) NOT NULL
);
INSERT INTO dbo.Customers(customerid,city) VALUES('FISSA', 'Madrid');
INSERT INTO dbo.Customers(customerid,city) VALUES('FRNDO', 'Madrid');
INSERT INTO dbo.Customers(customerid,city) VALUES('KRLOS', 'Madrid');
INSERT INTO dbo.Customers(customerid,city) VALUES('MRPHS', 'Zion');
CREATE TABLE dbo.Orders
(
orderid INT NOT NULL PRIMARY KEY,
customerid CHAR(5) NULL REFERENCES Customers(customerid)
);
INSERT INTO dbo.Orders(orderid, customerid) VALUES(1,'FRNDO');
INSERT INTO dbo.Orders(orderid, customerid) VALUES(2,'FRNDO');
INSERT INTO dbo.Orders(orderid, customerid) VALUES(3,'KRLOS');
INSERT INTO dbo.Orders(orderid, customerid) VALUES(4,'KRLOS');
INSERT INTO dbo.Orders(orderid, customerid) VALUES(5,'KRLOS');
INSERT INTO dbo.Orders(orderid, customerid) VALUES(6,'MRPHS');
INSERT INTO dbo.Orders(orderid, customerid) VALUES(7, NULL);
执行结果:
3. 查询语句
USE tempdb;
GO
SELECT C.customerid, COUNT(O.orderid) AS numorders
FROM dbo.Customers AS C
LEFT OUTER JOIN dbo.Orders AS O
ON C.customerid = O.customerid
WHERE C.city = 'Madrid'
GROUP BY C.customerid
HAVING COUNT(O.orderid) < 3
ORDER BY numorders;
执行结果:
4. 逻辑查询处理步骤详解
1. 执行笛卡尔乘积,形成VT1。如果左表包含n行,右表包含m行,VT1将包含n×m行。
执行结果VT1:
2. 应用ON 筛选器,只有<join_condition>为TRUE的那些行才会包含在VT2中。
ON C.customerid = O.customerid
三值逻辑:
TRUE、FALSE、UNKNOWN为SQL中逻辑表达式的可能值。
UNKNOWN值通常出现在含NULL值的逻辑表达式中,如NULL > 42; NULL = NULL; X + NULL > Y。
NOT TRUE 等于 FALSE
NOT FALSE 等于TRUE
NOT UNKNOWN 等于 UNKNOWN
所有的查询筛选器,如ON、WHERE、HAVING把UNKNOWN看作为FALSE处理。
CHECK约束中的UNKNOWN值被当作TRUE对待。如果表中含有一个CHECK约束,要求salary列的值必须大于0,则插入salary为NULL的行时可以被接受。
UNIQUE约束、排序操作、分组操作认为两个NULL值是相等的。如,表中有一列定义了UNIQUE约束,则无法向表中插入该列值为NULL的两行。GROUP BY子句把所有NULL值分在一组。ORDERB BY子句把所有NULL值排列在一起。
对VT1增加ON筛选器的结果VT2:
3. 添加外部行,通过指定LEFT、RIGHT、FULL中的一种OUTER JOIN,可以把左表、右表、所有表标记为保留表。把一个表设为保留表表示返回该表的所有行,即使<join_condition>已经执行 过筛选。保留表中的这些行被称为外部行,外部行中非保留表的属性被赋予NULL,最后生成VT3:
4. 应用WHERE筛选器,只有符合<where_condition>的行才会成为VT4的一部分。因为数据还没有被分组,所以不能使用聚合筛 选器,例如WHERE orderdate = MAX(orderdate)。也不能饮用SELECT列表中的别名,因为SELECT列表这时还没有被处理,例如SELECT YEAR(orderdate) AS orderyear WHERE orderyear > 2000。
对于包含OUTER JOIN子句的查询,如何判断到底是在ON筛选器还是在WHERE筛选器中指定逻辑表达式:ON在添加外部行前被应用,WHERE在外部行添加之后被应 用。ON筛选器对保留表中部分行的一处不是最终的,因为还要执行添加外部行的步骤,而WHERE筛选器对这些行的移除是最终的。
只有在使用外部联接时,ON和WHERE子句才会存在这种逻辑限制,当使用内部联接时,在那里指定逻辑表达式都无所谓,因为没有上面的步骤3。
WHERE C.city = 'Madrid'
生成虚拟表VT4:
5. 分组。GROUP BY子句中列列表的每个唯一的值组合成为一组,生成VT5:
Groups
|
Raw
|
C.customerid
|
|
FISSA
|
|
FRNDO
|
|
KRLOS
|
VT5由两部分组成:Group Section和Raw Section。
如果在查询中指定了GROUP BY子句,则后面的所有步骤(如:HAVING、SELECT)只能指定可以为成组得到的标量值的表达式。也就是说,表达式的结果是GROUP BY列表中的列/表达式(如:C.customer)或聚合函数(如:COUNT(O.orderid))。该限制是因为最终的结果集中最多只为每一个组 包含一行。
这一阶段认为两个NULL是相等的。所有的NULL值会被分配到一组。
如果指定GROUP BY ALL,则在WHERE筛选中被移除的组将被添加到VT5中,且原始部分为空集合。在后面的步骤中,对该组应用COUNT聚合函数的结果将为0,应用其他聚合函数的结果为NULL。最好不要使用GROUP BY ALL。
6. 使用CUBE或ROLLUP选项,将创建超组并把它添加到上一步返回的虚拟表中,生成VT6。
7. 应用HAVING 筛选器 ,只有符合<having_condition>的组才会成为VT7的一部分。HAVING是唯一的应用到已分组数据的筛选器。
HAVING COUNT(O.orderid) < 3
在这里使用了COUNT(O.orderid),而不是COUNT(*),所以外部行因为O.orderid为NULL,于是不计入COUNT中。如FISSA这组的COUNT(O.orderid)为0.
红色部分为被HAVING筛选掉的分组。
Groups
|
Raw
|
C.customerid
|
|
FISSA
|
|
FRNDO
|
|
KRLOS
|
8. 处理SELECT列表,为不是基列的表达式应用别名,使其在结果表中有一个名称。在SELECT列表中创建的别名不能再前面的步骤中使用,甚至不能再SELECT列表中使用,只能在ORDER BY中使用。
SELECT C.customerid, COUNT(O.orderid) AS numorders
生成VT8:
逻辑上,应当假设所有操作同时发生。
9. 应用DISTINCT子句,如果查询中指定了DISTINCT子句,将从上一步返回的虚拟表中移除重复行,并生成虚拟表VT9。使用GROUP BY,再使用DISTINCT是多余的。
10. 应用ORDER BY子句,按照ORDER BY子句中的列列表排序上一步返回的行,返回游标VC10。只有这一步可以使用SELECT别名。如果指定了DISTINCT,ORDER BY子句中的表达式只能访问上一步返回的虚拟表,只能按已经SELECT的列排序。
ANSI SQL 1999中增强了ORDER BY的支持,允许访问SELECT阶段的输入虚拟表和输出虚拟表。就是说如果未指定DISTINCT,可以在ORDER BY子句中指定任何可以在SELECT子句中使用的表达式,可以按最后结果集中不存在的表达式排序。
ORDER BY numorders;
也可以在ORDER BY子句中指定SELECT列表中结果列的序号:
ORDER BY 2, 1;
但是尽量不要这样去做,因为可能改变了SELECT列表却忘记了修改ORDER BY列表,而且当SELECT列表很长时,查序号不是一个好方法。
因为这一步不是返回表,而是返回游标,使用了ORDER BY子句的查询不能用作表表达式。表表达式包括:视图、内联表值函数、子查询、派生表和共用表表达式(CTE)。
不要为表中的行假定顺序,除非确实需要有序行,否则不要指定ORDER BY子句。排序是需要成本的,SQL Server需要执行有序索引扫描或使用排序运算符。
ORDER BY这一步认为两个NULL是相等的,所有的NULL会被排列在一起,ANSI并没有规定NULL比已知值高还是低,而是把这个问题留给了具体实现,在T-SQL中NULL排位比已知值低。
ORDER BY numorders
返回的游标VC10:
11. 应用TOP选项,从游标的最前面选择指定的行数,生成表VT11并返回给调用者。在SQLServer 2000中,TOP的输入必须为常量,而在2005中可以是任何独立的表达式。
如果没有ORDER BY子句或WITH TIES选项,返回的行正好是物理上最先访问的行,可能会产生不同的结果。
只有指定了TOP选项,才可以在表表达式中使用带有ORDER BY子句的查询:
SELECT *
FROM (SELECT TOP 100 PERCENT orderid, customerid
FROM dbo.Orders
ORDER BY orderid) AS D;
相关推荐
以上只是SQL Server中的一部分重要概念,实际的"SQLServer实用SQL语句大全"可能涵盖了更多高级特性,例如分区、并行查询、性能优化、复制、XML支持、窗口函数等等。这份资源对于SQL Server数据库管理员、开发人员和...
### SQL语句中SELECT语句的执行顺序 在SQL语言中,`SELECT`语句是进行数据查询的核心工具。为了确保查询结果的准确性和效率,理解`SELECT`语句内部的执行顺序至关重要。本文将详细解析`SELECT`语句各子句的执行...
每个语句包含了特定行的所有字段值,使得在新的数据库环境中执行这些语句后,可以重现原始数据。 4. **工具的使用**:一般情况下,用户需要选择连接到的SQL Server实例,指定要导出的数据库和表,然后工具会自动...
5. **事务管理**:在.NET中执行批量脚本时,可以利用TransactionScope类进行事务控制,确保脚本的原子性。如果脚本中的某一部分失败,整个事务将被回滚,从而保持数据库的一致性。 6. **错误处理**:通过捕获和处理...
1. 存储过程:预编译的SQL语句集合,可执行复杂逻辑,提高性能并减少网络通信。 2. 触发器:在DML操作(INSERT、UPDATE、DELETE)前后自动执行的代码,用于实现业务规则或审计功能。 四、数据库对象管理 1. 表:...
在SQL Server中,有时我们需要将现有表中的特定数据导出为INSERT语句,以便在其他数据库或备份中重建这些记录。这通常在迁移数据、创建测试数据或者进行数据备份时非常有用。以下是如何将SQL Server表中指定数据转化...
用户可以通过SQL语句进行数据的增删改查,实现高效的数据操作。 2. 数据存储与索引:SQL Server提供了多种数据类型,如数值、字符串、日期时间等,满足各种业务需求。其支持B树索引、哈希索引和全文索引,优化查询...
SQL Server 2005是微软推出的一款关系型数据库管理系统,具有强大的数据处理能力和高度的可扩展性。...按照推荐的顺序阅读,可以逐步建立起对SQL Server 2005全面而深入的理解,从而在实际工作中更加得心应手。
这份"SQLserver最全资料和案例"压缩包显然包含了关于SQL Server的全面信息,特别是针对数据库的使用要点和实战案例,对于学习和提升SQL Server技能非常有价值。下面将深入探讨SQL Server的一些核心知识点。 1. SQL ...
在SQL Server数据库中,分页查询是一个非常重要的功能,它允许我们从大量数据中只获取一部分,例如,每次只返回一页的数据,以提高查询效率和用户体验。本篇将深入探讨SQL Server实现分页查询的语句及其工作原理。 ...
### 影响SQL Server性能的关键因素与SQL语句分析 在数据库管理与应用开发领域,SQL Server 是一种广泛使用的数据库管理系统。SQL Server 的性能直接影响着应用程序的响应速度、数据处理能力以及整体用户体验。为了...
7. **存储过程和触发器**:存储过程是预编译的SQL语句集合,可以提高性能并减少网络通信。触发器则是在特定操作(如INSERT、UPDATE、DELETE)发生时自动执行的代码。 8. **备份与恢复**:SQL Server支持完整备份、...
3. **复杂查询优化**:对于包含多个JOIN、子查询或者窗口函数的复杂SQL语句,优化器能帮助找出最佳的执行路径,降低复杂度。 4. **索引策略**:有效的索引设计是提升查询性能的关键。SQL Optimizer可以评估现有索引...
当我们在SQL Server查询分析器中选择"Show Execution Plan"时,我们可以看到一个图形化的执行计划,它展示了SQL语句执行的逻辑流程。 执行计划由一系列的图标组成,每个图标代表一个数据库操作,如扫描、排序、连接...
SQL Server是一种广泛使用的关系型数据库管理系统,由微软公司开发,提供了强大的数据...经典SQL语句大全.doc和SQL语法基础.doc文档将更深入地探讨这些概念,提供丰富的实例和练习,助你在SQL Server的世界里游刃有余。
4. **触发器**:当特定事件(如INSERT、UPDATE或DELETE)发生时自动执行的一组SQL语句。 #### 五、基于DLT模型高维数据流聚类算法 1. **DLT算法核心理念**:该章节介绍了基于DLT模型的高维数据流聚类算法的核心理念...
12. **存储过程(STORED PROCEDURE)**:预编译的SQL语句集合,可包含逻辑控制和参数,提高代码复用和安全性。 13. **安全性与权限管理**:包括用户、角色、权限的设置,如GRANT、REVOKE、DENY等命令。 以上知识点...
在SQL Server 2000完结篇系列之六中,我们重点关注的是如何设计高效的SQL语句来进行查询优化,这是数据库管理中的关键技能,对于提升系统性能至关重要。在SQL Server 2000中,理解查询优化的过程和技巧,能够帮助...
在不同的数据库系统中,如MySQL、Oracle、SQL Server等,都有相应的命令或工具用于查看SQL语句的执行计划,例如SQL Server的`SET SHOWPLAN_ALL`或`SET SHOWPLAN_TEXT`,Oracle的`EXPLAIN PLAN`。 4. **执行计划的...