摘要:本文结合笔者实际的工作情况,说明了如何使用with as改写存储过程,从而大幅提高SQL的运行时间。本文首先交代了案例的起因,随后简单介绍了WITH AS的含义,最后基于实际工作,使用了一个测试用例来说明如何使用WITH AS。
1. 案例起因
公司门店应用程序每天都要出一份报表,用来统计所有商品当天的期初库存数量、入库数量、出库数量
及当天的期末库存数量。运行半年以后,这份报表运行越来越慢,到现在,每次运行该报表显示当天数据时需要近20秒的时间。于是开发人员找到我,希望我看看,是不是可以使该报表运行的时间更短。
该报表就是一段SQL语句,主要由三部分组成,第一部分是计算每个商品的期初数量,第二部分是计算每个商品的当天发生(包括入库和出库的)数量,第三部分是计算每个商品的期末数量,也就是当天的余额。每个部分使用UNION ALL连接起来。
我看到该报表,第一个感觉就是这段SQL里的每个部分都要对表进行扫描,明显成本过高。应该可以使用WITH AS进行改写。
2. WITH AS的含义
WITH AS短语,也叫做子查询部分(subquery factoring),可以让你做很多事情,定义一个SQL片断,该SQL片断会被整个SQL语句所用到。有的时候,是为了让SQL语句的可读性更高些,也有可能是在UNION ALL的不同部分,作为提供数据的部分。
特别对于UNION ALL比较有用。因为UNION ALL的每个部分可能相同,但是如果每个部分都去执行一遍的话,则成本太高,所以可以使用WITH AS短语,则只要执行一遍即可。如果WITH AS短语所定义的表名被调用两次以上,则优化器会自动将WITH AS短语所获取的数据放入一个TEMP表里,如果只是被调用一次,则不会。而提示materialize则是强制将WITH AS短语里的数据放入一个全局临时表里。很多查询通过这种方法都可以提高速度。
3. 案例说明
首先介绍该SQL所涉及到的主要的表的结构。该表表名为fin,用来存放每天每个商品的发生数以及该商
品的余额数。其表结构为如下所示(这里我只选取了与我们要讨论的SQL相关的部分表字段)。
SQL> desc fin
名称 是否为空? 类型
----------------------------------------- -------- ----------------------------
。。。。。。
DAY DATE
SKU VARCHAR2(8)
INQTY NUMBER(16,6)
OUTQTY NUMBER(16,6)
LASTQTY NUMBER(16,6)
。。。。。。。。
简单解释一下各个字段的含义:
1) DAY:发生的日期。
2) SKU:发生交易的商品代码。
3) INQTY:商品入库数量。
4) OUTQTY:商品出库数量。
5) LASTQTY:商品的余额数量。
该表中含有的记录数量为:
SQL> SELECT count(*) FROM fin;
COUNT(*)
----------
4729319
原来的SQL如下所示(比如查询2003年7月14日这天的记录。当然,我对该SQL做了些修改,去掉了与本文讨论无关的部分,比如显示商品名称之类的部分等):
SELECT
sku,
sum(initqty) as initqty,
sum(inqty) as inqty,sum(outqty) as outqty,
sum(lastqty) as lastqty
FROM (
SELECT sku,lastqty as initqty,0 as inqty,0 as outqty,0 as lastqty
FROM fin
WHERE day=to_date('20030713','yyyymmdd')
UNION ALL
SELECT sku,0 as initqty,inqty,outqty,0 as lastqty
FROM fin
WHERE day>=to_date('20030714','yyyymmdd') and day<=to_date('20030714','yyyymmdd')
UNION ALL
SELECT sku,0 as initqty,0 as inqty,0 as outqty,lastqty
FROM fin
WHERE day=to_date('20030714','yyyymmdd')
)
GROUP BY sku;
我们来看该SQL所花费的时间为:
SQL> set timing on
SQL> /
。。。。。。。。。。。。。。。。。。。。。。。。。。。。。
SKU INITQTY INQTY OUTQTY LASTQTY
-------- ---------- ---------- ---------- ----------
00106162 0 0 12 60
00106467 0 20 10 60
已选择956行。
已用时间: 00: 00: 19.08
然后,我们来对该SQL进行改写一番,如下所示:
WITH result AS (
SELECT /*+ materialize */ day,sku,inqty,outqty,lastqty
FROM fin
WHERE day>=to_date('20030713','yyyymmdd') AND day<=to_date('20030714','yyyymmdd'))
SELECT
sku,
sum(initqty) as initqty,
sum(inqty) as inqty,
sum(outqty) as outqty,
sum(lastqty) as lastqty
FROM (
SELECT sku,lastqty as initqty,0 as inqty,0 as outqty,0 as lastqty
FROM result
WHERE day=to_date('20030713','yyyymmdd')
UNION ALL
SELECT sku,0 as initqty,inqty,outqty,0 as lastqty
FROM result
WHERE day=to_date('20030714','yyyymmdd')
UNION ALL
SELECT sku,0 as initqty,0 as inqty,0 as outqty,lastqty
FROM result
WHERE day=to_date('20030714','yyyymmdd')
)
GROUP BY sku;
我们来看修改后的SQL所花费的时间为:
SQL> set timing on
SQL> /
。。。。。。。。。。。。。。。。。。。。。。。。。。。。。
SKU INITQTY INQTY OUTQTY LASTQTY
-------- ---------- ---------- ---------- ----------
00106162 0 0 12 60
00106467 0 20 10 60
已选择956行。
已用时间: 00: 00: 06.06
从这里可以看到,通过WITH AS可以从20秒降低到6秒,几乎提高了65%的性能。
1. 案例起因
公司门店应用程序每天都要出一份报表,用来统计所有商品当天的期初库存数量、入库数量、出库数量
及当天的期末库存数量。运行半年以后,这份报表运行越来越慢,到现在,每次运行该报表显示当天数据时需要近20秒的时间。于是开发人员找到我,希望我看看,是不是可以使该报表运行的时间更短。
该报表就是一段SQL语句,主要由三部分组成,第一部分是计算每个商品的期初数量,第二部分是计算每个商品的当天发生(包括入库和出库的)数量,第三部分是计算每个商品的期末数量,也就是当天的余额。每个部分使用UNION ALL连接起来。
我看到该报表,第一个感觉就是这段SQL里的每个部分都要对表进行扫描,明显成本过高。应该可以使用WITH AS进行改写。
2. WITH AS的含义
WITH AS短语,也叫做子查询部分(subquery factoring),可以让你做很多事情,定义一个SQL片断,该SQL片断会被整个SQL语句所用到。有的时候,是为了让SQL语句的可读性更高些,也有可能是在UNION ALL的不同部分,作为提供数据的部分。
特别对于UNION ALL比较有用。因为UNION ALL的每个部分可能相同,但是如果每个部分都去执行一遍的话,则成本太高,所以可以使用WITH AS短语,则只要执行一遍即可。如果WITH AS短语所定义的表名被调用两次以上,则优化器会自动将WITH AS短语所获取的数据放入一个TEMP表里,如果只是被调用一次,则不会。而提示materialize则是强制将WITH AS短语里的数据放入一个全局临时表里。很多查询通过这种方法都可以提高速度。
3. 案例说明
首先介绍该SQL所涉及到的主要的表的结构。该表表名为fin,用来存放每天每个商品的发生数以及该商
品的余额数。其表结构为如下所示(这里我只选取了与我们要讨论的SQL相关的部分表字段)。
SQL> desc fin
名称 是否为空? 类型
----------------------------------------- -------- ----------------------------
。。。。。。
DAY DATE
SKU VARCHAR2(8)
INQTY NUMBER(16,6)
OUTQTY NUMBER(16,6)
LASTQTY NUMBER(16,6)
。。。。。。。。
简单解释一下各个字段的含义:
1) DAY:发生的日期。
2) SKU:发生交易的商品代码。
3) INQTY:商品入库数量。
4) OUTQTY:商品出库数量。
5) LASTQTY:商品的余额数量。
该表中含有的记录数量为:
SQL> SELECT count(*) FROM fin;
COUNT(*)
----------
4729319
原来的SQL如下所示(比如查询2003年7月14日这天的记录。当然,我对该SQL做了些修改,去掉了与本文讨论无关的部分,比如显示商品名称之类的部分等):
SELECT
sku,
sum(initqty) as initqty,
sum(inqty) as inqty,sum(outqty) as outqty,
sum(lastqty) as lastqty
FROM (
SELECT sku,lastqty as initqty,0 as inqty,0 as outqty,0 as lastqty
FROM fin
WHERE day=to_date('20030713','yyyymmdd')
UNION ALL
SELECT sku,0 as initqty,inqty,outqty,0 as lastqty
FROM fin
WHERE day>=to_date('20030714','yyyymmdd') and day<=to_date('20030714','yyyymmdd')
UNION ALL
SELECT sku,0 as initqty,0 as inqty,0 as outqty,lastqty
FROM fin
WHERE day=to_date('20030714','yyyymmdd')
)
GROUP BY sku;
我们来看该SQL所花费的时间为:
SQL> set timing on
SQL> /
。。。。。。。。。。。。。。。。。。。。。。。。。。。。。
SKU INITQTY INQTY OUTQTY LASTQTY
-------- ---------- ---------- ---------- ----------
00106162 0 0 12 60
00106467 0 20 10 60
已选择956行。
已用时间: 00: 00: 19.08
然后,我们来对该SQL进行改写一番,如下所示:
WITH result AS (
SELECT /*+ materialize */ day,sku,inqty,outqty,lastqty
FROM fin
WHERE day>=to_date('20030713','yyyymmdd') AND day<=to_date('20030714','yyyymmdd'))
SELECT
sku,
sum(initqty) as initqty,
sum(inqty) as inqty,
sum(outqty) as outqty,
sum(lastqty) as lastqty
FROM (
SELECT sku,lastqty as initqty,0 as inqty,0 as outqty,0 as lastqty
FROM result
WHERE day=to_date('20030713','yyyymmdd')
UNION ALL
SELECT sku,0 as initqty,inqty,outqty,0 as lastqty
FROM result
WHERE day=to_date('20030714','yyyymmdd')
UNION ALL
SELECT sku,0 as initqty,0 as inqty,0 as outqty,lastqty
FROM result
WHERE day=to_date('20030714','yyyymmdd')
)
GROUP BY sku;
我们来看修改后的SQL所花费的时间为:
SQL> set timing on
SQL> /
。。。。。。。。。。。。。。。。。。。。。。。。。。。。。
SKU INITQTY INQTY OUTQTY LASTQTY
-------- ---------- ---------- ---------- ----------
00106162 0 0 12 60
00106467 0 20 10 60
已选择956行。
已用时间: 00: 00: 06.06
从这里可以看到,通过WITH AS可以从20秒降低到6秒,几乎提高了65%的性能。
发表评论
-
查看当前Session SQL
2014-07-08 11:51 1092SELECT (SELECT listagg(b.sql_te ... -
CLOB列 XML信息查看
2014-05-28 10:28 1027--使用该SQL查询节点情况 SELECT * FROM ... -
【转】ORACLE 临时表空间使用率过高的原因及解决方案
2012-12-25 15:24 1021http://www.cnblogs.com/wonder31 ... -
oracle:获取session的IP地址
2012-10-20 02:38 4311方法1 创建触发器: create orreplace ... -
Oracle ora-01002
2012-08-11 02:43 28957ORA-01002:fetch超出序列 ... -
提高Oracle SQL的执行效率的3个方案
2012-08-08 00:57 1005如果你想要提高Oracle SQL ... -
Oracle STA
2012-08-06 11:32 0第一步:创建优化任务 ... -
Oracle SQL小技巧
2012-08-06 11:21 01.两个字段可空的判断相等,用decode判断。 例子:d ... -
自动工作负载库(Automatic Workload Repository,AWR)
2012-07-23 22:45 1430自动工作负载库(Automatic Workload Repo ... -
orace的隔离级别
2012-07-21 01:06 1107隔离级别(isoation eve) 隔离级别定义了事务与 ... -
Oracle SQLID 与 Hash_value 之间的相互转化
2012-07-20 00:55 4720一、什么是SQLID SQLID是根据SQL 文本,经过 ... -
Oracle优化器和索引原
2012-07-13 00:34 1282Oracle优化器和索引原理 ============ ... -
Oracle优化器的RBO和CBO方式
2012-07-13 00:25 2404[/size]Or[size=large][size=smal ... -
Oracle 优化器详解
2012-07-13 00:18 1357一、优化器基本知识 Oracle在执行一个SQL之前,首先 ... -
Ibatis调用Oracle存储过程,以及返回Cursor结果集的问题
2012-07-01 23:46 2139最近开始接触Oracle了,接触的越多越感受到自己的渺小!(o ... -
Oracle表连接操作——Hash Join(哈希连接
2012-05-20 17:05 0连接 http://space.itpub.net/?uid ... -
Oracle hash join
2012-05-20 17:00 955hash join是oracle里面一个 ... -
转--一次HASH JOIN 临时表空间不足的分析和优化思路
2012-05-20 15:36 4558最近遇到一个语句, 只要一执行这个语句就会出现报错临时表空间 ... -
SQL*PLUS SET 变量
2012-05-02 22:46 882SQL*PLUS SET变量 SQL*PLUS维护系 ... -
转---借助内存表处理复杂的oracle查询要求.
2012-03-25 23:23 1423借助内存表处理复杂的oracle查询要求. 在日常业务处理过 ...
相关推荐
### SQL中的WITH AS应用详解 在SQL查询语言中,`WITH AS`子句是一个非常强大的功能,它允许用户定义一个临时的结果集(通常称为公共表表达式或CTE),这个结果集可以在之后的查询中被引用多次。通过这种方式,`WITH...
通过以上的介绍和示例,我们可以看出`WITH...AS`在SQL查询中是非常实用的一个特性,不仅可以简化查询语句,还可以在某些场景下提升查询性能。熟练掌握并运用CTE可以帮助我们更好地管理和操作数据库中的数据。
在SQL Server中,`WITH AS` 语句,也称为公用表表达式(Common Table Expression,简称CTE),是一种强大的工具,它允许我们为复杂的查询创建临时的结果集,这个结果集可以在同一个查询中多次引用。这极大地提高了...
SAS SQL能够处理大量数据,并且通过优化的执行计划提高查询性能。这对于需要处理海量数据的企业来说尤为重要。 **4.3 广泛的应用场景** SAS SQL不仅适用于传统的统计分析领域,还被广泛应用于市场研究、金融分析、...
- **查询语句**:将SQL Server中的查询语句稍作调整,主要改动在于日期格式化函数`DATE_FORMAT()`的使用。 **结论**:在复杂查询方面,即使是在低负载环境下,SQL Server仍然表现得比MySQL更快。这一结果可能与两...
SQL(Structured Query ...随着经验的增长,还可以深入学习更复杂的SQL特性,如窗口函数、分区、索引优化等,以提高查询性能和解决更复杂的业务需求。在Java开发中,熟悉SQL和JDBC将使你能够在各种项目中更加得心应手。
SQL Server 2005 中使用公用表表达式(CTE)简化嵌套 SQL SQL Server 2005 中的公用表表达式(CTE)是一种强大的工具,可以简化嵌套的 SQL 语句,提高代码的可维护性和性能。本文将介绍 CTE 的基本概念、语法和使用...
总的来说,`WITH AS`在SQL中是一个强大且灵活的工具,它能够简化复杂的查询,提高代码可读性,并在某些情况下提升查询性能。正确理解和使用CTE,可以帮助我们编写出更加高效和易于维护的SQL语句。
在索引视图中使用`GROUP BY`时需要注意一些限制条件,例如不能使用非确定性函数等。 #### 十八、有关索引的要求 创建索引视图时还需要遵循一些与索引相关的特定规则,比如索引的列数限制等。 #### 十九、示例 ...
2. 存储过程:预编译的SQL语句集合,提高性能和安全性: ```sql CREATE PROCEDURE AddEmployee @ID INT, @Name VARCHAR(50), @Department VARCHAR(50) AS BEGIN INSERT INTO Employees (ID, Name, Department) ...
- **规范要求**:在动态SQL中使用绑定变量可以提高性能,尤其是在执行多次相同查询时。 - **示例**: ```plsql DECLARE v_sql VARCHAR2(100); v_dept_id NUMBER := 10; BEGIN v_sql := 'SELECT * FROM ...
在`WHERE`子句中使用的列也应考虑建立索引。 #### 2. 使用ROWID进行高效删除操作 - **描述**:使用ROWID作为条件进行删除操作比直接使用表中的其他字段更为高效。 - **示例代码**: ```sql DELETE FROM EMP E ...
首先,当你在查询中使用组函数如MAX时,根据SQL标准,所有非组函数的列都必须在GROUP BY子句中指定。这意味着如果你有一个SELECT语句,其中包含MAX函数,但没有在GROUP BY子句中包含其他列,你会收到错误。例如,...
例如,只有确定性的函数才能在索引视图中使用,基表必须是可更新的,且索引必须满足特定的结构要求。 ### 7. 示例 创建索引视图的示例可能包括: ```sql CREATE VIEW MyIndexedView WITH SCHEMABINDING AS SELECT...
MySQL性能优化是数据库管理中的重要环节,特别是在处理大量数据时,高效的SQL语句能显著提升系统性能。以下是一些关于SQL语句性能优化的关键知识点: 1. **LIMIT使用**: LIMIT子句常用于限制查询返回的结果数量,...
索引视图是SQL Server 2005中的一个重要特性,它能够通过预计算并存储复杂查询结果来显著提升数据库性能。通过合理的使用和设计,索引视图可以成为提高查询效率的强大工具。然而,在实施索引视图之前,还需要充分...
然而,如果启用了物化,Hive会在第一次执行`with as`子句后将结果存储在内存中,后续的查询就可以直接从内存中获取数据,避免了重复扫描源表,这在处理大量数据时可能会显著提升性能。 需要注意的是,物化CTE虽然...
- **创建临时表**:在 SQL Server 中可以使用 `select * into #temp_table from table` 创建临时表,在 PostgreSQL 中则需使用 `create temp table temp_table on commit drop as select * from table`。 - **异常...
需要注意的是,如果在存储过程内部创建临时表,即使有嵌套的存储过程,也只能在当前存储过程及其嵌套过程中使用该临时表。 5. **命名限制**:本地临时表的名称长度不能超过116个字符,因为SQL Server会在内部添加...
- 可以在一个查询中使用多个WITH子句,形成不同级别的查询。 ```sql WITH a AS ( SELECT deptno FROM dept WHERE dname LIKE '%A%' ) SELECT * FROM emp WHERE deptno IN ( WITH a2 AS ( SELECT * FROM a ...