`
juji1010
  • 浏览: 117089 次
社区版块
存档分类
最新评论

SQL中使用WITH AS提高性能

 
阅读更多
摘要:本文结合笔者实际的工作情况,说明了如何使用with as改写存储过程,从而大幅提高SQL的运行时间。本文首先交代了案例的起因,随后简单介绍了WITH AS的含义,最后基于实际工作,使用了一个测试用例来说明如何使用WITH AS。

1. 案例起因
    公司门店应用程序每天都要出一份报表,用来统计所有商品当天的期初库存数量、入库数量、出库数量
及当天的期末库存数量。运行半年以后,这份报表运行越来越慢,到现在,每次运行该报表显示当天数据时需要近20秒的时间。于是开发人员找到我,希望我看看,是不是可以使该报表运行的时间更短。
该报表就是一段SQL语句,主要由三部分组成,第一部分是计算每个商品的期初数量,第二部分是计算每个商品的当天发生(包括入库和出库的)数量,第三部分是计算每个商品的期末数量,也就是当天的余额。每个部分使用UNION ALL连接起来。
我看到该报表,第一个感觉就是这段SQL里的每个部分都要对表进行扫描,明显成本过高。应该可以使用WITH AS进行改写。

2. WITH AS的含义
    WITH AS短语,也叫做子查询部分(subquery factoring),可以让你做很多事情,定义一个SQL片断,该SQL片断会被整个SQL语句所用到。有的时候,是为了让SQL语句的可读性更高些,也有可能是在UNION ALL的不同部分,作为提供数据的部分。
特别对于UNION ALL比较有用。因为UNION ALL的每个部分可能相同,但是如果每个部分都去执行一遍的话,则成本太高,所以可以使用WITH AS短语,则只要执行一遍即可。如果WITH AS短语所定义的表名被调用两次以上,则优化器会自动将WITH AS短语所获取的数据放入一个TEMP表里,如果只是被调用一次,则不会。而提示materialize则是强制将WITH AS短语里的数据放入一个全局临时表里。很多查询通过这种方法都可以提高速度。
3. 案例说明
  首先介绍该SQL所涉及到的主要的表的结构。该表表名为fin,用来存放每天每个商品的发生数以及该商
品的余额数。其表结构为如下所示(这里我只选取了与我们要讨论的SQL相关的部分表字段)。
SQL> desc fin
名称 是否为空? 类型
----------------------------------------- -------- ----------------------------
。。。。。。
DAY DATE
SKU VARCHAR2(8)
INQTY NUMBER(16,6)
OUTQTY NUMBER(16,6)
LASTQTY NUMBER(16,6)
。。。。。。。。

简单解释一下各个字段的含义:
1) DAY:发生的日期。
2) SKU:发生交易的商品代码。
3) INQTY:商品入库数量。
4) OUTQTY:商品出库数量。
5) LASTQTY:商品的余额数量。

该表中含有的记录数量为:
SQL> SELECT count(*) FROM fin;

COUNT(*)
----------
4729319
原来的SQL如下所示(比如查询2003年7月14日这天的记录。当然,我对该SQL做了些修改,去掉了与本文讨论无关的部分,比如显示商品名称之类的部分等):
SELECT
sku,
sum(initqty) as initqty,
sum(inqty) as inqty,sum(outqty) as outqty,
sum(lastqty) as lastqty
FROM (
SELECT sku,lastqty as initqty,0 as inqty,0 as outqty,0 as lastqty
FROM fin
WHERE day=to_date('20030713','yyyymmdd')
UNION ALL
SELECT sku,0 as initqty,inqty,outqty,0 as lastqty
FROM fin
WHERE day>=to_date('20030714','yyyymmdd') and day<=to_date('20030714','yyyymmdd')
UNION ALL
SELECT sku,0 as initqty,0 as inqty,0 as outqty,lastqty
FROM fin
WHERE day=to_date('20030714','yyyymmdd')
)
GROUP BY sku;

我们来看该SQL所花费的时间为:
SQL> set timing on
SQL> /
。。。。。。。。。。。。。。。。。。。。。。。。。。。。。
SKU INITQTY INQTY OUTQTY LASTQTY
-------- ---------- ---------- ---------- ----------
00106162 0 0 12 60
00106467 0 20 10 60
已选择956行。

已用时间: 00: 00: 19.08

然后,我们来对该SQL进行改写一番,如下所示:
WITH result AS (
SELECT /*+ materialize */ day,sku,inqty,outqty,lastqty
FROM fin
WHERE day>=to_date('20030713','yyyymmdd') AND day<=to_date('20030714','yyyymmdd'))
SELECT
sku,
sum(initqty) as initqty,
sum(inqty) as inqty,
sum(outqty) as outqty,
sum(lastqty) as lastqty
FROM (
SELECT sku,lastqty as initqty,0 as inqty,0 as outqty,0 as lastqty
FROM result
WHERE day=to_date('20030713','yyyymmdd')
UNION ALL
SELECT sku,0 as initqty,inqty,outqty,0 as lastqty
FROM result
WHERE day=to_date('20030714','yyyymmdd')
UNION ALL
SELECT sku,0 as initqty,0 as inqty,0 as outqty,lastqty
FROM result
WHERE day=to_date('20030714','yyyymmdd')
)
GROUP BY sku;

我们来看修改后的SQL所花费的时间为:
SQL> set timing on
SQL> /
。。。。。。。。。。。。。。。。。。。。。。。。。。。。。
SKU INITQTY INQTY OUTQTY LASTQTY
-------- ---------- ---------- ---------- ----------
00106162 0 0 12 60
00106467 0 20 10 60
已选择956行。

已用时间: 00: 00: 06.06

从这里可以看到,通过WITH AS可以从20秒降低到6秒,几乎提高了65%的性能。


分享到:
评论

相关推荐

    sql中with as的应用整理

    ### SQL中的WITH AS应用详解 在SQL查询语言中,`WITH AS`子句是一个非常强大的功能,它允许用户定义一个临时的结果集(通常称为公共表表达式或CTE),这个结果集可以在之后的查询中被引用多次。通过这种方式,`WITH...

    sql里面 with...as 是什么意思?如何使用?

    通过以上的介绍和示例,我们可以看出`WITH...AS`在SQL查询中是非常实用的一个特性,不仅可以简化查询语句,还可以在某些场景下提升查询性能。熟练掌握并运用CTE可以帮助我们更好地管理和操作数据库中的数据。

    SQL Server中with as使用介绍

    在SQL Server中,`WITH AS` 语句,也称为公用表表达式(Common Table Expression,简称CTE),是一种强大的工具,它允许我们为复杂的查询创建临时的结果集,这个结果集可以在同一个查询中多次引用。这极大地提高了...

    sql processing with sas system(SAS中sql应用)

    SAS SQL能够处理大量数据,并且通过优化的执行计划提高查询性能。这对于需要处理海量数据的企业来说尤为重要。 **4.3 广泛的应用场景** SAS SQL不仅适用于传统的统计分析领域,还被广泛应用于市场研究、金融分析、...

    sql server ,mysql,starrocks性能对比.docx

    - **查询语句**:将SQL Server中的查询语句稍作调整,主要改动在于日期格式化函数`DATE_FORMAT()`的使用。 **结论**:在复杂查询方面,即使是在低负载环境下,SQL Server仍然表现得比MySQL更快。这一结果可能与两...

    getting started with sql

    SQL(Structured Query ...随着经验的增长,还可以深入学习更复杂的SQL特性,如窗口函数、分区、索引优化等,以提高查询性能和解决更复杂的业务需求。在Java开发中,熟悉SQL和JDBC将使你能够在各种项目中更加得心应手。

    [sql server] SQL Server2005杂谈(1):使用公用表表达式(CTE)简化嵌套SQL

    SQL Server 2005 中使用公用表表达式(CTE)简化嵌套 SQL SQL Server 2005 中的公用表表达式(CTE)是一种强大的工具,可以简化嵌套的 SQL 语句,提高代码的可维护性和性能。本文将介绍 CTE 的基本概念、语法和使用...

    sql with as用法详解

    总的来说,`WITH AS`在SQL中是一个强大且灵活的工具,它能够简化复杂的查询,提高代码可读性,并在某些情况下提升查询性能。正确理解和使用CTE,可以帮助我们编写出更加高效和易于维护的SQL语句。

    通过SQL_Server_2005索引视图提高性能

    在索引视图中使用`GROUP BY`时需要注意一些限制条件,例如不能使用非确定性函数等。 #### 十八、有关索引的要求 创建索引视图时还需要遵循一些与索引相关的特定规则,比如索引的列数限制等。 #### 十九、示例 ...

    SQLSERVER使用说明

    2. 存储过程:预编译的SQL语句集合,提高性能和安全性: ```sql CREATE PROCEDURE AddEmployee @ID INT, @Name VARCHAR(50), @Department VARCHAR(50) AS BEGIN INSERT INTO Employees (ID, Name, Department) ...

    DBA对Oracle SQL编写规范的总结

    - **规范要求**:在动态SQL中使用绑定变量可以提高性能,尤其是在执行多次相同查询时。 - **示例**: ```plsql DECLARE v_sql VARCHAR2(100); v_dept_id NUMBER := 10; BEGIN v_sql := 'SELECT * FROM ...

    写出高性能SQL语句的35条方法

    在`WHERE`子句中使用的列也应考虑建立索引。 #### 2. 使用ROWID进行高效删除操作 - **描述**:使用ROWID作为条件进行删除操作比直接使用表中的其他字段更为高效。 - **示例代码**: ```sql DELETE FROM EMP E ...

    oracle_sql使用.docx

    首先,当你在查询中使用组函数如MAX时,根据SQL标准,所有非组函数的列都必须在GROUP BY子句中指定。这意味着如果你有一个SELECT语句,其中包含MAX函数,但没有在GROUP BY子句中包含其他列,你会收到错误。例如,...

    通过SQLServer2005索引视图提高性能[收集].pdf

    例如,只有确定性的函数才能在索引视图中使用,基表必须是可更新的,且索引必须满足特定的结构要求。 ### 7. 示例 创建索引视图的示例可能包括: ```sql CREATE VIEW MyIndexedView WITH SCHEMABINDING AS SELECT...

    mysql性能优化.SQL语句性能优化

    MySQL性能优化是数据库管理中的重要环节,特别是在处理大量数据时,高效的SQL语句能显著提升系统性能。以下是一些关于SQL语句性能优化的关键知识点: 1. **LIMIT使用**: LIMIT子句常用于限制查询返回的结果数量,...

    SQL2005通过视图索引提高系统性能

    索引视图是SQL Server 2005中的一个重要特性,它能够通过预计算并存储复杂查询结果来显著提升数据库性能。通过合理的使用和设计,索引视图可以成为提高查询效率的强大工具。然而,在实施索引视图之前,还需要充分...

    with as 语句真的会把数据存内存嘛?(源码剖析).docx

    然而,如果启用了物化,Hive会在第一次执行`with as`子句后将结果存储在内存中,后续的查询就可以直接从内存中获取数据,避免了重复扫描源表,这在处理大量数据时可能会显著提升性能。 需要注意的是,物化CTE虽然...

    sqlserver转PG经验总结及PG的一些特性

    - **创建临时表**:在 SQL Server 中可以使用 `select * into #temp_table from table` 创建临时表,在 PostgreSQL 中则需使用 `create temp table temp_table on commit drop as select * from table`。 - **异常...

    sql临时表相关介绍

    需要注意的是,如果在存储过程内部创建临时表,即使有嵌套的存储过程,也只能在当前存储过程及其嵌套过程中使用该临时表。 5. **命名限制**:本地临时表的名称长度不能超过116个字符,因为SQL Server会在内部添加...

    Oracle高级SQL培训与讲解

    - 可以在一个查询中使用多个WITH子句,形成不同级别的查询。 ```sql WITH a AS ( SELECT deptno FROM dept WHERE dname LIKE '%A%' ) SELECT * FROM emp WHERE deptno IN ( WITH a2 AS ( SELECT * FROM a ...

Global site tag (gtag.js) - Google Analytics