查询语句是我们在开发中经常使用到的,可以说一个好的查询语句直接影响到网站的运行速度,这一点也不夸张。在今天,我更清楚的了解这个事实。
一个简单的实例,足以说明这一切。
1) A表有500,000条,B表有1,000条数据,
2) A、B表都有FirstName,LastName两个字段,但其中这两个并不是完全匹配的,例如B表的FirstName有‘J.’的形式,认为是名字简写形式,会匹配A表以J开头的FirstName(James)
3) 要求找出B表匹配A表名字的数据。
分析:
1) A表有500,000条数据,说明A表是一个大数据表,对于数据超过300条的首先我们应该想到需要建立索引,对于A表这样的大数据表更是如此,并且A表和B表是通过firstname和lastname进行匹配的,因此我们这里可以通过建立firstname和lastname的索引。
2) B表的FirstName为J.的形式,因此我们这里要多考虑名字简写的形式,对于J.的形式,我们找出来然后再根据like来进行匹配。
根据分析,我们很容易写出:
select *
from A,B where
A.LastName=B.LastName
and ((INSTR(B.firstName,'.')>0 and
A.FirstName like CONCAT(SUBSTRING_INDEX(B.firstName,'.',1),'%'))
or (A.FirstName=B.FirstName));
语句没有问题,在Mysql 执行,结果耗时300多秒,好家伙,我还以为就死在那里了,再来分析这个语句,耗时这么长有可能就是因为在语句里面or的原因,根据这个推测,重新改写:
select *
from A,B where
A.LastName=B.LastName
and INSTR(B.firstName,'.')>0 and
A.FirstName like CONCAT(SUBSTRING_INDEX(B.firstName,'.',1),'%')
union all
select *
from A,B where
A.LastName=B.LastName
and A.FirstName=B.FirstName;
再次查询,结果令人惊叹,耗时20几秒,没想到一个or居然会有这么大的差异。后来请教了下项目主管,才知道带有or,in,exists, not in, not exists 的sql语句都不是很好的设计。看来要将查询语句写好,尤其是这种大的数据表,效率表现的尤为突出,这是我们在平时开发中很容易遗忘的一点。
值得一提的是,有时候对于这种有大数据表的,可以新建一个临时表专门用来存储大数据表中的经常会用到的数据或者和其他表关联的数据,这样,可以把和大数据表的连接转换为和这个临时表的连接,极大的减轻对服务器的压力。
分享到:
相关推荐
SQL优化是数据库管理中的关键环节,它涉及到提升查询性能、减少资源消耗以及改善系统整体效率。SQL优化软件和工具能够帮助数据库管理员(DBA)和开发人员找出性能瓶颈,优化查询逻辑,从而提高数据库系统的响应速度...
在“基于案例学习SQL优化”的课程中,我们主要探讨如何提升数据库性能,特别是针对SQL查询的优化技巧。DBA(数据库管理员)作为关键角色,需要掌握这些技能来确保系统的高效运行。以下是根据课程标题和描述提炼出的...
- **全书总结**:本书不仅是一本关于SQL优化的技术书籍,更是引导读者进入SQL优化世界的指南。通过丰富的案例、实战经验和深入的技术探讨,帮助读者建立起从宏观到微观的优化思路,并最终达到“爽”的境界。 - **...
第2章 风驰电掣——有效缩短SQL优化过程 24 2.1 SQL调优时间都去哪儿了 25 2.1.1 不善于批处理频频忙交互 25 2.1.2 无法抓住主要矛盾瞎折腾 25 2.1.3 未能明确需求目标白费劲 26 2.1.4 没有分析操作难度乱调优...
### MySQL数据库SQL优化 #### 一、SQL优化 在MySQL数据库管理中,SQL查询的性能直接影响到系统的响应时间和资源消耗。通过合理的SQL优化,可以显著提高数据处理速度,降低服务器负载,提升用户体验。 ##### 1.1 ...
根据提供的文件信息,本文将对《基于Oracle的SQL优化》这一主题进行深入解析,包括但不限于SQL优化的重要性、Oracle数据库的特点以及具体的SQL优化方法等。 ### SQL优化的重要性 SQL(Structured Query Language)...
本主题"基于案例学SQL优化"将深入探讨如何通过实际案例来理解和实践SQL优化的策略和技术。 首先,我们要明确SQL优化的重要性。当数据库规模增大,查询复杂度增加时,未优化的SQL语句可能导致响应时间过长,影响用户...
随后《收获,不止SQL优化——抓住SQL的本质》指引大家学会等价改写、过程包优化、高级SQL、分析函数、需求优化这些相关的五大神功。有点头晕,能否少一点套路?淡定,这还是“术”的范畴,依然是教你如何解决问题,...
Oracle SQL优化是数据库管理员和开发人员提升系统性能的关键技能之一。这个"Oracle_SQL优化脚本_完整实用资源"压缩包包含了一系列工具和方法,旨在帮助你优化在Oracle数据库上运行的SQL查询,从而提高数据库的响应...
《收获,不止SQL优化》是一本专注于数据库性能优化的书籍,尤其关注Oracle数据库系统的SQL调优。这本书通过实例和深入的解析,帮助读者理解和掌握如何提升SQL查询的效率,从而优化整个数据库系统的性能。在阅读这...
深入揭示OracleSQL优化与调优的原理、核心技术与思想方法 盖国强鼎力推荐! Oracle数据库的性能优化直接关系到系统的运行效率,而影响数据库性能的一个重要因素就是SQL性能问题。本书是作者十年磨一剑的成果之一...
本书籍集合了丰富的SQL优化知识,旨在帮助读者深入理解并掌握MySQL SQL优化技巧。 首先,我们要明白SQL优化的基本原则:减少查询次数、减小数据量、合理设计索引以及优化查询语句结构。这四个原则贯穿于整个SQL优化...
基于Oracle的SQL优化
尽管给定描述并未提供具体的信息,但从标题“关于SQL优化的电子书”及标签“sql优化”,结合部分内容可以看出,此电子书聚焦于SQL应用的优化技术。以下将深入解析与SQL优化相关的专业知识点: ### SQL优化的核心...
本文将深入探讨数据库面试中的常见问题,特别是关于SQL优化和针对大规模数据库的优化策略。首先,我们来看看"数据库面试题索引sql优化.pdf"可能涵盖的内容。 1. **SQL基础与语法**:面试通常会涉及到SQL的基本概念...
在SQL Server数据库管理系统中,SQL优化是提升系统性能的关键环节。SQL优化涉及到多个层面,包括查询设计、索引策略、存储过程优化、执行计划分析以及资源管理等。本篇文章将深入探讨这些方面,帮助读者理解如何针对...
在数据库管理与优化领域,SQL优化是至关重要的一环,它涉及到数据库性能的提升以及系统资源的有效利用。在不同数据库管理系统(DBMS)之间,如从Oracle迁移到MySQL,虽然两个系统有着各自的特性,但是优化的核心思想...
本文将深入探讨SQL优化工具及其对提升数据库性能的影响。 首先,SQL优化工具是专门设计用来帮助数据库管理员和开发人员识别和改进低效SQL查询的软件。这些工具通过分析SQL语句、执行计划和系统资源使用情况,提供...