`
lucene3212
  • 浏览: 138046 次
  • 性别: Icon_minigender_2
  • 来自: 上海
文章分类
社区版块
存档分类
最新评论

千万级sql优化

阅读更多


千万级sql优化

这几天在开发一个模块的时候,遇到一个棘手的问题:海量数据的查询效率问题,在下面的sql语句中,sf02表的数据在七千万左右,sf01表的数据在三千万左右,并且两个表有关联:select a.tcol2, a.departcode, a.sendtime, sum(a.mainamount) mainamount  from sf02 a where a.ksdm = '11019204'  and exists (select policyno  from sf01 b  where b.businessnature = '531'  union all select policyno from sf01 b where b.businessnature = '532'  and a.policyno = b.policyno)  and (a.kindcode = 'R21' or a.kindcode = 'R29')  and a.insert_time <= to_date('2011-09-05', 'yyyy-MM-dd')  and a.insert_time >= to_date('2000-08-25', 'yyyy-MM-dd') group by a.tcol2, a.departcode, a.sendtime 由于数据库是分公司的,创建临时表不是太好使,这个问题一直没有太好的解决办法,不知道各位有没有好的思路,希望各位留下宝贵的意见,由于这个帖子放在提问区一直没有人浏览,不得已放在首页,还请blogJava对该帖放行,非常感谢。

0
2
分享到:
评论
2 楼 evil9999 2011-12-05  
http://belives2012.blog.163.com/blog/static/1761064342011079582249/
1 楼 evil9999 2011-12-05  
IN适合于外表大而内表小的情况
EXISTS适合于外表小而内表大的情况

相关推荐

    千万级数据sql优化_索引

    千万级数据sql优化_索引,大概从12个角度层次阐述哪些可以通过索引进行优化,哪些关键词会影响到索引的使用

    收获不止SQL优化

    第2章 风驰电掣——有效缩短SQL优化过程 24 2.1 SQL调优时间都去哪儿了 25 2.1.1 不善于批处理频频忙交互 25 2.1.2 无法抓住主要矛盾瞎折腾 25 2.1.3 未能明确需求目标白费劲 26 2.1.4 没有分析操作难度乱调优...

    sql性能优化及实例

    减少数据访问,返回更少数据,减少交互次数,减少服务器CPU开销,利用更多资源。注意:这个是对《sql性能优化分享》的后期修改与补充。下载这个最新的就下载老的了。别下载重复了!!!

    mysql 千万级数据优化

    下面我们将从查询优化和 SQL 编写注意事项两个方面来讨论 MySQL 千万级数据优化。 查询优化 1. 尽量避免全表扫描,首先应考虑在 WHERE 及 ORDER BY 涉及的列上建立索引。这是因为索引可以帮助 MySQL 快速定位数据...

    千万级数据分页查询存储过程SQLServer

    总的来说,利用SQL Server的存储过程进行千万级数据分页查询,结合合理的索引策略和优化技巧,能够有效提升查询性能,降低系统负载,为用户提供流畅的浏览体验。请参考“分页.txt”和“使用方法.txt”文件,了解更多...

    30个mysql千万级大数据SQL查询优化技巧详解

    MySQL千万级大数据SQL查询优化技巧详解 在处理大数据量的MySQL数据库时,高效的SQL查询显得尤为重要。以下是一些关键的优化技巧,可以帮助你提升查询性能,避免全表扫描,充分利用索引,以及优化查询逻辑: 1. **...

    收获,不止SQL优化--抓住SQL的本质

    第2章 风驰电掣——有效缩短SQL优化过程 24 2.1 SQL调优时间都去哪儿了 25 2.1.1 不善于批处理频频忙交互 25 2.1.2 无法抓住主要矛盾瞎折腾 25 2.1.3 未能明确需求目标白费劲 26 2.1.4 没有分析操作难度乱调优...

    111 案例实战:千万级用户场景下的运营系统SQL调优(3).pdf

    在处理千万级用户场景下的运营系统SQL调优时,我们面对的挑战是如何快速且准确地定位和解决SQL执行计划中导致性能低下的问题。根据提供的文件内容,以下是对千万级用户场景下SQL调优的详细分析。 首先,通过执行SQL...

    MySQL 百万级分页优化(Mysql千万级快速分页)

    ### MySQL 百万级分页优化(Mysql千万级快速分页) #### 背景与挑战 在处理大规模数据集时,例如拥有数百万乃至数千万条记录的数据库表,传统的分页查询方法可能会遇到性能瓶颈。特别是使用`LIMIT`进行分页时,随着...

    mysql千万级数据脚本测试shardingjdbc-course.zip

    在处理千万级数据时,通常需要考虑数据库的设计、索引优化、SQL查询效率等因素,以确保系统的高效运行。 ShardingJDBC是阿里巴巴开源的轻量级Java框架,用于实现数据库分片。它的核心功能是将一个大表水平分割成多...

    109 案例实战:千万级用户场景下的运营系统SQL调优(1).pdf

    在千万级用户场景下,对运营系统中的SQL进行调优是极为关键的。这个案例的背景是某互联网公司拥有大量的日活跃用户和注册用户,其运营系统负责根据多种条件筛选用户,并向这些用户推送不同类型的消息。核心问题在于...

    MySQL千万级大数据SQL查询优化知识点总结

    MySQL千万级大数据SQL查询优化是数据库管理中的关键环节,尤其对于处理海量数据的应用来说,高效的查询性能至关重要。以下是一些核心的优化知识点: 1. **建立索引**:索引可以显著提高查询速度,特别是在`WHERE`和...

    sql优化心得

    ### SQL优化心得 在当前项目中,我们遇到了一个棘手的问题:需要对多个包含超过千万条记录的大表进行复杂的计算、连接(JOIN)以及其他高级查询操作。为了提高系统的响应速度和资源利用率,对SQL语句进行优化变得尤...

    七天搞定SQL2005千万级别数据记录+数据库优化经验+代码优化+索引优化

    《SQL Server 2005优化千万级别数据记录与索引优化实践》 在数据库管理领域,处理千万级别的数据记录是一项挑战,尤其是在SQL Server 2005这样的环境中。本文将分享一位开发者针对SqlSever2005一千万条以上记录的...

    Mysql千万级别数据优化方案

    "Mysql千万级别数据优化方案" 一、 目的与意义 在 MySql 单表中数据达到千万级别时,数据的分页查询结果时间过长,对此进行优达到最优效果,也就是时间最短。为了解决这个问题,我们需要了解 MySQL 数据库的分页...

    处理百万级以上的数据提高查询速度的方法

    在处理大量数据时,如何优化SQL查询以提高查询效率是一项至关重要的技能。以下是从标题、描述、标签以及部分内容中提炼出的关键知识点,这些技巧可以帮助你在面对海量数据时提升SQL查询的速度。 #### 1. 避免使用 `...

    实现千万级数据的分页显示

    ### 实现千万级数据的分页显示 在处理大规模数据集时,如何高效地进行分页显示成为了一个关键的技术挑战。传统的分页方法在面对数百万甚至上千万的数据记录时,往往会出现性能瓶颈,导致用户体验下降。本文将详细...

    如何优化Mysql千万级快速分页

    MySQL 千万级快速分页优化方案 在实际开发中,我们经常会遇到 MySQL 数据库的性能问题,特别是在处理千万级数据时,分页查询的性能会变得非常慢。在这篇文章中,我们将探讨如何优化 MySQL 千万级快速分页,详细介绍...

Global site tag (gtag.js) - Google Analytics