`
谷熙亚
  • 浏览: 52689 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

大数据查询优化方案

 
阅读更多

1 存储过程
2 建索引
3 分区   把数据分成几个区存放,搜索的结果合并。做表分区,缩小查找范围(按一个有效字段分区,比如按月份)
4 表空间
5 我们以前大数据量的解决方案是:把数据分批查出来,一次性查出来是没有什么好的解决办法。
6 like 必定扫全表
7 硬件:升级服务器,有这么多数据的应该不是小的应用,应该买个好点的服务器。
8 用负载均衡,把一个大表争成几个小表(垂直分表,把表里面的一些不常用的大字段信息拿出来)

9 视图

10 读写分立,做双机,一个读,一个写

11 sql语句优化,这个注意点太多了,具体可以通过explain找出慢查询(plsql的F5)

12 表字段尽量小,尽量回避blob,text;varchar最好也少用

13 数据量达到海量的话,分布式集群处理了,······以下省略8000字

 

--查询优化

常见优化查询的方案有如下:

1,对查询进行优化,应尽量避免全表扫描,首先应考虑在where及order by 涉及的列上建立索引。

2,应尽量避免在where子句中进行null的判断,否则将导致查询放弃进行索引进行全表扫描。可以在null上设默认值为0。

3,尽量避免在where子句中使用or来连接条件,否则将导致查询放弃进行索引进行全表扫描,可以考虑使用union all替换。

4,in 和not in 要慎用,否则会导致全表扫描。能用between则不用in。

5,避免使用Like 来进行模糊查询,可以考虑使用全文检索。

6,尽量避免在where子句中使用!=或<>操作符,否则会导致全表扫描。

7,使用视图加速查询。

8,能用distinct 则不用group by。

9,能用union all 则不用union。

10,避免在where子句中进行函数操作。

分享到:
评论

相关推荐

    大数据平台优化建设方案.ppt

    大数据平台优化建设方案.ppt大数据平台优化建设方案.ppt大数据平台优化建设方案.ppt大数据平台优化建设方案.ppt大数据平台优化建设方案.ppt

    大数据性能优化.pptx

    包含hadoop架构及介绍。大数据性能优化,sql优化,mr调优等。每个优化方法都有实际案例说明,小白也可以看懂的哟!

    智慧农业大数据平台建设方案.pdf

    智慧农业大数据平台建设方案是蒙草集团依托20余年的生态科研实践,旨在建立一个以农业大数据为核心的生态公众服务平台,提供科学指导和优化决策的支持。平台的建设将实现农业技术服务“一网覆盖”,农业资源数据...

    hadoop大数据平台性能测试方案.doc

    大数据平台性能测试方案 大数据平台性能测试方案是指在大数据平台中进行的性能测试,以评估平台的处理能力和数据处理效率。本文档提供了一个详细的性能测试方案模板,涵盖测试方案、测试范围、测试软件硬件环境、...

    企业大数据平台功能优化方案.pdf

    综上所述,企业大数据平台功能优化方案涵盖了从数据层到服务层的全方位优化,结合非功能性需求的考量,旨在打造一个高效、稳定、易用且具有高度扩展性的大数据平台,以满足企业不断发展的业务需求。在实施过程中,将...

    企业大数据云平台功能优化方案.pdf

    综上所述,企业大数据云平台功能优化方案不仅关注技术层面的提升,还强调了业务需求与用户体验的结合。通过全面的优化措施,企业可以充分利用大数据的力量,提升业务洞察力,驱动业务增长,并为未来的数字化转型奠定...

    高校大数据整体解决方案(智慧校园高校大数据解决方案).doc

    总结来说,高校大数据整体解决方案需要围绕数据的采集、整合、分析和应用,构建一套完整的信息系统,通过智慧校园的建设,提升教学科研水平,优化管理流程,最终实现教育的个性化、智能化和高效化。这不仅需要先进的...

    大数据治理解决方案.pdf

    数据分析挖掘平台和大数据智能平台利用先进的算法对数据进行深入分析和挖掘,以实现业务优化和决策支持。大数据决策平台则将分析结果转化为决策支持信息,辅助管理者做出更加精准和高效的决策。 最后,大数据治理...

    大数据咨询项目方案.pptx

    "大数据咨询项目方案" 大数据咨询项目方案是指通过对企业的大数据进行收集、存储、分析和应用,帮助企业实现业务创新、提高运营效率、降低成本、提高客户体验等目标的项目方案。 从大数据的定义可以看出,大数据是...

    大数据平台建设方案

    ### 大数据平台建设方案详解 #### 一、对大数据平台的需求 在当前信息化时代,企业和组织面临着海量数据处理的挑战。为了有效地管理和利用这些数据,构建一个高效、可靠的大数据平台变得至关重要。大数据平台可以...

    大数据查询和多行读写时的进度显示

    在大数据查询和多行读写过程中,进度显示是提高用户体验和优化操作感知的重要技术。它能够让用户了解任务的执行状态,提升等待过程的耐心,并在必要时作出相应调整。以下是对这些知识点的详细阐述: 1. **大数据...

    教育大数据整体解决方案.docx

    该方案旨在利用大数据技术提升教育质量,优化教学过程,并为教育决策提供科学依据。以下是该方案的详细解析: 一、方案背景 1.1 以教育现代化支撑国家现代化:教育是国家发展的基石,教育现代化是推动国家整体现代...

    第11章 大数据平台实施方案的理解.pptx

    【大数据平台实施方案的理解】 大数据平台实施方案是针对企业构建大数据处理和分析系统的一种详细规划和执行策略,旨在确保项目能够高效、稳定且满足客户需求地进行。本章主要涵盖以下几个关键方面: 1. **系统...

    大数据时代存储解决方案

    在大数据领域,虚拟化技术被广泛应用于存储资源的管理和优化,例如块虚拟化和文件虚拟化。 3. **横向扩展的能力**:为了应对不断增长的数据量,横向扩展成为一种趋势。无论是计算资源还是存储资源,都可以通过增加更...

    伊利奶粉会员大数据平台解决方案.pptx

    伊利奶粉会员大数据平台解决方案旨在利用先进的大数据技术和策略,优化会员管理,提高会员体验,并通过数据驱动的决策来增强会员生命周期价值。这个平台的核心是将来自不同渠道的数据进行整合,包括爱儿俱乐部官网、...

    联想LEAP大数据平台解决方案.pdf

    2. 一站式服务:从数据管理、清洗、常规报表生成、多维分析到大数据优化,LEAP提供了全面的解决方案,覆盖整个数据生命周期。 3. 安全与合规:联想提供了数据安全和隐私方面的咨询服务,确保数据资产的完整性、正确...

    大数据应用解决方案

    - **网络优化**:利用大数据优化网络资源分配。 - **客户体验**:改善服务质量和用户体验。 ###### 2.3.4 零售业 - **库存管理**:通过分析销售数据,优化库存水平。 - **个性化推荐**:根据消费者的购买历史提供...

    金融保险行业大数据整体解决方案智慧保险大数据平台建设方案.docx

    本文提出了一种金融保险行业的大数据整体解决方案,即智慧保险大数据平台建设方案。该方案旨在通过大数据技术,实现风险评估、产品设计、营销策略到理赔处理的全面数字化转型。该平台包含七个部分:数据采集与存储、...

    医院大数据融合解决方案

    医院大数据融合解决方案是一种针对医疗行业数据管理与应用的高级策略,旨在通过整合各种来源的数据,提升医疗服务的质量、效率和安全性。大数据在医疗领域的应用已经变得至关重要,因为医疗数据的快速增长和复杂性...

Global site tag (gtag.js) - Google Analytics