`
xly_971223
  • 浏览: 1273926 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

集中兵力应付大数据量

阅读更多
一、基于主键的搜索受数据量的影响不大
select * from user where id = ?

100条的表跟100w的表执行上面sql,时间相差不大

二、减小扫描索引表的次数
sql执行最耗时间的是磁头扫描文件块,避免全表扫描的同时 也要减少索引表的访问

三、注意所有的聚合函数(sum max 等)都会全表扫描

四、海量查询时为查询加限定条件(如日期范围),使数据量可控

五、排序操作甚至比扫描表还耗资源,排序是复杂算法,一般会多遍处理
当结果集较小时,排序会发生在内存;而较大时则会使用硬盘了,所以可通过调整排序内存来改善排序性能
排序性能与参与排序的实际总量相关而不是记录数,应尽量减少参与排序的数据总量

六、对数据表进行分区,如常用的范围分区等
通过分区将常用的数据存放在同一物理块,提高了IO速度

七、删除数据,把没用的历史数据删除
删除是最耗时的操作,既要执行where查询、更新数据表、 维护索引表,又要写undo日志等
删除要谨慎 可采用truncate



待续。。。


3
2
分享到:
评论

相关推荐

    信息化战争条件下集中兵力思想的新内涵

    这是教育理论中对战术基本原则的一个描述,特别是讨论了在信息化条件下如何更好的运用这一原则,如何更好的发挥作用提出了自己的看法和观点

    SQL语言艺术(pdf格式)

    第10章,集中兵力:应付大数据量 讲解如何应付大数据量 第11章,精于计谋:挽救响应时间 分享一些技巧,以挽救设计糟糕的数据库的性能 第12章,明察秋毫:监控性能 收尾,解释如何定义和监控性能

    红蓝对抗的兵力部署的qt大作业

    本人学生一枚,qt和c++的16个课时学习完毕后,留了一个兵力部署的大作业,大家有这样大作业的可以参考一下我的。 这是一个实现了 开始界面 兵力部署 兵力移动 胜负判决 游戏语音 等等方面的小游戏程序的源代码。里面...

    SQL语言艺术pdf

    第10章,集中兵力:应付大数据量 讲解如何应付大数据量 第11章,精于计谋:挽救响应时间 分享一些技巧,以挽救设计糟糕的数据库的性能 第12章,明察秋毫:监控性能 收尾,解释如何定义和监控性能

    作战模拟之兵力损耗

    这是一个红蓝双方对战兵力损耗的模拟,可选择损耗状况,进行不同情况下的计算

    SQL语言艺术

    10 集中兵力:应付大数据量 增长的数据量 数据仓库 11 精于计谋:挽救响应时间 数据的行列转换 基于变量列表的查询 基于范围的聚合 一般规则,最后使用 查询与列表中多个项目相符的记录 最佳匹配查询 优化器指令 12 ...

    二八定律——集中力量.PPT

    在军事学中,有一个著名的原则叫做“集中兵力”,即集中兵力于最重要的战场和目标,以便获得最大的战果。在商业中,也是如此。要想获得最大的业绩,就需要集中力量于最重要的业务和客户。 在个人成长中,二八定律也...

    论文研究-兵力编成裁剪算法研究:决策结点裁剪 .pdf

    论文研究-兵力编成裁剪算法研究:决策结点裁剪 .pdf,

    一种基于改进遗传算法的防空兵力优化分配.pdf

    在大规模问题中,采用枚举法得到问题的最优解是不现实的。当前解决防空兵力分配优化问题通常采用遗传算法、粒子群算法或神经网络方法等。遗传算法是一种仿生物学算法,以生物进化论原理求解优化问题,已经被广泛应用...

    小学数学数学故事估计敌人的兵力

    2. **数量级的理解**:理解并能识别不同数量级的数字,如千、万、十万等,有助于进行大数字的估算。 3. **比例关系的运用**:就像林肯的例子,利用已知比例关系来推算未知量,如“三倍”关系。 4. **生活中的应用*...

    兵力组织适应性设计方法

    文档标题和描述都提到了“兵力组织适应性设计方法”,这是一篇发表于《空军工程大学学报(自然科学版)》2017年第18卷第三期的论文。该论文主要研究了在信息化条件下,如何构建有效作战系统的问题。根据提供的内容,...

    论文研究-空中进攻作战航空兵兵力需求分析模型.pdf

    论文研究-空中进攻作战航空兵兵力需求分析模型.pdf,

    基于遗传模拟退火算法的空袭兵力分配及优化 (2006年)

    对遗传模拟退火算法中的交叉、变异操作进行了改进,并实施了最优保留策略,形成了改进遗传模拟退火算法,以突击效果最大化和兵力损失最小化为目标函数,以空袭兵力总量的限制、空袭兵器挂载类型的限制等为约束条件,...

    面向作战仿真的数据挖掘.pdf

    随着信息化战争的复杂性、非线性和涌现性特点的日益显著,作战仿真系统产生的数据量呈指数级增长,因此进入了所谓的“大数据时代”。这种数据的激增使得单纯依靠传统的数据分析方法无法有效处理和利用这些数据,而...

    高中历史热门阅读汉中之战:曹操在兵力上远超刘备为何主动放弃汉中呢?素材

    再者,刘备一方在战争中也付出了较大代价,吴兰、雷铜、任夔等将领阵亡,前线兵力紧张,甚至出现了男子作战、女子运粮的情况,说明刘备的处境也十分危急。若曹操继续与刘备对峙,刘备的崩溃可能就在旦夕之间。 综上...

    计算机生成兵力建模仿真支撑框架 (2008年)

    计算机生成兵力CGF( Computer Generate Force)建模仿真支撑框架为仿真的快速开发提供支持。根据建模仿真领域的相关研究,提出组装是实现这一目标的有效途径。可组装性是对可重用能力的更高要求,需要必要的框架、知识...

Global site tag (gtag.js) - Google Analytics