`
youyu4
  • 浏览: 442498 次
社区版块
存档分类
最新评论

面对大数据量的优化

 
阅读更多

面对大数据量的优化

 

0. mysql基础

http://youyu4.iteye.com/admin/blogs/2330441

http://youyu4.iteye.com/admin/blogs/2333291

 

1. 优化sql和索引

优化sql:

http://youyu4.iteye.com/admin/blogs/2331378

优化索引:

http://youyu4.iteye.com/admin/blogs/2331664

http://youyu4.iteye.com/admin/blogs/2331902

 

 

2. 选择合适的存储引擎

http://youyu4.iteye.com/admin/blogs/2332458

http://youyu4.iteye.com/admin/blogs/2333122

 

 

3. 加缓存,memcached、redis

 

4. 主从数据库,读写分离

 

 

5. 表分区,用MySQL自带的表分区,但是sql语句是需要针对分区表做优化的,sql条件中要带上分区条件的列,从而使查询定位到少量的分区上,否则就会扫描全部分区。

 

分区表的坑

 

 

 

6. 垂直拆分,将一个大系统拆分成多个小系统,怎么拆根据模块的耦合度而定,形成分布式系统。

 

适用场景:主要要看应用类型是否合适这种拆分方式,如系统可以分为,订单系统,商品管理系统,用户管理系统业务系统比较明的,垂直拆分能很好的起到分散数据库压力的作用。

 

垂直拆分可以将系统拆分,但不一定能解决压力,如果订单系统有2000W条数据,压力还是很大的,所以才需要水平拆分。

 

 

 

 7. 水平拆分,针对数据量大的表,拆分成多个小表,也可以将表分别放到不同的server上

 

参考:

http://blog.csdn.net/iloveyin/article/details/39996831

http://www.zhihu.com/question/19719997

 

 

分享到:
评论

相关推荐

    Oracle 大数据量操作优化

    在面对Oracle数据库中的大数据量操作时,如何有效地提升操作性能成为了一个重要的课题。本文将从不同角度出发,详细介绍如何通过多种技术手段和策略优化Oracle数据库的大数据量操作。 #### 提高DML操作的方法 1. *...

    .net 大数据量处理

    在.NET开发环境中,面对大数据量的处理是一项挑战。大数据通常是指数据规模巨大,无法在合理的时间内用传统数据库管理系统处理的数据集。为了有效地管理和处理这些海量数据,我们需要采取一些策略来优化性能,如分批...

    数据库大数据量存储

    本文将深入探讨数据库大数据量存储的相关知识点,包括存储架构、数据分片、分布式存储、数据压缩、数据冗余以及性能优化策略。 首先,我们需要理解传统的单机数据库在面对大数据时的局限性。单机数据库在存储容量和...

    ArcGIS客户端API中加载大量数据的几种解决办法

    ArcGIS API 提供了多种方法来处理大数据量的问题,以确保用户界面的流畅性和性能。以下是一些核心策略: 1. **动态图层(Dynamic Layers)**: 动态图层允许将地图服务分割成多个图层,每个图层只加载特定的范围或级别...

    导出Excel 支持大数据量导出

    本篇文章将深入探讨如何使用jxl库实现大数据量的Excel导出,并讨论相关优化策略。 首先,让我们了解jxl库。jxl是Java Excel API的简称,它支持多种版本的Excel文件格式,包括97-2003的.BIFF8格式以及2007年以后的....

    大数据量高并发的数据库优化总结

    在面对大数据量和高并发访问时,通过对数据库结构的合理设计以及查询的优化,可以有效地提高系统的整体性能。需要注意的是,在实际操作中还需结合具体应用场景进行综合考量,灵活调整设计方案,以达到最佳效果。此外...

    百万数据级快速查询优化技巧

    标题与描述概述的知识点主要集中在数据库查询优化技巧上,尤其针对拥有百万级别数据量的数据库。以下是对这些知识点的详细解读: ### 数据库快速查询优化技巧 #### 1. 避免全表扫描,优化WHERE子句 - **空值判断**...

    C# Access 大数据量 批量 效率 快速 导入

    在C#编程环境中,处理大数据量的导入任务时,效率是非常关键的一环。"C# Access 大数据量 批量 效率 快速 导入"这个主题聚焦于如何利用C#语言高效地将大量数据批量导入到Access数据库中。Access作为一个小型数据库...

    MySQL百万级数据量分页查询方法及其优化建议

    在MySQL中,面对百万级数据量的分页查询,如何高效地进行操作并优化查询性能是数据库管理员和开发人员必须关注的问题。以下是一些常用的方法和优化建议: 1. **直接使用LIMIT语句**:这是最基础的分页查询方式,如`...

    基于.net_的大数据量SQL_SERVER_系统_数据库和代码_优化方案

    ### 基于.NET的大数据量SQL SERVER系统数据库和代码优化方案 #### 一、引言 在.NET框架下开发的应用程序,特别是那些涉及到大量数据处理的系统,往往需要面对性能优化的问题。其中,数据库查询优化是提升整体系统...

    大数据量高并发的数据库优化[参考].pdf

    【大数据量高并发的数据库优化】是软件开发领域的一个重要课题,主要关注如何在面对大量数据和并发请求时保持数据库的高效运行。以下是对该主题的详细解释: 1. **数据库结构设计**: - 设计合理的数据库模型是至...

    数据量大的设计.docx

    综上所述,面对数据量巨大、更新频繁的场景,通过构建独立的大表D、实现信息增量同步、采用物化视图刷新同步、优化关联策略以及创建有效索引等多种手段相结合的方式,可以有效地解决查询效率低下的问题。这些方法...

    大数据量的系统的数据库结构如何设计

    在面对大数据量的系统设计时,数据库结构的设计成为至关重要的环节。有效的数据库设计不仅能够提升数据处理的速度,还能确保系统的稳定性和效率。以下是从给定文件的标题、描述、标签及部分内容中提炼出的关键知识点...

    2023年SQL语句千万万数据量优化方案-架构与开发

    本资料包“2023年SQL语句千万万数据量优化方案-架构与开发”旨在提供一套全面的解决方案,帮助开发者和架构师提升数据处理性能,降低系统瓶颈,提高系统整体的响应速度。 一、SQL语句优化 1. **查询优化** - **...

    Wcf 大数据量传输源码

    在IT行业中,Windows Communication Foundation(WCF)是微软...通过这些方法,即使面对50万条这样的大数据量,也能实现高效且可靠的传输。在实际开发中,需要根据具体需求和环境选择最合适的策略,以达到最佳性能。

    abap性能优化

    本资料集主要探讨了ABAP性能优化的策略和技巧,适用于具有中等ABAP技能水平的开发者,以提升他们的代码效率,特别是在面对大数据量时,解决报表运行速度缓慢的问题。 1. **避免无谓的数据库访问**:数据库查询是...

Global site tag (gtag.js) - Google Analytics