`

MySql大数据量的优化

阅读更多
针对最近做的mysql优化,总结了以下几点:

1.索引优化
为常用的检索条件加上索引,索引分为Index索引和Unique Key索引,这两个索引对表的要求不同,执行的效率也不同,另外索引使用Hash还是B-tree也要根据自己的检索方式来决定。然后定下几个方案,使用explain命令检查索引的使用情况,使用profiles命令跟踪查询的效率。最终决定一个合适的索引方案。

2.SQL查询优化
对于执行大数据量查询的SQL,直接使用JDBC,避免使用数据库中间件(Hibernate等)

3.表分区优化
使用表分区可以把一张表的数据按照自己定义的规则分别存在不同的硬盘(分区)中,将会极大提高存取速度。

4.关于抽样表
特定的情况下(对数据的完整性要求不高的业务,例如查看股票的年趋势,月趋势,日趋势等等)可以使用抽样表,根据不同的粒度建立多个抽样表。

另外还看到使用数据仓库,分布式集群啥的,只是那玩意儿太烧钱了,只有大公司玩得起。
分享到:
评论

相关推荐

    mysql大数据量优化

    MySQL数据库在处理大数据量时,性能优化至关重要。以下是一些关键的优化策略和技术: 1. **连接查询与子查询优化**: - **连接查询**(JOIN):当需要从多个表中获取关联数据时,使用连接查询通常比子查询更有效率...

    如何统计MySQL数据量大小

    在数据库管理中,了解MySQL数据量的大小是至关重要的,这有助于优化性能、规划存储空间以及进行容量规划。本文将详细讲解如何统计MySQL数据库的数据量大小,并涉及CONCAT函数的解读,以及对information_schema和...

    大数据量测试数据(MySQL)

    在这个主题中,我们关注的是如何利用MySQL进行大数据量的测试和优化。提供的压缩包文件包含了一系列的SQL脚本和数据备份,用于创建表格、导入数据并进行性能测试。 首先,`employees.sql` 文件是核心,它包含了创建...

    mysql200万条大数据量测试sql文件

    mysql200万+条大数据量测试sql文件,可以用于测试服务器数据库性能,学习sql性能优化和调优。资源是.sql文件压缩后上传。用navicat导入实测用时几分钟时间,数据量200W+条。快速获取百万级真实测试数据。

    MySQL大数据量分页查询方法及其优化

    ### MySQL大数据量分页查询方法及其优化 在处理大规模数据集时,MySQL的分页查询是非常常见的需求之一。为了提高查询效率,减少响应时间和资源消耗,开发者需要掌握多种不同的分页查询方法及其优化技巧。本文将详细...

    C#在MySQL大量数据下的高效读取、写入详解

    在C#中与MySQL数据库进行大规模数据交互时,性能优化是关键,特别是在处理千万级别的数据。本文将探讨如何高效地读取和写入大量数据,主要分为三个步骤:解决读取问题、数据处理和数据插入。 ### 第一步:解决读取...

    MySQL海量数据查询优化策略.

    18. 限制返回的数据量:使用LIMIT来减少返回给客户端的数据量可以减轻服务器负载,并且提高查询响应速度。 19. 避免使用SELECT *:在只需要部分列时,应当明确指出需要哪些列,减少数据传输的量。 20. 考虑事务的...

    mysql 千万级数据优化

    MySQL 是一种流行的开源关系数据库管理系统,在大规模数据处理中,MySQL 的性能优化变得非常重要。下面我们将从查询优化和 SQL 编写注意事项两个方面来讨论 MySQL 千万级数据优化。 查询优化 1. 尽量避免全表扫描...

    MySQL海量数据存储与优化(上).pdf

    随着数据量的增长,MySQL的性能优化变得越来越重要。本文将详细介绍MySQL的架构原理、存储机制、索引存储机制、事务和锁机制、集群架构、MySQL第三方工具实战,以及MySQL的发展历程和应用架构演变。 一、MySQL架构...

    MySQL大并发量性能优化实战

    9. **分区和分片**:对于大数据量的表,通过分区策略将数据分散到多个物理存储上,提高查询效率。分片则是将一个大型数据库拆分成多个小型数据库,分散在不同服务器上,实现水平扩展。 10. **监控与调优**:定期...

    Mysql 百万级数据优化资料

    从给定的文件标题、描述、标签以及部分内容中,我们可以提炼出关于MySQL百万级数据优化的关键知识...通过综合考虑并优化这些因素,可以有效提升数据库处理大规模数据的能力,从而满足高并发、大数据量的应用场景需求。

    详细讲解MySQL大数据量分页SQL语句优化

    分页程序原理很简单,这里就不多说了,本篇文章主要说的是在数据表记录量比较大的情况下,如何将分页SQL做到更优化,让MySQL执行的更快的方法。

    大数据量下58同城MySQL实践-技术方案

    总的来说,这份58同城的大数据量下MySQL实践技术方案,涵盖了从存储策略、索引优化、缓存管理、监控调优到分布式架构的全面内容,是理解如何在大数据环境下驾驭MySQL的宝贵资料。通过对这些知识点的学习和实践,可以...

    MySQL百万级数据量分页查询方法及其优化建议

    在MySQL中,面对百万级数据量的分页查询,如何高效地进行操作并优化查询性能是数据库管理员和开发人员必须关注的问题。以下是一些常用的方法和优化建议: 1. **直接使用LIMIT语句**:这是最基础的分页查询方式,如`...

    mysql优化笔记+资料

    3. 分区表和分片技术可以提高大数据量下的查询性能。 四、存储引擎选择 InnoDB存储引擎支持事务处理和行级锁定,适合并发环境;MyISAM则速度快,但不支持事务,适合读多写少的场景。 五、服务器配置优化 1. 调整...

    一次Mysql使用IN大数据量的优化记录

    mysql版本号是5.7.28,表A有390W条记录,使用InnoDB引擎,其中varchar类型字段mac已建立索引,索引方法为B-tree。B表仅有5000+条记录。 有一条SQL指令是这样写的: SELECT * FROM A WHERE mac IN(aa:aa:aa:aa:aa:aa...

    mysql性能优化.pptx

    - **垂直拆分**:将相关性不强的字段分离到不同的表,减少单表的数据量。 - **水平拆分**(分区):将大表分成多个小表,通过分区策略分散查询负载。 5. **系统级配置优化** - **数据库系统配置**:调整系统参数...

    MySQL大表性能优化方案 和 MySQL高性能表设计规范

    在数据库管理领域,MySQL是广泛使用的开源关系型数据库系统,尤其在处理大数据量时,其性能优化和高效表设计显得尤为重要。本篇文章将深入探讨针对MySQL大表的性能优化策略以及如何遵循高性能的表设计规范。 一、...

Global site tag (gtag.js) - Google Analytics