阅读更多

2顶
1踩

数据库
在需要支持移动/平板电脑应用及普通桌面浏览器访问的时代,网站的普及率和有效性很大程度上取决于其可用性和性能。一个访问缓慢的网站会使得访问者或潜在的客户流失,并导致商业的失败。一个访问速度相当快的网站将会决定访客是否会使用网站提供的产品或服务。

拥有大规模数据库的网站始终需要适当的关注、配置、优化、调整和维护,以确保网站的快速加载。这篇文章将讨论如何优化有海量数据的 MySQL 数据库。

选择 InnoDB 作为存储引擎

大型产品的数据库对于可靠性和并发性的要求较高,InnoDB 作为默认的 MySQL 存储引擎,相对于 MyISAM 来说是个更佳的选择。

优化数据库结构

  • 组织数据库的 schema、表和字段以降低 I/O 的开销,将相关项保存在一起,并提前规划,以便随着数据量的增长,性能可以保持较高的水平。
  • 设计数据表应尽量使其占用的空间最小化,表的主键应尽可能短。
  • 对于 InnoDB 表,主键所在的列在每个辅助索引条目中都是可复制的,因此如果有很多辅助索引,那么一个短的主键可以节省大量空间。
  • 仅创建你需要改进查询性能的索引。索引有助于检索,但是会增加插入和更新操作的执行时间。
InnoDB 的 Change Buffering 特性

InnoDB 提供了 change buffering 的配置,可减少维护辅助索引所需的磁盘 I/O。大规模的数据库可能会遇到大量的表操作和大量的 I/O,以保证辅助索引保持最新。当相关页面不在缓冲池里面时,InnoDB 的 change buffer 将会更改缓存到辅助索引条目,从而避免因不能立即从磁盘读取页面而导致耗时的 I/O 操作。当页面被加载到缓冲池时,缓冲的更改将被合并,更新的页面之后会刷新到磁盘。这样做可提高性能,适用于 MySQL 5.5 及更高版本。

InnoDB 页面压缩

InnoDB 支持对表进行页面级的压缩。当写入数据页的时候,会有特定的压缩算法对其进行压缩。压缩后的数据会写入磁盘,其打孔机制会释放页面末尾的空块。如果压缩失败,数据会按原样写入。表和索引都会被压缩,因为索引通常是数据库总大小中占比很大的一部分,压缩可以显著节约内存,I/O 或处理时间,这样就达到了提高性能和伸缩性的目的。它还可以减少内存和磁盘之间传输的数据量。MySQL 5.1 及更高版本支持该功能。

注意,页面压缩并不能支持共享表空间中的表。共享表空间包括系统表空间、临时表空间和常规表空间。

使用批量数据导入

在主键上使用已排序的数据源进行批量数据的导入可加快数据插入的过程。否则,可能需要在其他行之间插入行以维护排序,这会导致磁盘 I/O 变高,进而影响性能,增加页的拆分。关闭自动提交的模式也是有好处的,因为它会为每个插入执行日志刷新到磁盘。在批量插入期间临时转移唯一键和外键检查也可显著降低磁盘 I/O。对于新建的表,最好的做法是在批量导入后创建外键/唯一键约束。

SQL 语句优化

为了提升查询的速度,可以为 WHERE 字句中使用的列添加索引。此外,不要将主键索引用于太多或太长的列,因为这些列值在辅助索引进行复制的时候会增加读取所需要的 I/O 资源并占用缓存。

如果索引包含了不必要的数据,通过 I/O 读取这些数据并进行缓存就会减弱服务器的性能和伸缩性。也不要为不必要的列使用唯一键索引,因为它会禁用 change buffering。应该使用常规索引代替。

减少和隔离需要耗费大量时间的函数调用。

尽可能的减少查询中的全表扫描次数。

调整缓存区域的大小和属性,比如 InnoDB 缓冲池,MySQL 查询缓存等,这样会通过从内存而非从硬盘获取数据而让重复的查询变得更快。

优化存储结构

对于大型的表,或者包含大量重复文本或数值数据的表,应该考虑使用 COMPRESSED(压缩的) 行格式。这样只需要较少的 I/O 就可以把数据取到缓冲池,或执行全表扫描。

一旦你的数据达到稳定的大小,或者增长的表增加了几十或几百兆字节,就应该考虑使用 OPTIMIZE TABLE 语句重新组织表并压缩浪费的空间。对重新组织后的表进行全表扫描所需要的 I/O 会更少。

优化 InnoDB 磁盘 I/O

增加 InnoDB 缓冲池大小可以让查询从缓冲池访问而不是通过磁盘 I/O 访问。通过调整系统变量 innodb_flush_method 来调整清除缓冲的指标使其达到最佳水平。

使用其它存储设备配置 RAID。

MySQL 的内存分配

在为 MySQL 分配足够的内存之前,请考虑不同领域对 MySQL 的内存需求。

要考虑的关键领域是:并发连接 —— 对于大量并发连接,排序和临时表将需要大量内存。在撰写本文时,对于处理 3000+ 并发连接的数据库,16GB 到 32GB的 RAM 是足够的。

内存碎片可以消耗大约 10% 或更多的内存。像 innodb_buffer_pool_size、key_buffer_size、query_cache_size 等缓存和缓冲区要消耗大约 80% 的已分配内存。

日常维护

定期检查慢的查询日志并优化查询机制以有效使用缓存来减少磁盘 I/O。优化它们,以扫描最少的行数,而不是进行全表扫描。

其他可以帮助 DBA 检查和分析性能的日志包括:错误日志、常规查询日志、二进制日志、DDL日志(元数据日志)。

定期刷新缓存和缓冲区以降低碎片化。使用 OPTIMIZE TABLE 语句重新组织表并压缩任何可能被浪费的空间。

英文原文:MySQL Large Database Optimization For Performance And Scalability



来自: oschina
2
1
评论 共 1 条 请登录后发表评论
1 楼 g21121 2017-07-27 09:49
说了些屁啊

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • gba探索日记

    片段:GBA的VRAM总共96KB,在mode3-5中,VRAM跟计算机的显示内存一样.屏幕上一个点对应一个显示内存地址.

  • GBA探索日记(-)

    GBA探索日记(-) mode0-2的BG与VRAM   GBA的VRAM总共96KB,在mode3-5中,VRAM跟计算机的显示内存一样.屏幕上一个点对应一个显示内存地址. 可以看看下面两个函数,都是在mode4下的写点函数. void PlotPixel(int x,int y, unsigned short int c) {                 m_VideoBuffer[(y

  • 游戏编程--GBA探索日记

    Game Boy Advanced(GBA)是日本任天堂公司于2001年推出的一款32位掌上游戏机.它着重于游戏机的便携式,并且以2D游戏为主(3D游戏依然不错).GBA有十分高效硬件图像处理加速,GBA基本上是现在全球公认的最佳的掌上游戏机. GBA的硬件功能十分多.它的CPU是以RISC为基础的32位ARM CPU,主频是16.78MHz.屏幕最大支持240x160的16位真彩色显示.在图形处理方面GBA还另外提供了硬件加速,支持硬件上的图形旋转,缩放,alpha混合,face in/out淡入淡出等. GBA的软件开发主要是以C语言为主,程序设计简单而且十分自由,也正是这一点吸引了许多爱好者在GBA上做东西(不一定是游戏).你完全可以把它做成PDA,做成Mp3播放器(它的声音处理方面能力也不错哦),做成随身电影播放齐,做成电子词典等,只要你有能力设计它的软件.

  • arraycopy - 数组复制【详细图解】

    1.arraycopy底层代码: 2.arraycopy的使用 第一个参数:源数组 第二个参数:在源数组中,被复制的数字开始复制的下标 第三个参数:目标数组 第四个参数:从目标数组中,从第几个下标开始放入复制的数据 第五个参数:从源数组中,一共拿几个数值放到目标数组中 System.arraycopy(result, 0, str, 0, 0); 3.使用案例 package Openlab; import java.util.Arrays; /** * Arrayco...

  • SSH+ExtJS项目,当session过期时跳转到登陆界面

    由于ExtJS项目,在页面发送请求都是以Ajax这种形式的异步请求,所以当后台检测到session过期时,不能通过转发使客户端跳转到login页面。[url]http://jayklin.iteye.com/blog/1039132[/url] 在web.xml配置的Filter...

  • SSH项目整合:无障碍整合Struts2+Spring+Hibernate(详解+案例+源代码)

    SSH整合方式一:无障碍整合 一、SSH框架的简述 1、SSH框架整合开发原理图

  • 运维开发面试常见问题汇总(一直在更新)

    21.traceroute给我讲一下它是如何在ttl过期后,得知发送下一个报文的? 22.ping作用是什么?如果ping不通,可能原因是?(送分了,可能怕我尴尬。。) 23.ansible使用它做过什么? 24.使用ansible管理主机的优势和...

  • hualinxu ext zbx 1.2:centos8搭建zabbix5.0(手把手 带注解)

    这里使用NAT模拟外网 内网的IP地址我使用的是LoopBack网卡方便登陆管理,实验都会用它做内网 内存推荐2G,小的话弄1.5G也行,centos7不建议弄1G,很容易出问题 1.2 准备工作(所有) 操作系统:centos8.2 64位,在安装...

  • Linux基本防护 、 用户切换与提权 、 SSH访问控制

    其他的一些配置文件 ~/.bash_logout 当需要在退出登录后让系统完成一些操作的话可以写在这个文件中(此文件是隐藏文件) ~/.bash_history 命令历史文件,所有使用过的命令都会记录在此文件中。先在内存中缓存,...

  • 掌上游戏机开发指南GBA探索日记(10)(转)

    掌上游戏机开发指南GBA探索日记(10)(转)[@more@]  研究GBA已经有半年了,GBA上能做的东西我都研究过。什么BG,OBJ,OAM,SOUND,Interrupt都搞得很透,应该说我对GBA的认识比对PC的认识还深...

  • GBA程序开发入门3

    下面我将一一讲解上篇的程序前三行:typedef unsigned char u8;typedef unsigned short u16;typedef unsigned long u32;定义GBA程序自己的数据类型,因为这样我们就很容易知道每个数据在GBA中占的字节数.#define REG_DISPCNT *(u16*)0x04000000         // 显示

  • 解决图层的精确定位问题

    解决图层的精确定位问题在网页制作中使用图层,我们常会遇到这样的问题:图片分辨率一旦变化、窗口最大化之后,图层就错位了。而使用菜单插入层的时候,这个层就会与它的上级元素相对定位,一旦移动它,它就会马上变成绝对定位。这个问题虽小,但在实际应用过程中还是会给网页设计者带来一些麻烦。其实,造成图层错位的核心是父层与子层的问题。只要使父层相对于某点定位,而子层相对于父层定位,就可以达到层的相对定位这个目

  • GBA教程 -- 精灵显示

    源程序 http://cgdn.net/gba/tutor/sprite.zip现在我们来看看精灵的显示。GBA使用0x06010000 到 0x06017ffe 的32K空间来存放精灵图块,然后从0x07000000开始的1024bytes的空间用来控制精灵的属性,也就是OAM(Object Attribute Memory),最多支持128个精灵,每个精灵占8bytes的OAM。精灵的8byt

  • Python面试都在这里了【315+道题】

    如何在函数中设置一个全局变量 ? logging模块的作用?以及应用场景? 请用代码简答实现stack 。 常用字符串格式化哪几种...

  • 附件1.服务器操作系统安全加固要求及配置建议【上】

    如果重启 auditd 服务后 /etc/audit/audit.rules 文件的内容消失了,可能是因为系统存在其他的规则文件,这些文件的规则优先级比 /etc/audit/audit.rules 文件高,导致 /etc/audit/audit.rules 文件的规则被覆盖了。...

  • Python面试题:都在这里了【315+道题】

    列举redis支持的过期策略。 MySQL 里有 2000w 数据,redis 中只存 20w 的数据,如何保证 redis 中都是热点数据?  写代码,基于redis的列表实现 先进先出、后进先出队列、优先级队列。 如何基于...

  • 杭州公司java开发工程师常见面试问题

    当客户第一次访问服务器时,服务器在内存创建对应的Session给访问客户,当客户离开或时间过期时;服务器自动销毁Session; Session是由容器管理的   11.set,map,set接口的区别  list以特定次序来持有...

  • Oracle 12cR1 RAC 在VMware Workstation上安装(上)—OS环境配置

    Oracle 12cR1 RAC 在VMware Workstation上安装(上)—OS环境配置       1.1  整体规划部分 1.1.1  所需软件介绍 Oracle RAC不支持异构平台。在同一个集群中,可以支持具有速度和...

Global site tag (gtag.js) - Google Analytics