MySQL技术内幕：InnoDB存储引擎读书笔记（下）

 

第六章、锁

　　锁是区别文件系统和数据库系统的一个关键特性。

　　6.1、什么是锁?

　　锁是用来管理对共享文件的并发访问。innodb会在行级别上对数据库上锁。不过innodb存储引擎会在数据库内部其他多个地方使用锁，从而允许对不同资源提供并发访问。例如操作缓冲池中的LRU列表，删除，添加，移动LRU列表中的元素，为了保证一致性，必须有锁的介入。

　　6.2、innodb存储引擎中的锁

　　6.2.1、锁的类型

　　S lock 共享锁 允许事务读一行数据

　　X lock 排它锁 允许事务删除或者更新一条数据

　　IS lock 意向共享锁 事务想要获得一个表中某几行的共享锁

　　IX lock 意向拍他所 事务想要获得一个表中某几行的排它锁

　　可以使用 show engine innodb status\G查看 TRANSACTIONS中关于锁的信息。也可以使用 show full processlist查看相关信息。在innodb插件版本以后，可以通过查看INFORMATION—SCHEMA中的INNODB_TRX,INNODB_LOCKS,INNODB_LOCK_WAITS三张表来分析存在的锁问题。

　　具体参见 P207

　　6.2.2、一致性的非锁定读操作

　　一致性非锁定读(consistent nonlocking read)是指innodb通过多版本控制(multi versioning)的方式来读取当前执行时间数据库中行的数据。

　　多版本控制是通过快照实现的，快照数据其实就是当前数据之前的历史版本，可能有多个版本。这种技术称为行多版本技术，由此带来的并发控制叫做多半本并发控制(multi version concurrency control,MVCC).

　　在Read Committed和Repeatable Read(innodb默认的事务隔离级别)下，innodb存储引擎使用非锁定的一致性读。但是对于快照数据的定义却不同。

　　在Read Commited级别，对于快照数据，非一致性读总是读取被锁定行的最新一份快照。

　　在Repeatable级别下，对于快照数据，非一致性读总是读取事务开始时的行数据版本。

　　6.2.3、SELECT…FOR UPDATE & SELECT…LOCK IN SHARE MODE

　　SELECT…FOR UPDATE 可以获得一个X锁。

　　SELECT…LOCK IN SHARE MODE 可以获得一个S锁。

　　6.2.4、子增长和锁

　　对于含有子增长计数器的表进行插入时，会执行”SELECT MAX(auto_inc_col) FROM t FOR UPDATE;”插入操作会更具这个自增长的计数器值加1赋予自增长列。这个实现方式叫做AUTO-INC Locking。这是一种特殊的锁，为了提高并发，它不会在事务执行完才释放，只是在语句执行后立即释放。

　　从mysql-5.1.22版本开始，innodb引擎提供了一种轻量级互斥量的自增长实现机制，这种机制大大提高了子增长值插入的性能。并且mysql-5.1.22开始，innodb引擎提供了一个参数

　　innodb_autoinc_lock_mode，默认的值为1

　　在讨论新的增长方式之前我们需要对自增长实现方式分类：

　　INSERT-LIKE：指所有的插入语句，比如 INSERT、REPLACE、INSERT…SELECT、REPLACE…SELECT,LOAD DATA等

　　Simple insert：指在插入前就能确定插入行数的语句，包括INSERT、REPLACE，不包含INSERT…ON DUPLICATE KEY UPDATE这类语句。

　　Bulk inserts：指在插入前不能确定得到插入行的语句。如INSERT…SELECT,REPLACE…SELECT,LOAD DATA.

　　Mixed-mode inserts:指其中一部分是子增长的，有一部分是确定的。

　　现在有SIMPLE INSERT、BULK INSERTS、MIXED-MODE INSERTS三种类型的INSERT语句，有AUTO-inc locking(最早的)和轻量级互斥量的自增长两种auto—increment锁。

　　innodb_autoinc_lock_mode=0 5.1.22之前的方式，也就是所有类型的insert都用AUTO-inc locking。

　　innodb_autoinc_lock_mode=1 这个参数是5.1.22之后出现的也是之后的默认值，对于SIMPLE INSERT，使用轻量级互斥量的锁，对于BULK INSERT，使用AUTO-inc locking，

　　innodb_autoinc_lock_mode=2 指不管什么情况都使用轻量级互斥的锁，效率最高，但是复制只能使用row-base replication，因为statement-base replication会出现问题。

　　另外就是innodb和myisam的一个区别，innodb下，自增长必须是索引，而且必须是索引的第一个列，不然会报错，myisam不会出现这个问题。

　　6.2.5、外键和锁

　　innodb中，对于一个外键列，如果没有显示的对这个列加索引，innodb就自动的对其加一个索引。

　　6.3、锁的算法

　　innodb引擎有三种锁的算法设计：

　　Record lock：单个记录上的锁

　　Gap lock：间隙锁，锁定一个范围，但不包含记录本身

　　Next-key lock：Gap lock+Next-key lock锁定一个范围，并锁定记录本身。

　　6.4、锁问题

　　本来锁问题会导致的是更新丢失、幻读、脏读、不可重复读，但是innodb作者却只写出了三种问题,可能是幻读通过innodb Next-key Lock解决了，作者就没有提及。

　　这几个锁问题对应事务隔离的4个安全级别:

　　READ UNCOMMITTED(事务隔离最低的级别，有事务隔离就能解决更新丢失，但是存在脏读的问题)，

　　READ COMMITED(ORACLE和SQL SERVER默认的隔离级别，解决了脏读，但是一个事务多次读取的内容不同，出现了不可重复读的问题)，

　　READ REPEATABLE(可重复读，innodb引擎的默认事务隔离级别，解决了不可重复读的问题，但是产生了幻读，innodb通过Next-key lock解决了幻读).

　　SERIALIZABLE(可串行话，通过强制事务排序解决幻读问题，会降低性能)总的看来innodb默认的 READ REPEATABLE是非常棒的。

　　6.5、阻塞

　　innodb中需要其他事务的锁释放它锁占用的资源，这个时候就会发生锁等待，这就是阻塞。

　　innodb引擎有两个相关参数

　　innodb_lock_wait_timeout 用来设定等待的时间，默认是50秒，这是一个动态参数，可以随时调整

　　innodb_rollback_on_timeout 用来设定是否在等待超时时对进行中的事务进行回滚操作，默认是OFF，代表不回滚，这是一个静态参数。

　　6.6、死锁

　　死锁会惨生阻塞，所以可以通过6.5的参数，让超时的阻塞回滚。还有就是开发的时候，每个事务对表，字段，行的操作，都是顺序的，这样可以很大程度上避免死锁。

　　6.7、锁升级

　　innodb不存在锁升级问题，锁升级一般在SQL SERVER中使用。

　　第七章、事务

　　transaction是数据库区别于文件系统的重要特性之一，innodb引擎完全符合事务的ACID特性。

　　Automicity 原子性

　　Consistency一致性

　　Isolation 隔离性

　　durability 持久行

　　7.1、事务概述

　　详细介绍了ACID属性。

　　7.2、事务的实现

　　隔离性通过锁来实现，原子性、一致性、持久性通过数据库的redo和undo来完成。

　　7.2.1、redo

　　innodb通过redo日志文件和innodb log buffer来实现redo。

　　当事务开始时，innodb会记录该事务的一个LSN(Log Sequence Number,日志序列号)

　　当执行事务时，会往innodb log buffer写入事务日志

　　当事务提交时，必须将innodb存储引擎的日志缓存写入磁盘(默认的实现，通过innodb_flush_log_at_trx_commit=1)

　　这意味这磁盘上的页和内存缓冲池中的页是不同步的，可以通过 show ENGINE INNODB STATUS\G来观察当前磁盘和日志的”差距”，在LOG字段。Log sequence number表示当前的LSN，Log flushed up to表示刷新到重做日志文件的LSN，Last checkpoint at表示刷新到磁盘的LSN。

　　7.2.2、undo

　　undo和redo相反，redo是重做，undo是撤销。使用rollback语句请求回滚就可以利用undo信息将数据回滚到修改之前的样子。

　　redo存放在redo日志里面，undo存放在数据库内部的一个特殊段(undo segment),undo段位于共享表空间里。

　　undo是逻辑操作，它实际上是做与之前相反的工作，之前是insert，它就delete对于每个update，undo都会执行一个相反的update。

　　7.3、事务控制语句

　　AUTOCOMMIT = 0 关闭自动提交，等于1 开启自动提交

　　START TRANSACTION | BEGIN 显示的开启一个事务

　　COMMIT 提交你的事务

　　ROLLBACK 回滚

　　SAVEPOINT identifier SAVEPOINT允许你的事务中创建一个保存点，一个事务中可以有多个保存点

　　RELEASE SAVEPOINT identifier 删除一个事务的保存点

　　ROLLBACK TO [savepoint]identifier 回滚到之前创建的保存点

　　SET TRANSACTION 这个语句用来设置事务的隔离级别，innodb的隔离级别在6.4已经说过了。

　　completion_type = 0 时COMMIT和COMMIT WORK功能完全相同

　　completion_type = 1 时COMMIT WORK等于COMMIT AND CHAIN，表示提交后马上开启一个相同隔离级别的事务

　　complation_type = 2 时COMMIT WORK等于COMMIT AND RELEASE，当事务提交后会自动断开与服务器的链接

　　7.4、隐式提交的SQL语句

　　完成这些语句就会自动提交：

　　DDL

　　CREATE USER，DROP USER，GRANT、RENAME USER，REVOKE，SET PASSWORD

　　ANALYZE TABLE、CACHE INDEX、CHECK TABLE、LOAD INDEX INTO CACHE、OPTIMIZE TABLE、REPAIR TABLE

　　注意:TRUNCATE TABLE属于DDL语句，不能rollback。

　　7.5、对于事务的统计

　　QPS = Question Per Second = 每秒请求数

　　TPS = Transaction Per Second = 每秒事务处理能力

　　计算TPS的方法是com_commit + com_rollback/TIME = TPS

　　7.6、事务隔离级别

　　参考6.4

　　7.7、分布式事务

　　innodb引擎支持XA分布式事务。

　　分布式事务指营运需多个独立的事务资源(transactional resources)参与一个全局的事务中。事务资源通常是关系型数据库系统。全局事务要求在其中所有参与的事务要么都提交、要么都回滚，对于原有的ACID有了提高。

　　注意：在使用分布式事务时，innodb存储引擎的事务隔离级别必须设置成SERIALIABLE。

　　7.8、不好的习惯

　　7.8.1、在循环中提交事务

　　7.8.2、不要开启自动提交事务 set auto_commit = 0

　　7.8.3、使用自动回滚，存储过程中使用 declare exit handler for sqlexception rollback;

　　第八章、备份与恢复

　　对于dba来说，备份应该占工作比重的50%以上。

　　8.1、备份于恢复概述

　　hot backup

　　cold backup

　　warm backup

　　逻辑备份

　　裸文件备份

　　完全备份

　　增量备份

　　日志备份

　　8.2、冷备

　　关闭数据库，拷贝frm文件、共享表空间、单独表空间、重做日志文件，还有推荐备份my.cnf

　　冷备份的优点：

　　备份简单，只是拷贝相关文件

　　备份文件易于在不同操作系统、不同mysql版本上进行恢复

　　恢复简单

　　恢复速度快

　　缺点：

　　冷备份比逻辑备份占用更多的空间

　　要停止数据库

　　8.3、逻辑备份

　　mysqldump 最常用的逻辑备份工具，用法这里就不说明了，主要提示几个重要的参数。

　　–single-transaction 在备份开始前使用start transaction以此保证备份的一致性，需要保证没有其他DDL语句，针对innodb有效。

　　–lock-tables -l 在备份中依次锁住每个建构下所有的表，保证备份的一致性，一般用于myisam备份

　　–lock-all-tables -x 在备份过程中，对所有架构中的所有表上锁

　　–master-data=value 当值为1时，转储文件中有change master语句，如果值为2，change master语句是被注释的，此参数会忽略–lock-tables.如果没有使用–singletransaction则会自动使用–lock-all-tables

　　–events -E 备份事件调度器

　　–routines -R 备份存储过程和函数

　　–triggers 备份触发器

　　–tab=path 产生TAB分割的数据文件。对于每张表mysqldump会创建一个包含create table的table_name.SQL和一个包含数据的tbl_name.txt，可以使用参数改变默认的分割符和换行符。

　　8.3.2、select …. into outfile

　　使用select … into outfile ‘/tmp/file’; 和 load data infile ‘/tmp/file’ into table tablename;

　　8.4、二进制日志备份与恢复

　　8.5、热备

　　8.5.1、ibbackup工作原理如下：

　　1、记录备份开始时，innodb存储引擎重做日志文件检查点的LSN。

　　2、拷贝共享表空间文件以及独立表空间文件。

　　3、记录拷贝完表空间文件后，innodb存储引擎重做日志文件检查点的LSN。

　　4、拷贝在备份时产生的重做日志

　　在线备份

　　备份性能好

　　支持压缩备份

　　跨平台支持

　　8.5.2、xtrabackup

　　暂时留空

　　8.6、快照备份

　　使用文件系统快照或者LVM快照备份数据库。暂时留空

　　8.7、复制

　　8.7.1、复制的工作原理

　　a、主服务器把数据更新记录写道binlog

　　b、从服务器把主服务器的二进制日志拷贝到自己的中继日志中

　　c、从服务器重做做中继日志中的时间，把更新应用到自己服务器上。

　　从服务器有两个线程，一个io线程，负责读取主服务器的二进制日志，并将起保存为中继日志，另外一个sql线程，负责执行中继日志。

　　8.7.2、快照+复制的备份架构

　　主要功能：

　　数据分布 mysql的复制并不需要很多带宽，可以跨机实现数据拷贝

　　读取的负载平衡 通过读写分离实现

　　数据库备份 复制对备份有帮助，但是复制不能代替备份

　　高可用性和故障转移

　　从服务器做快照可以避免复制对误操作的处理能力，主需要根据从服务器的快照，然后根据二进制日志执行point-in-time的恢复即可。

　　第九章、性能调优

　　性能调悠主要涉及一下内容：

　　选择合适的CPU

　　内存的重要性

　　硬盘对数据性能的影响

　　合理的设置raid

　　操作系统的选择也很重要

　　不同文件系统对数据库的影响

　　选择合适的基准测试工具

　　9.1、选择合适的CPU

　　OLTP的特点

　　用户操作并发大

　　事务处理的时间一般比较短

　　查询的语句较为简单、一般走索引

　　复杂的查询较少

　　OLTP对CPU的需求不是很大，但是OLTP属于IO密集型的操作。

　　OLAP对CPU的需求比较大，需存储空间要求比较大，对操作时间不太敏感。

　　对于多核的CPU机器，可以修改innodb_read_io_threads和innodb_write_io_threads来增加IO线程，来充分利用多核的性能。

　　9.2、内存的重要性

　　学会判断内存是否已经达到瓶颈了?

　　通常innodb存储引擎的缓冲池的命中率不应该小于99%。

　　show global status like ‘innodb%read%’;

　　Innodb_buffer_pool_reads 表示物理磁盘读取页的次数

　　Innodb_buffer_pool_read_ahead 预读的次数

　　Innodb_buffer_pool_ahead_evicted 预读的页，但是没有被读取就从缓冲池中被替换的数量，一般用来判断预读的效率

　　Innodb_buffer_pool_read_requests 从缓冲池中读取页的次数

　　Innodb_data_read 总共读入的字节数

　　Innodb_data_reads 发起读取请求的次数，每次读取可能需要读取多个页

　　计算缓冲池命中率 = Innodb_buffer_pool_read_requests / (Innodb_buffer_pool_read_requests+Innodb_buffer_pool_read_ahead+Innodb_buffer_pool_reads)

　　平均每次读取的字节数 = Innodb_data_read / Innodb_data_reads

　　9.3、硬盘对数据库性能的影响

　　9.3.1、传统机械硬盘

　　机械硬盘两个重要的指标：寻道时间、转速。

　　机械硬盘顺序访问的速度远远大于随机访问。

　　可以通过raid提高数据库的性能，也可以将数据分布式的放到多个硬盘上。

　　9.3.2、固态硬盘

　　固态硬盘是有多个闪存组成的。

　　固态硬盘优点：

　　具有很高的随机读取能力、低延迟性、低功耗、防震等有点。

　　固态硬盘缺点：

　　闪存中的数据不可更新，只能通过山区的覆盖重写，而覆盖从写之前需要执行耗时的erase操作。earse操作通常以擦除块为单位，通常一个块是128KB。

　　所以使用固态硬盘应该很好的利用他的随机读取性能，避免过多的写入。

　　如果使用了固态硬盘，可以通过优化innodb_io_capacity参数，来充分利用固态硬盘的高IOPS特性。

　　9.4、合理的利用raid

　　9.4.1、raid类型

　　raid的作用：

　　增强数据集成度

　　增强容错功能

　　增加处理量或容量

　　根据不同磁盘的组合方式，常见的raid组合可以分为raid0、raid1、raid5、raid10和raid01.

　　raid0 具有所有raid级别中最高的读写性能，最高的存储空间利用率，最低的安全性，需要至少两快硬盘。

　　raid1 具有所有raid级别中最高的安全性，最低的存储空间利用率，较高的读性能和稍微减弱的写性能，需要至少两块硬盘。

　　raid5 是raid0和raid1的这种方案，具有和raid0相近的数据读取能力，写性能降低很利用，用于写入奇偶校验信息了，需要至少三块硬盘。

　　raid10 先将所有硬盘视为raid 0的最低级别，也就是把所有硬盘分成两部分，做成raid0.然后把这两部分中的硬盘做成raid1.提供较高的保护性和不错的性能。至少4块硬盘。

　　raid01 先将所有硬盘视为raid 1的最低级别，也就是把所有硬盘分成两部分，做成raid1,然后把这两部分中的硬盘做成raid0，提供了最高的性能，安全性较低。至少4块硬盘

　　raid50 …..

　　推荐使用raid10.

　　9.4.2、RAID write Backup功能

　　RAID write Backup功能就是将raid控制器要写入硬盘的数据写入自己的缓存中，并把他们安排到后期一起写入硬盘。这样做的目的肯定是提高磁盘性能。缓存比磁盘的IOPS高多非常多。

　　缺点是断电可能会丢失数据，所以提供了BBU(Battery backup unit，电池备份单元)。由于电池维护较为麻烦，所以又新出了BFWC技术。具体参见我的

　　9.4.3、RAID配置工具

　　一般可以在BIOS配置界面调节，页可以使用系统工具调节。P308介绍了LSI公司的MegaCLI工具的使用。

　　9.5、操作系统的选择

　　推荐linux和freebsd。

　　9.6、不同文件系统对数据库的影响

　　推荐ZFS或者使用lvml逻辑卷管理。

　　9.7、选择合适的基准测试工具

　　9.7.1、sysbench

　　参见我blog的sysbench的文章。

　　9.7.2、mysql-tpcc