mysql innodb中,还是存在当恢复recovery故障后,时间很长的问题,查了下,原来原因如下:
当故障发生,重新启服务后,会自动完成恢复操作,将数据库恢复到之前一个正常状态。恢复进程会完成两步,第一步:检查redo日志,将之前完成并提交的事务全部重做;第二步:将undo日志中,未完成提交的事务,全部取消。那么,就仅仅做了这么两步为什么恢复过程会变得如此漫长呢?在InnoDB未对恢复速度做提升之前,MySQL的bug列表中,曾被提出了两个改进请求:Bug #29847和Bug #49535。
“民间办法”— 治标不治本
方法1:重启mysqld之前,暂时减小innodb_buffer_pool_size的大小,将innodb_flush_method=O_DIRECT临时注释掉,会缩短故障恢复的时间。
方法2:一开始就把my.cnf中参数innodb_log_file_size的大小设置的小些,该选项与恢复时间的长短有直接关系,但太小也会对性能造成影响。
“专业解决” — 改进代码
Bug #49535提到,在恢复期间重做redo日志时,检查可用内存的大小将消耗超过90%的CPU。恢复redo日志时,会在buffer pool中开辟一块空间,用来的将redo log从磁盘中读到内存当中,放到一个hash table里面,随着读出redo log的增加,这个hash table会不断增大,为了保证该空间不超过buffer pool的大小,所以,每读入一次redo log都要去遍历一遍hash table来获得其大小,显然效率低下而且很耗资源。解决办法是在hash table的结构中加入一个头字段来单独记录总的大小。
Bug #29847是由flush list过大导致。当每执行一条日志后,都会被插入到一个叫作flush list的列表中,也就是我们说的dirty page列表,正常情况下有跟新完成,那么新的跟新会被放到列表的前面,而当发生恢复时,每次跟新的记录都会按照之前LRU的顺序放到原来的位置,同时,不幸的是这个flush list又是一个古老的链表结构,每次插入的遍历痛苦,你懂得!flush list变的越长将消耗的时间就越久,所以,为什么之前提到,减小innodb_log_file_size的大小,能有效的缩短恢复时间,其实,是为了减少flush list的大小。解决办法是采用一种叫做红黑树(red-black tree)的数据结构,这个我还没有看明白:) 在pluin 1.0.7以后就没有恢复太久的问题了,为了提高性能完全可以尽可能的加大redo log的设置,InnoDB也保证了不会再有超长恢复等待的发生。
分享到:
相关推荐
MySQL InnoDB Cluster是一种高可用性解决方案,用于在MySQL 8中构建分布式数据库系统。它基于InnoDB存储引擎,提供了一种自动化的故障切换和数据复制功能,确保即使在单个节点故障时,整个集群也能保持运行。以下是...
### MySQL体系结构及原理(innodb)图文完美解析 #### 宏观认识 在深入探讨MySQL的体系结构及其核心组件InnoDB之前,我们先来理解几个基础概念。 1. **MySQL简介** MySQL是一种开源的关系型数据库管理系统(RDBMS)...
最近在学习MySQL技术内幕 InnoDB存储引擎 第2版,整理了一些文档分享出来,同时也方便以后查看。若有不当之处,烦请批评指正。 1. MySQL体系结构和存储引擎 2. InnoDB存储引擎 2.1 InnoDB体系结构 2.2 ...
### MySQL 5.6 新特性-InnoDB:深入剖析 #### MySQL 5.6 版本简介及重要性 MySQL 5.6 是 MySQL 的一个重要版本,相比于之前的版本(如 MySQL 5.1 和 5.5),它在多个方面进行了显著的改进。这些改进不仅提升了...
深入学习《MySQL内核:InnoDB存储引擎 卷1》,读者可以了解到InnoDB的内部工作机制,如如何处理B+树索引、事务的提交与回滚、锁的实现以及内存管理等内容,这对于优化数据库性能、解决并发问题、设计高效的数据模型...
- **应用场景**:根据系统负载情况调整日志文件大小,较大值可以减少刷新缓冲池的频率,但会延长崩溃后的恢复时间。 ##### 7. `innodb_log_buffer_size` - **描述**:定义InnoDB在写入日志磁盘文件之前的缓冲区大小...
针对这些问题,MySQL 8.0版本中InnoDB引入了一个全新的数据字典(New Data Dictionary),它将系统表放入DD表空间,并且数据字典更新是事务性的,保证了原子性。这一改进有多个好处:它提供了一个“真相之源”(One ...
- **innodb_file_per_table**:该参数控制InnoDB是否为每个表使用独立的数据表空间,建议设置为1,以避免共享表空间(ibdata1)可能带来的问题,例如难以进行数据库的备份和恢复。 - **innodb_stats_on_metadata**...
【MySQL启动报错问题InnoDB:Unable to lock/ibdata1 error】是一个常见的MySQL服务器启动时遇到的问题。这个问题通常表明MySQL的InnoDB存储引擎无法获取对`ibdata1`文件的锁,`ibdata1`是InnoDB用来存储数据和系统表...
在尝试重启MySQL服务时,遇到了InnoDB引擎的恢复过程失败,报错显示日志序列号扫描过程中发生了错误,并且mysqld进程收到了信号11,这通常意味着可能出现了内存损坏、软件bug或者硬件问题。 二、问题分析 mysqld ...
《MySQL技术内幕_InnoDB存储引擎_姜承尧_第2版》是一本深入探讨MySQL数据库中InnoDB存储引擎的专业书籍。作者姜承尧是数据库领域的知名专家,他的这部著作详细阐述了InnoDB引擎的核心概念、设计原理以及实际操作技巧...
同时,了解InnoDB与其他存储引擎如MyISAM的差异,以及如何处理InnoDB的死锁和表损坏问题,也是提升MySQL数据库管理能力的重要部分。在遇到InnoDB `COUNT(*)` 计算速度慢的问题时,可以考虑使用索引或优化查询语句来...
2013年在中国举办的数据库大会上,主题为“深入解析MySQL InnoDB引擎”的演讲由Calvin Sun(孙春生)进行,他当时是Twitter的高级经理,此前在Oracle和MySQL等公司拥有丰富的经验。在这次大会上,他向与会者深入解析...
MySQL中的InnoDB存储引擎是用于处理事务处理和并发操作的核心组件。InnoDB是MySQL数据库中最常用的存储引擎之一,尤其在需要事务支持的应用中。本文将深入探讨InnoDB的特性和事务处理的ACID属性。 首先,事务是...
MySQL的InnoDB存储引擎在处理大量数据和高并发事务时,其性能调优至关重要。以下是一些关于如何配置和优化InnoDB性能的关键提示: 1. **监控InnoDB状态**: 使用`SHOW INNODB STATUS`命令可以查看InnoDB引擎的状态...
9. **恢复默认设置**:如果尝试启用InnoDB失败,且MySQL服务无法启动,可能需要暂时将默认存储引擎改回MyISAM,以确保数据库能够正常运行。之后再逐步排查和修复InnoDB的问题。 综上所述,解决“Unknown/...
当用户尝试将 MySQL 数据库的存储引擎从其他类型(如 MyISAM)改为 InnoDB 时,可能会遇到各种问题。在文档描述的案例中,用户遇到了“Unknown/unsupported storage engine: InnoDB”的错误,这通常意味着 MySQL ...
- **修复InnoDB表空间**:如果问题是由于表空间损坏导致的,可以尝试使用`mysqlcheck`工具进行修复,或者使用`innodb_force_recovery`参数设置不同的恢复级别。 - **检查权限和配置**:确保MySQL服务有足够的权限...
1. **版本兼容性**:确保InnoDB Plugin与MySQL的版本兼容,否则可能引发未知问题。 2. **数据迁移**:升级前,需要对现有InnoDB表进行备份,因为InnoDB Plugin可能不完全兼容旧的数据格式。 3. **监控与调优**:...