`

MYSQL MGR模式注意事项

 
阅读更多

MySQL Group Replication(MGR)使用简介与注意事项

96 
偏执的工匠 
2018.07.23 16:18* 字数 1678 阅读 1519评论 0

MySQL Group Replication(MGR)是MySQL官方在5.7.17版本引进的一个数据库高可用与高扩展的解决方案,以插件形式提供。MGR基于分布式paxos协议,实现组复制,保证数据一致性。内置故障检测和自动选主功能,只要不是集群中的大多数节点都宕机,就可以继续正常工作。提供单主模式与多主模式,多主模式支持多点写入。MGR集群的搭建,参考文章MySQL MGR 集群搭建(单主模式&多主模式)

相对于传统的MySQL,MGR带来的改进让人激动人心,但是使用MGR也有一些前提条件与注意事项,下面基于 MySQL 8.0.11 版本进行简单说明。

一、MGR使用限制

  1. 仅支持innodb存储引擎
    MGR集群中,只支持innodb存储引擎,能够创建非innodb引擎的表,但是无法写入数据,向非innodb表写数据直接报错。
mysql> create table tb_myisam(id int, name varchar(50), primary key(id)) engine=myisam;
Query OK, 0 rows affected (0.05 sec)
mysql> insert into tb_myisam select 1, '1';
ERROR 3098 (HY000): The table does not comply with the requirements by an external plugin.
  1. 表必须有主键,或者非Null的唯一键
    MGR集群中,只支持innodb引擎的表,并且该表必须有显式的主键,或者非Null的唯一键,否则即使能够创建表,也无法向表中写入数据。
# 创建没有主键的表,写入数据失败
mysql> create table tb_no_primary_key(name varchar(50));
Query OK, 0 rows affected (0.15 sec)
mysql> insert into tb_no_primary_key select '1';
ERROR 3098 (HY000): The table does not comply with the requirements by an external plugin.

# 创建Null唯一索引的表,写入数据失败
mysql> create table tb_null_unique_key(name varchar(50), unique key(name));
Query OK, 0 rows affected (0.09 sec)
mysql> insert into tb_null_unique_key select '1';
ERROR 3098 (HY000): The table does not comply with the requirements by an external plugin.

# 创建非Null唯一索引的表,写入数据成功
mysql> create table tb_no_null_unique_key(name varchar(50) not null, unique key(name));
Query OK, 0 rows affected (0.04 sec)
mysql> insert into tb_no_null_unique_key select '1';
Query OK, 1 row affected (0.06 sec)
Records: 1  Duplicates: 0  Warnings: 0
  1. 网络限制
    MGR 组通信引擎目前仅支持IPv4网络,并且对节点间的网络性能要求较高,低延迟、高带宽的网络是部署MGR集群的基础。
  2. MGR忽略表锁和命名锁,在MGR中lock tables、unlock tables、get_lock、release_lock等这些表锁和命名锁将被忽略。
  3. MGR多主模式中,默认不支持 SERIALIZABLE 隔离级别。
  4. 多主模式下,对同一个对象进行并发的有冲突的ddl和dml操作导致这种冲突在部分成员节点中无法检测到,最终可能导致数据不一致。
  5. 多主模式下,不支持级联约束的外键,可能造成有冲突的操作无法检测。
  6. 不支持超大事务。
  7. 多主模式下可能导致死锁,比如select ...for update在不同节点执行,由于多节点锁无法共享,很容易导致死锁。
  8. 不支持复制过滤,如果有节点设置了复制过滤,将影响节点间决议的达成。
  9. MGR最多支持9个节点,大于9个节点,将拒绝新节点的加入。

二、节点配置要求

  • log_bin
  • log_slave_updates
  • binlog_format=ROW
  • gtid_mode=ON
  • master_info_repository=TABLE
  • relay_log_info_repository=TABLE
  • transaction_write_set_extraction=XXHASH64
  • 并行复制
    • slave_parallel_type=LOGICAL_CLOCK
    • slave_preserve_commit_order=1
    • slave_parallel_workers=[N]
  • binlog_checksum=NONE
  • transaction_isolation=READ-COMMITTED #官方推荐在MGR中隔离级别设置为RC

三、MGR冲突检测

MGR多主模式下,一个事务在执行时,并不会做前置的检查,但是在提交阶段,会和其他节点通信对该事务是否能够提交达成一个决议。在多个节点同对相同记录的修改,在提交时会进行冲突检测,首先提交的事务将获得优先权。例如对同一条记录的修改,t1事务先于t2事务,那么t1事务在冲突检测后获得执行权,顺利提交,而t2事务进行回滚。显然这种多点写入条件下,对于同一条记录的并发修改,由于大量的回滚,导致性能很低,因此MySQL官方建议,这种对于同一条记录的修改,应该放在同一个节点执行,这样可以利用节点本地锁来进行同步等待,减少事务回滚,提高性能。

四、MGR新节点加入过程

MGR中,新节点申请加入组,会在组中生成一个View_change事件,组内所有online节点将该事件写入到binlog,同时,申请加入组的新节点也会记录这个View_change事件,之后,该节点会进入下面两个阶段。

  • 第一阶段,新节点会从组内online的节点中选择一个作为贡献者(donor),通过标准的异步复制通道,拉取贡献者的binlog,并应用这些binlog。与此同时,新节点也会获取当前组内正在交换的事务信息,并将其缓存到队列中,当binlog应用完成,也就是应用到View_change事件处,异步复制通道关闭,进入第二阶段。
  • 第二阶段,新节点处理缓存在队列中的组内事务信息,当队列中的事务信息处理完成,即缓存队列长度为0时,新节点在组内状态变为online。

在第一阶段,遇到任何错误,新节点会自动从组内选择另外一个online节点作为贡献者,如果仍然遇到异常,会继续选择其他online节点,直到所有online节点枚举完毕,如果这时仍然报错,会sleep一段时间之后,再次重试,sleep时间和重试次数通过相应参数来控制。

第一阶段,应用binlog的开始点由新节点的gtid_executed决定,结束点由View_change事件决定。MGR新节点加入组的第一阶段,由于使用传统的异步binlog数据同步,如果新加入的节点使用较早的备份,可能出现binlog接不上的情况,新节点一直处于RECOVERING状态,在经过一定时间间隔和一定次数的重试后,恢复失败,新节点从组中退出。另外一种情况,binlog能够接上,但是binlog太多,导致应用binlog时间太长,同时第二阶段缓存队列也可能变得很大,整个恢复过程也将花费太长的时间。因些建议新节点加入组时,使用最近、最新的一次完整备份数据作为基础。

下面附上View_change事件信息和binlog接不上的报错信息。

View_change事件信息:

mysql> show binlog events;
+------------------+-----+----------------+-----------+-------------+--------------------------------------------------------------------+
| Log_name         | Pos | Event_type     | Server_id | End_log_pos | Info                                                               |
+------------------+-----+----------------+-----------+-------------+--------------------------------------------------------------------+
| mysql-bin.000003 |   4 | Format_desc    |         1 |         124 | Server ver: 8.0.11, Binlog ver: 4                                  |
| mysql-bin.000003 | 124 | Previous_gtids |         1 |         191 | aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaaaaaa:1-18                          |
| mysql-bin.000003 | 191 | Gtid           |         1 |         269 | SET @@SESSION.GTID_NEXT= 'aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaaaaaa:19' |
| mysql-bin.000003 | 269 | Query          |         1 |         331 | BEGIN                                                              |
| mysql-bin.000003 | 331 | View_change    |         1 |         470 | view_id=15313080985527991:9                                        |
| mysql-bin.000003 | 470 | Query          |         1 |         538 | COMMIT                                                             |
| mysql-bin.000003 | 538 | Gtid           |         1 |         616 | SET @@SESSION.GTID_NEXT= 'aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaaaaaa:20' |
| mysql-bin.000003 | 616 | Query          |         1 |         678 | BEGIN                                                              |
| mysql-bin.000003 | 678 | View_change    |         1 |         817 | view_id=15313080985527991:11                                       |
| mysql-bin.000003 | 817 | Query          |         1 |         885 | COMMIT                                                             |
+------------------+-----+----------------+-----------+-------------+--------------------------------------------------------------------+
10 rows in set (0.00 sec)

binlog接不上报错信息

 
转载:https://www.jianshu.com/p/4700e4272413
分享到:
评论

相关推荐

    mysql高可用集群MGR组复制集群介绍及搭建说明

    #### 六、注意事项 - MGR最大支持9个节点,超过此数目将拒绝新节点加入。 - 官方推荐节点数量为奇数个,以避免投票平局。 - 表必须有显式主键,否则即使可以建表也无法插入数据。 - 数据库默认字符集应设置为utf8mb...

    MGRMySQL Group Replication学习笔记.pdf

    ### 注意事项 - 在配置MGR时,主节点和从节点需要根据实际情况调整配置文件中的参数。 - 确保所有节点上的配置文件与角色一致,并且配置正确无误。 - MGR配置过程中的网络配置部分需要特别注意,以确保集群内的节点...

    使用Ansible一键安装MySQL,完成MGR部署。MySQL可能.zip

    以上内容从基础知识、工具选择、安装流程、实际操作到注意事项,全方位地介绍了如何使用Ansible一键安装MySQL并部署MGR。本文内容的介绍不仅能够帮助读者理解整个过程的来龙去脉,还能够为实际操作提供指导。

    201912-公众号精选文章合集《MySQL大智小技》1

    如从5.7升级到8.0需要注意的事项,MySQL Group Replication(MGR)的一致性读写特性,以及8.0版本引入的各种新功能,如通用表达式、函数索引、索引跳跃扫描、倒序索引、不可见索引、HINT模式、直方图、JSON到表的...

    高比例可再生能源电力系统的调峰成本量化与分摊模型——基于Matlab、Yalmip和Cplex的优化研究

    内容概要:本文探讨了高比例可再生能源接入对电力系统调峰能力的影响,提出了一种基于净负荷波动的调峰成本量化与分摊模型。首先,通过将负荷和可再生能源出力曲线转换为无波动的均值线,构建了无调峰需求的替代场景。接着,建立了含深度调峰和抽水蓄能的调度优化模型,用于计算不同场景下的调峰成本。通过比较有无调峰需求两种场景下的系统调峰成本,确定了单一主体导致的边际调峰成本,并采用Shapley值方法合理分摊调峰成本。研究表明,该模型可以有效反映各主体的调峰成本或贡献,有助于促进可再生能源的消纳和电力系统的稳定运行。 适合人群:从事电力系统规划、运营管理和可再生能源研究的专业人士,以及关注能源政策和技术发展的研究人员。 使用场景及目标:适用于评估和优化高比例可再生能源接入条件下的电力系统调峰成本,旨在提高电力系统的灵活性和经济性,同时促进可再生能源的有效利用。 其他说明:该模型需要根据实际情况进行调整和优化,以适应不同地区的电力市场特点和技术水平。

    ABB机器人与博图V16 Profinet通讯及外部启动配置详解

    内容概要:本文详细介绍了如何使用博图V16进行ABB机器人的外部启动及其与西门子设备的Profinet通讯配置。首先概述了ABB机器人和博图V16的基本概念,接着深入讲解了外部启动的重要性和实现方式,重点介绍了FB功能块的应用,以及Profinet通讯的具体配置步骤。文中还强调了GSD文件的作用,用于描述机器人的属性和行为,最后讨论了硬件配置的要求和注意事项,特别是对dsqc1030或dsqc652板卡的支持和888-2或888-3选项的需求。 适合人群:从事工业自动化领域的工程师和技术人员,尤其是那些负责机器人集成和编程的专业人士。 使用场景及目标:适用于需要将ABB机器人与西门子设备通过Profinet网络进行通讯并实现外部启动的项目。目标是提高自动化生产线的灵活性和效率,确保机器人和PLC之间的无缝协作。 其他说明:本文不仅提供了理论指导,还包含了实际操作中的关键细节,有助于读者快速掌握相关技能并在实践中应用。

    scratch少儿编程逻辑思维游戏源码-3D环境.zip

    scratch少儿编程逻辑思维游戏源码-3D环境.zip

    少儿编程scratch项目源代码文件案例素材-泼溅猫.zip

    少儿编程scratch项目源代码文件案例素材-泼溅猫.zip

    新能源领域基于EMD-ARMA的风光出力预测方法及其应用

    内容概要:本文介绍了基于EMD-ARMA的组合风光出力预测方法,详细阐述了经验模态分解(EMD)和自回归移动平均(ARMA)模型的应用步骤。首先,通过EMD将原始发电数据分解为多个本征模态函数(IMF),然后用ARMA模型对各IMF分量进行建模和预测,最后将预测结果叠加重构,获得最终的风光功率预测值。文中还提供了简化的Python代码示例,帮助读者理解和实现该方法。 适合人群:从事新能源研究和技术开发的专业人士,尤其是对风光发电预测感兴趣的科研人员和工程师。 使用场景及目标:适用于需要提高风光发电预测精度的项目,旨在通过先进的数学模型优化电力调度和资源配置。 其他说明:本文提供的代码示例仅用于教学目的,实际应用中需根据具体情况调整和完善。此外,建议在实践中参考更多专业文献和寻求专家意见以确保预测模型的准确性和可靠性。

    scratch少儿编程逻辑思维游戏源码-scratch RPG 战斗.zip

    scratch少儿编程逻辑思维游戏源码-scratch RPG 战斗.zip

    scratch少儿编程逻辑思维游戏源码-窗户冒险.zip

    scratch少儿编程逻辑思维游戏源码-窗户冒险.zip

    scratch少儿编程逻辑思维游戏源码-FC经典游戏 沙罗曼蛇.zip

    scratch少儿编程逻辑思维游戏源码-FC经典游戏 沙罗曼蛇.zip

    少儿编程scratch项目源代码文件案例素材-跑酷版《我的世界》.zip

    少儿编程scratch项目源代码文件案例素材-跑酷版《我的世界》.zip

    scratch少儿编程逻辑思维游戏源码-抜刀.zip

    scratch少儿编程逻辑思维游戏源码-抜刀.zip

    永磁同步电机无传感器控制:基于反电动势估计的扰动观测器设计与应用

    内容概要:本文介绍了永磁同步电机(PMSM)无位置传感器控制的一种创新方法,重点探讨了通过反电动势估计和扰动观测器增益设计来实现转子位置的精确估算。该方法避免了传统的PLL等位置观测器,仅需一次反正切计算即可获得转子位置,极大简化了系统复杂度。此外,模型控制器采用离散域设计,便于参数调整和适应不同电机参数。文中还提供了具体的Python代码示例,展示了从初始化电机参数到主循环控制的具体实现步骤。 适合人群:从事电机控制系统设计的研究人员和技术工程师,尤其是关注永磁同步电机无传感器控制领域的专业人士。 使用场景及目标:适用于需要简化调试流程、提高系统灵活性和适应多种电机参数的应用场景。主要目标是在保持高性能的同时降低硬件成本和系统复杂性。 其他说明:该方法不仅简化了调试过程,还提高了系统的鲁棒性和可靠性,特别适合于工业自动化、机器人技术和电动汽车等领域。

    汽车制动系统中双腔制动主缸的精细化建模与Simulink-Amesim联合仿真验证

    内容概要:本文深入探讨了乘用车双腔制动主缸的精细化建模及其在Simulink和Amesim中的联合仿真验证。文章首先介绍了双腔制动主缸的物理结构和动力学方程,特别是考虑了液压特性和机械传动的耦合关系。接着,作者详细描述了如何在Simulink中实现这些模型,并通过S函数处理变步长积分问题,确保仿真精度。此外,还讨论了联合仿真过程中遇到的数据交换频率问题,并提出了使用二阶保持器来补偿相位滞后的解决方案。最终,通过对不同推杆力输入条件下的仿真结果对比,验证了精细化模型的有效性和稳定性。 适合人群:从事汽车制动系统研究的技术人员、高校相关专业师生、对车辆动力学仿真感兴趣的工程师。 使用场景及目标:①帮助研究人员更好地理解和掌握双腔制动主缸的工作原理;②为后续更复杂的整车制动系统仿真提供可靠的子系统模型;③提高仿真精度,减少因模型简化带来的误差。 其他说明:文中提供了详细的建模步骤、公式推导、代码实现以及仿真结果对比,附带完整视频教程和参考资料,便于初学者学习。同时强调了实际应用中需要注意的关键细节,如流量计算、数据交换频率调整等。

    scratch少儿编程逻辑思维游戏源码-Scratch版Windows11.zip

    scratch少儿编程逻辑思维游戏源码-Scratch版Windows11.zip

    少儿编程scratch项目源代码文件案例素材-青蛙.zip

    少儿编程scratch项目源代码文件案例素材-青蛙.zip

    基于Matlab Simulink的光伏交直流混合微电网离网模式双下垂控制仿真模型研究

    内容概要:本文详细介绍了光伏交直流混合微电网在离网(孤岛)模式下的双下垂控制仿真模型。该模型利用Matlab/Simulink工具进行构建和仿真,涵盖了直流微电网、交流微电网以及互联变换器(ILC)的结构和控制策略。直流微电网采用电压电流双闭环下垂控制,交流微电网则通过恒压控制和下垂控制来维持稳定的频率和电压。ILC采用双下垂控制策略,通过归一化处理和偏差调整,使得交流母线频率和直流母线电压趋于一致。此外,模型还包括采样保持、坐标变换、功率滤波、SVPWM等辅助环节,以确保系统的稳定运行和高效能量管理。实验结果显示,在负载突增的情况下,系统依然能够保持良好的波形质量和稳定性。 适合人群:对微电网控制系统感兴趣的科研人员、电力工程技术人员及高校师生。 使用场景及目标:适用于研究和验证光伏交直流混合微电网在离网模式下的控制策略,特别是双下垂控制的应用效果。目标是提升微电网的稳定性和能量管理效率。 其他说明:仿真环境为Matlab2020b及以上版本,部分模块仅支持高版本软件。对于希望深入了解双下垂控制机制的研究者,可以通过进一步的学习和交流获得更多信息。

    基于EKF的INS-GPS松组合导航:15状态NED坐标系下的精准定位技术

    内容概要:本文详细介绍了基于扩展卡尔曼滤波器(EKF)的INS(惯性测量单元)和GPS(全球定位系统)松组合导航技术。首先解释了为何需要松组合导航,即通过融合INS和GPS的优势,提高定位的稳定性和准确性。接着阐述了15状态下的EKF融合方法,涵盖速度、姿态、位置等多个系统动态参数的估计与更新。然后讨论了NED(北东地)坐标系的应用及其带来的直观物理意义。最后提供了简化的Python代码片段,演示了如何在EKF中融合INS和GPS数据,以获得连续、稳定的导航结果。 适合人群:从事导航技术研发的专业人士,尤其是对EKF、INS、GPS以及多传感器数据融合感兴趣的工程师和技术研究人员。 使用场景及目标:适用于需要高精度、高可靠性定位系统的应用场景,如自动驾驶汽车、无人机飞行控制系统等。目标是通过融合INS和GPS数据,克服单一传感器的局限性,提升整个导航系统的性能。 其他说明:文中提供的代码仅为概念验证性质,实际工程应用中还需考虑更多复杂的因素和优化措施。

Global site tag (gtag.js) - Google Analytics