`
flylynne
  • 浏览: 376054 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

mysql对binlog的处理

 
阅读更多

mysql对binlog的处理

Mysql和其它开源数据库相比,具有更好的扩展性。其主要原因是它提供了存储引擎的开放接口。喜欢自己折腾数据库的程序员可以从这个接口起步,打造有个性的数据库。然而这里不打算对某种存储引擎的实现细节进行描述,也不打算介绍各种存储引擎的优缺点,只是描述一下mysql如何处理binlog,并澄清几个容易混淆的问题。

Binlogmysql而言是重要的,主要体现在它的功能上。Mysql官方文档明确指出,binlog的启动大概会为mysql增加1%的负载,因此在绝大多数情况下,binlog都不会成为mysql的性能瓶颈。

Binlogmysql以二进制形式打印的日志,它默认不加密,不压缩。每个正常的binlog文件头部,有4个字节的标记,值为0xfe 0x62 0x69 0x6eLOG_EVENTbinlog里的单位,即正常情况下binlog按照逐LOG_EVENT的形式增长。除去头部的标记,binlog就是一个LOG_EVENT的序列。每个LOG_EVENT都独立单元,没有互相引用的关系,它也有自己的二进制头部,主要是记录了时间戳、类型标记等描述信息。

Mysql把磁盘操作的实现封装在IO_CACHE结构里,这也方便了我们对binlog的研究和描述,后文如果没有特别说明,读写binlog与读写IO_CACHE的含义相同。

为了解mysql写入binlog的过程,可以找一个sql语句的处理过程进行跟踪。以update为例,在最简单的情况下,mysql会先调用为存储引擎开放的接口ha_update_row,然而执行binlog_querybinlog进行写操作。这样处理的原因是,在主从备份的场景下,如果主库先写入binlog成功、在执行update的过程中crash,从库有可能执行update成功,此时主库重启之后,与从库的数据不一致。如果update操作发生在事务性的表上,在写入binlog之后会执行开放接口ha_autocommit_or_rollback,由存储引擎判断操作结果。

在主从备份的场景下,主库相当于server,从库相当于client,双方采用tcp短连接。从库发出读取日志的请求,主库接收请求、读取本地binlog、然后发送给从库。从库接收日志,进行简单校验后写本地日志,称为relay log。此处从库的流程专门由一个线程负责,称为同步io线程。从库还有一个线程,称为同步sql线程。它的行为是,定期读取relay log,解析并执行同步过来的sql语句。

下面回答几个问题:

1.       binlog的格式?

二进制顺序存储,不加密,不压缩

2.       binlog使用WAL吗?

No

3.       主库发送binlog,是使用内存里的copy吗?

无法确定,很有可能是先从磁盘上读一份,然后发送。

4.       relaylog使用WAL吗?

Yes。从库接收到日志后,会先写relay log

5.       binlogrelaylogSQL是否一致?

在网络传输正确性可靠的前提下,yes

 

    提一个问题:

       既然binlog不使用WAL,那么在主从场景下,mysql异常之后,主库和从库是否会不一致呢?

 

 

 

 

之前有个问题一直没弄明白:
既然mysql是先做数据操作、再写binlog,如果写binlog的时候失败,mysql又crash,数据怎么办?

答案是由存储引擎决定数据。
可以把mysql和它的存储引擎分开看,因为mysql只是一个框架,而不是一个实现。
binlog是mysql自己的日志,而事务是由存储引擎本身保证的。
以update为例,mysql做的事情简单分为:
1. 修改数据update
2. 写binlog
3. 如果当前处理的表是一个事务性的表,则commit或rollback
注意此处的update和commit/rollback都由存储引擎实现,mysql只是站在逻辑的高度上理解这些操作。

对于事务型的引擎innodb,它本身有日志保证数据的一致性。在innodb的实现中,update修改数据之前,
会新建一个事务,并建立一个回滚点。而在innodb提供的commit/rollback接口会提交/回滚事务。

因此对innodb而言,每条SQL语句的事务,其实包含了binlog的写操作。然而即使是这样,innodb仍然无法保证

binlog和数据的一致性,因为innodb在写commit成功后crash,回滚操作不会回滚binlog。按照手册上的说法,

把--innodb-support-xa设置为1,同时保证sync_binlog=1,才能保证innodb的binlog和数据一致。


对于非事务型的引擎myisam,没有commit/rollback的机会,因此在异常情况下,数据会和binlog不一致。
那么新的问题出现了:myisam如何处理这个不一致呢?

分享到:
评论

相关推荐

    基于 mysql-binlog-connector-java 实现增量数据的收集.zip

    MySQL是世界上最流行的关系型数据库管理系统之一,而MySQL的binlog(二进制日志)是其核心特性之一,用于记录所有对数据库进行的更改操作。`mysql-binlog-connector-java` 是一个开源库,它允许Java应用程序实时读取...

    MySQL Binlog Digger 4.8.0

    4. **版本更新**:4.8.0版的更新包括取消软件授权期限、修复bit int类型的bug、自动获取binlog时间、优化挖掘算法、去除对mysql命令的依赖、增加在线binlog下载、增强软件健壮性、修复科学记数法处理问题、以及解决...

    mysql通过binlog同步数据到redis的方法.docx

    6. Processor读取config.xml文件中的信息,获取需要同步到redis的表信息,对mysql-replication传过来的数据进行过滤,将需要处理的表数据打包成自定义的结构,传送到MQ Producer。 7. MQ Producer拆解数据包,以...

    分析 MySQL 的 binlog 日志的工具

    总的来说,分析MySQL的binlog日志是一项技术含量较高的任务,需要对MySQL的内部机制有深入理解。通过选择合适的工具和方法,我们可以有效地从binlog中提取有价值的信息,为数据库管理和优化提供有力支持。

    mysql-binlog-in-realtime 源代码包

    "mysql-binlog-in-realtime"源代码包就是针对MySQL binlog进行实时处理的一个工具,它允许开发者在事务发生时立即读取和解析binlog事件,从而实现对数据变更的实时响应。 1. **MySQL Binlog简介** MySQL的binlog是...

    Pulsar集群 监听mysql8的binlog java代码

    2. **MySQL Binlog**:MySQL的二进制日志(Binlog)记录了所有更改数据库的数据操作,如INSERT、UPDATE和DELETE等。它是实现数据复制和恢复的重要手段,也是实时同步数据的基础。 3. **Debezium**:Debezium是一个...

    php_client_for_mysql_binlog 源代码包

    5. **错误修复**:修复描述中的bug可能涉及到对binlog事件的正确解析、处理并发事务、或者在网络不稳定时的数据一致性保障。 6. **PHP编程**:理解如何在PHP环境中编写和使用这样的客户端库,包括面向对象编程、...

    springboot-binlog:基于 mysql-binlog-connector-java 实现增量数据的收集

    综上所述,`springboot-binlog`项目利用`mysql-binlog-connector-java`实现了对MySQL数据库增量数据的高效、实时收集,为大数据处理和实时分析提供了有力支持。在实际应用中,根据具体业务需求进行适当的定制和优化...

    mysql对binlog的处理说明

    然而这里不打算对某种存储引擎的实现细节进行描述,也不打算介绍各种存储引擎的优缺点,只是描述一下mysql如何处理binlog,并澄清几个容易混淆的问题。 Binlog对mysql而言是重要的,主要体现在它的功能上。Mysql官方...

    对比 MySQL 的 Binlog 日志处理工具.docx

    本文主要对比了三个流行的MySQL Binlog处理工具:Canal、Maxwell和Databus,以及阿里云的数据传输服务DTS。 1. **Canal** Canal是一款由阿里巴巴开发的开源项目,它专注于MySQL的增量数据订阅与消费。Canal的工作...

    mysql.binlog数据恢复

    这是一个eclipse安装插件,在oxygen下测试是可用的。有问题可以是下面反馈^_^ ...2、选中要处理的部分 3、选择菜单“jhh->binlog->”下对应的操作 4、会在相同目录下生成sql文件(文件名相同,加了sql后缀)

    8、NIFI综合应用场景-NiFi监控MySQL binlog进行实时同步到hive

    1. **模板配置**:在NiFi中,可以创建一个名为`mysql_to_hive_realtime`的模板,用于处理从MySQL binlog到Hive的数据流。模板中的处理器配置将包含捕获binlog事件、解析事件、转换数据格式以及将数据写入Hive的逻辑...

    Go-一个应用它提取MySQLbinlog解析binlog并将增量更新数据推送到不同的接收器

    “dolphinbeat-master”这个文件名可能是项目的源代码仓库,暗示了这个工具可能叫做"DolphinBeat",可能是一个轻量级且高性能的binlog处理引擎。在源码中,我们可能会找到关于如何配置、运行以及与MySQL交互的详细...

    rust-mysql-binlog:MySQL binlog 格式的 Rust 实现

    mysql_binlog是 MySQL 二进制日志解析器的一个干净的、 mysql_binlog Rust 实现,包括对 MySQL 5.7 中引入的 JSONB 类型的支持。 它的主要目的是处理基于行的日志消息,但它对旧的基于语句的复制有基本的支持。 它...

    基于Python实现用于解析和转换 MySQL 二进制日志(binlog)的工具源码

    - **数据分析**:对binlog的分析可以提供数据库操作的详细历史,帮助理解业务行为或进行性能优化。 7. **注意事项** - **安全**:处理binlog时需谨慎,因为它包含了数据库的所有变更,避免泄露敏感信息。 - **...

    MySQL二进制日志(binlog)解析工具

    在本主题中,我们将深入探讨如何使用Python工具对MySQL binlog进行解析,以及如何实现特定的过滤和处理功能。 首先,`binlog_parser`工具显然是一个Python程序,专门设计用来解析MySQL的binlog文件。它能够将binlog...

    实时数仓 mysql的binlog实时同步工具对比.docx

    综上所述,选择MySQL binlog实时同步工具时,需考虑项目需求、团队技术栈、易用性、灵活性以及是否需要额外的处理能力等因素。Canal适合需要高度定制和灵活控制的场景,Maxwell适合快速部署的小型项目,Databus适合...

    A001-MySQL安装、MySQL优化、innodb 锁问题监控处理、MySQL binlog日志、MySQL 基础

    A004-MySQL binlog日志 A005-MySQL 基础 A006-SQL语法 A007-MySQL 修改密码 特点和功能: 开源性: MySQL是开源软件,可以免费获取和使用。它的开放性质使得它受到了广泛的开发者和组织的支持和贡献。 关系型...

Global site tag (gtag.js) - Google Analytics