`

mysql 利用binlog增量备份,还原实例

 
阅读更多

一,什么是增量备份

增量备份,就是将新增加的数据进行备份。假如你一个数据库,有10G的数据,每天会增加10M的数据,数据库每天都要备份一次,这么多数据是不是都要备份呢?还是只要备份增加的数据呢,很显然,我只要备份增加的数据。这样减少服务器的负担。


二,启用binlog

vi my.cnf

log-bin=/var/lib/mysql/mysql-bin.log,如果是这样的话log-bin=mysql-bin.log默认在datadir目录下面

[root@BlackGhost mysql]# ls |grep mysql-bin
mysql-bin.000001
mysql-bin.000002
mysql-bin.000003
mysql-bin.000004
mysql-bin.000005
mysql-bin.000006
mysql-bin.index

启动后会产生mysql-bin这样的文件,每启动一次,就会增加一个或者多个。

mysql-bin.000002这样文件存放的是数据库每天增加的数据,所有数据库的数据增量都在这里面。

三,查看mysql-bin.000002这样的文件里面到底是什么东西

[root@BlackGhost mysql]# mysqlbinlog   /var/lib/mysql/mysql-bin.000002 > /tmp/add.sql

 

[root@BlackGhost mysql]# cat /tmp/add.sql   // 下面是根据mysql-bin生成的文件(部分内容)
/*!40019 SET @@session.max_insert_delayed_threads=0*/;
/*!50003 SET @OLD_COMPLETION_TYPE=@@COMPLETION_TYPE,COMPLETION_TYPE=0*/;
DELIMITER /*!*/;
# at 4
#100929 21:23:52 server id 1  end_log_pos 106     Start: binlog v 4, server v 5.1.50-log created 100929 21:23:52 at startup
# Warning: this binlog was not closed properly. Most probably mysqld crashed writing it.
ROLLBACK/*!*/;
BINLOG '
6D2jTA8BAAAAZgAAAGoAAAABAAQANS4xLjUwLWxvZwAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA
AAAAAAAAAAAAAAAAAADoPaNMEzgNAAgAEgAEBAQEEgAAUwAEGggAAAAICAgC
'/*!*/;
# at 106
#100929 21:29:35 server id 1  end_log_pos 134     Intvar
SET INSERT_ID=16/*!*/;
# at 134
#100929 21:29:35 server id 1  end_log_pos 237     Query    thread_id=1    exec_time=0    error_code=0
use test/*!*/;           //这里是test数据库
SET TIMESTAMP=1285766975/*!*/;
SET @@session.pseudo_thread_id=1/*!*/;
SET @@session.foreign_key_checks=1, @@session.sql_auto_is_null=1, @@session.unique_checks=1/*!*/;
SET @@session.sql_mode=0/*!*/;
SET @@session.auto_increment_increment=1, @@session.auto_increment_offset=1/*!*/;
/*!\C utf8 *//*!*/;
SET @@session.character_set_client=33,@@session.collation_connection=33,@@session.collation_server=33/*!*/;
SET @@session.lc_time_names=0/*!*/;
SET @@session.collation_database=DEFAULT/*!*/;
insert into aa(name)values('cccccccccc')
/*!*/;
# at 237
#100929 21:32:21 server id 1  end_log_pos 265     Intvar
SET INSERT_ID=12/*!*/;
# at 265
#100929 21:32:21 server id 1  end_log_pos 370     Query    thread_id=1    exec_time=0    error_code=0
SET TIMESTAMP=1285767141/*!*/;
insert into user(name)values('cccccccccc')
/*!*/;
# at 370
#100929 21:35:25 server id 1  end_log_pos 440     Query    thread_id=1    exec_time=0    error_code=0
SET TIMESTAMP=1285767325/*!*/;
BEGIN
/*!*/;
# at 440
#100929 21:35:25 server id 1  end_log_pos 468     Intvar
SET INSERT_ID=45/*!*/;
# at 468
#100929 21:35:25 server id 1  end_log_pos 573     Query    thread_id=1    exec_time=0    error_code=0
use blog/*!*/;             //这里是blog数据库
SET TIMESTAMP=1285767325/*!*/;
insert into city(CityName)values('asdf')
/*!*/;
# at 573
#100929 21:35:25 server id 1  end_log_pos 600     Xid = 205
COMMIT/*!*/;
DELIMITER ;
# End of log file
ROLLBACK /* added by mysqlbinlog */;
/*!50003 SET COMPLETION_TYPE=@OLD_COMPLETION_TYPE*/;

 面还有一个重要索引文件就是mysql-bin.index

 

 

 

   [root@BlackGhost mysql]# cat mysql-bin.index  
    ./mysql-bin.000001  
    ./mysql-bin.000002  
    ./mysql-bin.000003  
   ./mysql-bin.000004  
   ./mysql-bin.000005  
    ./mysql-bin.000006  

 

四,增量备份和增量还原

1,增量备份

既然我们知道了,mysql里面新增加的数据在mysql-bin这样的文件里面,我们只要把mysql-bin这样的文件进行备份就可以了。

cp /var/lib/mysql/mysql-bin* /data/mysql_newbak/

2,增量还原,讲几个常用的,比较有用的

a),根据时间来还原 –start-date,–stop-date

[root@BlackGhost mysql]# /usr/local/mysql/bin/mysqlbinlog –start-date=”2010-09-29 18:00:00″ –stop-date=”2010-09-29 23:00:00″ /var/lib/mysql/mysql-bin.000002 |mysql -u root -p

根据条件看一下数据

 

[root@BlackGhost mysql]# /usr/local/mysql/bin/mysqlbinlog  --start-date="2010-09-29 18:00:00"
--stop-date="2010-09-29 23:00:00"  /var/lib/mysql/mysql-bin.000002
//下面是部分内容,其实也就是一些对数据进行操作的sql语句
# at 237
#100929 21:32:21 server id 1  end_log_pos 265     Intvar
SET INSERT_ID=12/*!*/;
# at 265
#100929 21:32:21 server id 1  end_log_pos 370     Query    thread_id=1    exec_time=0    error_code=0
SET TIMESTAMP=1285767141/*!*/;
insert into user(name)values('cccccccccc')
/*!*/;
# at 370
#100929 21:35:25 server id 1  end_log_pos 440     Query    thread_id=1    exec_time=0    error_code=0
SET TIMESTAMP=1285767325/*!*/;
BEGIN
/*!*/;
# at 440
#100929 21:35:25 server id 1  end_log_pos 468     Intvar
SET INSERT_ID=45/*!*/;
# at 468
#100929 21:35:25 server id 1  end_log_pos 573     Query    thread_id=1    exec_time=0    error_code=0

 

b),根据起始位置来还原,–start-position,–stop-position

[root@BlackGhost mysql]# /usr/local/mysql/bin/mysqlbinlog –start-position=370 –stop-position=440  /var/lib/mysql/mysql-bin.000002 |mysql -u root -p

//查看插入的内容,根a)中是一样的

[root@BlackGhost mysql]# /usr/local/mysql/bin/mysqlbinlog –start-position=370 –stop-position=440  /var/lib/mysql/mysql-bin.000002

–start-position=370 –stop-position=440 这里面数字从哪儿来的呢?
# at 370
#100929 21:35:25 server id 1  end_log_pos 440 Query    thread_id=1    exec_time=0    error_code=0
SET TIMESTAMP=1285767325/*!*/;

上面的红色加粗的就是,一个是start-position,一个是stop-position

c),根据数据库名来进行还原 -d

在这里是小写的d,请不要把它和mysqldump中的-D搞混了。哈哈。

[root@BlackGhost mysql]# /usr/local/mysql/bin/mysqlbinlog -d test  /var/lib/mysql/mysql-bin.000002

查看内容,请参考a)

d),根据数据库所在IP来分-h

[root@BlackGhost mysql]# /usr/local/mysql/bin/mysqlbinlog -h 192.1681.102  /var/lib/mysql/mysql-bin.000002

查看内容,请参考a)

e),根据数据库所占用的端口来分-P

有的时候,我们的mysql用的不一定是3306端口,注意是大写的P

[root@BlackGhost mysql]# /usr/local/mysql/bin/mysqlbinlog -p 13306  /var/lib/mysql/mysql-bin.000002

查看内容,请参考a)

f),根据数据库serverid来还原–server-id

在数据库的配置文件中,都有一个serverid并且同一集群中serverid是不能相同的。

[root@BlackGhost mysql]# /usr/local/mysql/bin/mysqlbinlog –server-id=1  /var/lib/mysql/mysql-bin.000002

查看内容,请参考a)

注意:上面的几个例子,我都是一个一个说的,其实可以排列组合的。例如

[root@BlackGhost mysql]# /usr/local/mysql/bin/mysqlbinlog –start-position=”2010-09-29 18:00:00″ -d test -h 127.0.0.1 /var/lib/mysql/mysql-bin.000002 |mysql -u root -p

五,后续

增量备份的时候,有一点让人不爽,就是mysql-bin这样的文件,每启动一次mysql就会增加一些,如果你不去管他的话,时间长了,他会把你的磁盘占满。

./mysqldump –flush-logs -u root  myblog > /tmp/myblog.sql

备份myblog数据库,清除增量备份里面的有关myblog的数据

./mysqldump –flush-logs -u root  –all-databases > /tmp/alldatabase.sql

备份所有数据库,清除增量备份

mysql-bin.index的起索引作用,因为增量的数据不一定在一个mysql-bin000这样的文件里面,这个时候,我们就要根据mysql-bin.index来找mysql-bin这样的增量文件了。

如果mysql里面做了这样的配置binlog-do-db=test1,增量备份里面只会有test1这个数据库的数据

分享到:
评论

相关推荐

    xtrabackup全量+binlog增量实践

    在启动新实例后,我们使用`set global gtid_purged`命令来设置GTID_PURGED变量,以便应用binlog增量备份。接着,我们使用`change master`命令来设置主从复制的参数。最后,我们使用`start slave`命令来启动从站。 ...

    基于 mysql-binlog-connector-java 实现增量数据的收集.zip

    `mysql-binlog-connector-java` 是一个用于读取 MySQL 二进制日志(binlog)的Java库,它可以帮助开发者实现实时的数据复制、数据同步以及增量数据收集。在本项目中,我们将深入探讨如何利用这个库来实现这一功能。 ...

    springboot-binlog:基于 mysql-binlog-connector-java 实现增量数据的收集

    `springboot-binlog`项目就是针对这一需求的一个解决方案,它利用`mysql-binlog-connector-java`库来实现MySQL数据库的增量数据捕获。以下是对该项目及相关技术的详细解释。 ### SpringBoot与MySQL Binlog **...

    mysql-binlog-in-realtime 源代码包

    总的来说,"mysql-binlog-in-realtime"是一个强大的工具,可以帮助开发者高效地利用MySQL的binlog功能,实现数据的实时处理和传输。理解和掌握这个工具的使用,将极大地提升数据库管理的效率和灵活性。

    mysql自动增量备份的实例方法(本地备份与远程备份)

    总的来说,MySQL的自动增量备份是通过编写脚本结合定时任务来实现的,利用`mysqldump`工具进行数据导出,并确保在备份过程中尽可能减少对数据库的影响。定期备份和合理的备份策略对于任何使用MySQL的企业或个人来说...

    MySQL备份策略(全量与增量备份方案详解)

    本文详细介绍了一套基于MySQL的全量与增量备份方案,具体涉及全量备份工具mysqldump以及增量备份使用的mysqlpump、mydumper、xtrabackup等工具的特点比较,并深入探讨了不同备份方法的工作原理,提供了详尽的实例...

    mysql备份恢复代码实例.zip

    总之,这个压缩包提供的代码实例旨在教你如何有效地管理MySQL的备份和恢复,包括全量备份、增量备份的创建以及在不同情况下的恢复策略。通过学习和实践这些例子,你可以更好地理解MySQL的备份恢复机制,并能够为自己...

    MySQL binlog闪回工具

    9. **最佳实践**:结合定期全备、增量备份与binlog闪回,可以构建一个高效且安全的数据保护策略。同时,监控binlog大小和IO性能,以确保系统的健康运行。 通过理解和掌握这些关于MySQL binlog闪回工具的知识,你...

    基于binlog的异步增量实现MySQL分库分表(kafka做数据源)-luna-mysql.zip

    在这个场景中,我们关注的是如何通过MySQL的binlog(二进制日志)实现异步增量复制,以达到分库分表的目的,并利用Kafka作为中间数据传输层。这个项目"luna-mysql"提供了一个具体的解决方案。下面将详细阐述涉及的...

    详解监听MySQL的binlog日志工具分析:Canal

    Canal是阿里巴巴开源的一款用于MySQL数据库增量数据订阅与消费的工具,主要基于MySQL的binlog日志解析。MySQL的binlog日志记录了所有对数据库的更改操作,这对于数据同步和备份至关重要。Canal通过模拟MySQL slave的...

    canal数据binlog同步demo

    "canal数据binlog同步demo" 是一个关于使用Canal工具实现MySQL数据库binlog(二进制日志)同步的实例展示。Canal是阿里巴巴开源的一个数据库实时增量数据订阅与推送组件,它能监听MySQL的binlog事件,并将其转化为...

    MySQL数据库基础与实例教程所有资源

    MySQL提供了mysqldump工具进行全量备份,以及binlog文件进行增量备份。在发生数据丢失或系统故障时,能够快速恢复数据。 本教程的PPT版和PDF版提供了详细的讲解,配合源代码实例,将帮助你深入理解MySQL数据库的...

    MySQL数据库实时增量同步工具源代码.zip

    MySQL数据库实时增量同步工具是一种高效的数据管理解决方案,它允许用户在多个数据库实例之间实时地、持续地传输和更新数据。这种工具通常用于分布式系统、数据备份、数据仓库以及需要跨服务器复制数据的场景。源...

    canal + mysql + rabbitmq步骤(CanalListener)

    Canal是一款由阿里巴巴开源的、基于MySQL binlog的增量日志订阅与消费组件,它能够监听MySQL数据库的增删改查操作,并将这些变更事件转发到各种目标系统,如RabbitMQ消息队列。本教程将详细介绍如何配置Canal监听...

    canal同步mysql

    【标题】:“Canal同步MySQL”是一个用于数据库实时同步的工具,主要利用MySQL的binlog日志来实现数据的高效迁移和复制。在本项目中,它被集成到了SpringBoot 2.0.6框架中,并使用Undertow作为Web服务器。 【描述】...

    mysql学习实例,mysql学习资料

    了解如何使用mysqldump进行全量备份,以及如何利用binlog进行增量备份,是确保数据安全不可或缺的知识。 最后,性能优化是任何数据库管理员的必修课。这包括调整SQL查询、配置服务器参数、使用查询缓存、以及通过...

    mysql备份与恢复原理,操作流程

    4. 备份工具:逻辑备份工具有`mysqldump`和`binlog`,物理备份工具有`Percona Xtrabackup`,MySQL 8.0引入的Clone Plugin提供了一种云原生的物理克隆实例功能。 5. DBA的备份恢复职责包括设计备份策略(如备份周期...

    基于 java 实现增量数据的收集.zip

    本文将深入探讨如何利用Java技术,特别是Spring Boot和Binlog,来实现增量数据的收集。 首先,我们需要理解什么是增量数据。在数据库环境中,增量数据是指自上次数据提取以来发生更改的新数据或更新数据。这种数据...

    MySQL误操作后快速恢复数据的方法

    首先,需要恢复到最近的一次全量备份,然后应用自备份以来的增量binlog日志,直到找到并跳过误操作的SQL语句,接着继续应用后续的binlog日志。这种方法虽然可靠,但过程繁琐且耗时,不适合处理紧急情况。 更高效的...

    Mysql | binlog|data-569541.pdf

    2. 查看binlog文件列表:使用`show binary logs`命令可以列出当前MySQL实例上所有的binlog文件及其大小。例如,上述输出中可以看到多个mysql-bin.*的日志文件。 3. 查看binlog文件的位置和状态:`show master ...

Global site tag (gtag.js) - Google Analytics