`

mysql分布式思维(二)-备份恢复

阅读更多

1.备份原理
    按照最初的设计的逻辑关系,以数据库逻辑的结构为单位,将数据库中的数据按照预定义的逻辑
    关系一条一条生成相关的文本信息保存到文本文件中。

2.逻辑备份
    主要两种方法
          a.将数据生成为可以完全重现当时数据库中的数据的insert语句
   b.通过软件,将数据库表的数据以特定的分隔符进行分隔后记录到文本文件中

   生成insert语句的这种:要注意在备份的过程中,此时有数据发生变更。可能导致备份的数据不一致。
                                    如果对一致性要求很高,可能会备份无效。
      解决:mysqldump --->的参数来解决。
                  --single-transaction选项  把整个备份控制在一致事务当中
         通过把表锁住   --lock-tables
   生成特定格式纯文本备份数据文件
                       使用存储的空间小,数据格式清晰
         每个备份文件只能备份一个表,没有数据库结构的重建命令
                两种  :select ...from  ..into这样的语句
                   mysqldump  -T选项


3.mysqldump的操作
   3.1导出:
   mysqldump -u用户名 -p密码 -h主机 数据库 表 -w "sql条件" --lock-all-tables >路径

    案例:mysqldump -uroot -proot  wyzcbbs > d:\wyzc_bbs.txt
              mysqldump -uroot -proot wyzcbbs wyzc_reply > d:wyzc_reply.txt

   mysqldump的一些重要参数说明:
      --compatible=name
它告诉 mysqldump,导出的数据将和哪种数据库或哪个旧版本的 MySQL 服务器相兼容。值可以为 ansi、mysql323、mysql40、postgresql、oracle、mssql、db2、maxdb、no_key_options、no_tables_options、no_field_options 等,要使用几个值,用逗号将它们隔开。当然了,它并不保证能完全兼容,而是尽量兼容。
--complete-insert,-c
导出的数据采用包含字段名的完整 INSERT 方式,也就是把所有的值都写在一行。这么做能提高插入效率,但是可能会受到 max_allowed_packet 参数的影响而导致插入失败。因此,需要谨慎使用该参数,至少我不推荐。
--default-character-set=charset
指定导出数据时采用何种字符集,如果数据表不是采用默认的 latin1 字符集的话,那么导出时必须指定该选项,否则再次导入数据后将产生乱码问题。
--disable-keys
告诉 mysqldump 在 INSERT 语句的开头和结尾增加 /*!40000 ALTER TABLE table DISABLE KEYS */; 和 /*!40000 ALTER TABLE table ENABLE KEYS */; 语句,这能大大提高插入语句的速度,因为它是在插入完所有数据后才重建索引的。该选项只适合 MyISAM 表。
--extended-insert = true|false
默认情况下,mysqldump 开启 --complete-insert 模式,因此不想用它的的话,就使用本选项,设定它的值为 false 即可。
--hex-blob
使用十六进制格式导出二进制字符串字段。如果有二进制数据就必须使用本选项。影响到的字段类型有 BINARY、VARBINARY、BLOB。
--lock-all-tables,-x
在开始导出之前,提交请求锁定所有数据库中的所有表,以保证数据的一致性。这是一个全局读锁,并且自动关闭 --single-transaction 和 --lock-tables 选项。
--lock-tables
它和 --lock-all-tables 类似,不过是锁定当前导出的数据表,而不是一下子锁定全部库下的表。本选项只适用于 MyISAM 表,如果是 Innodb 表可以用 --single-transaction 选项。
--no-create-info,-t
只导出数据,而不添加 CREATE TABLE 语句。
--no-data,-d
不导出任何数据,只导出数据库表结构。
--opt
这只是一个快捷选项,等同于同时添加 --add-drop-tables --add-locking --create-option --disable-keys --extended-insert --lock-tables --quick --set-charset 选项。本选项能让 mysqldump 很快的导出数据,并且导出的数据能很快导回。该选项默认开启,但可以用 --skip-opt 禁用。注意,如果运行 mysqldump 没有指定 --quick 或 --opt 选项,则会将整个结果集放在内存中。如果导出大数据库的话可能会出现问题。
--quick,-q
该选项在导出大表时很有用,它强制 mysqldump 从服务器查询取得记录直接输出而不是取得所有记录后将它们缓存到内存中。
--routines,-R
导出存储过程以及自定义函数。
--single-transaction
该选项在导出数据之前提交一个 BEGIN SQL语句,BEGIN 不会阻塞任何应用程序且能保证导出时数据库的一致性状态。它只适用于事务表,例如 InnoDB 和 BDB。
本选项和 --lock-tables 选项是互斥的,因为 LOCK TABLES 会使任何挂起的事务隐含提交。
要想导出大表的话,应结合使用 --quick 选项。
--triggers
同时导出触发器。该选项默认启用,用 --skip-triggers 禁用它。
其他参数详情请参考手册,我通常使用以下 SQL 来备份 MyISAM 表:
/usr/local/mysql/bin/mysqldump -uyejr -pyejr "
--default-character-set=utf8 --opt --extended-insert=false "
--triggers -R --hex-blob -x db_name > db_name.sql
使用以下 SQL 来备份 Innodb 表:
/usr/local/mysql/bin/mysqldump -uyejr -pyejr "
--default-character-set=utf8 --opt --extended-insert=false "
--triggers -R --hex-blob --single-transaction db_name > db_name.sql
另外,如果想要实现在线备份,还可以使用 --master-data 参数来实现,如下:
/usr/local/mysql/bin/mysqldump -uyejr -pyejr "
--default-character-set=utf8 --opt --master-data=1 "
--single-transaction --flush-logs db_name > db_name.sql
它只是在一开始的瞬间请求锁表,然后就刷新binlog了,而后在导出的文件中加入CHANGE MASTER 语句来指定当前备份的binlog位置,如果要把这个文件恢复到slave里去,就可以采用这种方法来做。


3.2还原
     mysql -u用户名 -p密码 -h主机  数据库 < 路径

 

4.mysqlbinlog
    mysqlbinlog  日志文件的路径
    mysqlbinlog  日志文件的路径 > 路径 

    误操作之后可以通过mysqlbinlog来恢复数据
    mysqlbinlog --start-position=n --stop-position=n1 日志文件的路径 | mysql -u用户名 -p密码
    mysqlbinlog --start-position=340 --stop-position=443 d:/mysql/mysql-bin.000001 | mysql -uroot -proot
   

    以后做master/slave的时候binlog日志一样非常重要,slave主要通过读取binlog来进行同步的。


 5.xtrabackup
       ---->一个对innodb做数据库备份的工具,支持在线热备(备份时不影响数据的读写)
               是商业的备份工具HotBackup的一个很好的代替品。
       ---->percona公司的产品
               percona公司本身出品了一个数据库叫percona(对mysql进行了改进的产品)

分享到:
评论

相关推荐

    尚硅谷周阳老师的高级MySQL思维导图

    - **数据恢复策略**:学习如何在数据丢失或错误时,通过备份文件进行恢复操作。 5. **性能监控与调优** - **性能日志与慢查询日志**:开启并分析MySQL的性能日志和慢查询日志,找出影响性能的SQL语句。 - **...

    周阳Mysql高级脑图完整版,希望对你有用

    - MySQL Cluster:分布式多节点集群,提供高可用性和数据冗余。 9. **分区与分片**: - 表分区:提高大数据量查询性能,如按时间、范围或哈希值分区。 - 数据库分片:将数据分散到多个物理服务器,实现水平扩展...

    尚硅谷mysql高级+尚硅谷springcloud思维导图.mmap

    7. 数据库备份与恢复:学习备份策略,包括全备、增量备份数及如何在灾难发生时进行数据恢复。 8. 高级SQL语法:深入学习窗口函数、子查询、联接操作等复杂SQL语句的使用。 【尚硅谷springcloud】: SpringCloud是...

    mysql基础到进阶学习笔记

    5. **备份与恢复**:详细讲解如何进行MySQL的全量备份、增量备份和差异备份,以及如何恢复数据。 6. **性能优化**:涵盖查询优化、索引优化、配置参数调整等方面,提升数据库性能。 【MySQL-运维篇.pdf】则关注...

    数据库思维导图.rar

    9. **备份与恢复**:为了防止数据丢失,数据库系统支持定期备份和在出现问题时进行数据恢复。 10. **性能优化**:包括索引创建、查询优化、分区策略等方法,以提升数据库的读写速度和响应时间。 11. **NoSQL数据库...

    15-3中级-数据库系统工程师教程(第3版)(目录结构图和思维导图)).rar

    6. 数据库恢复与备份:学习如何在系统故障或灾难情况下恢复数据库,包括日志记录、检查点、备份策略等。 7. 分布式数据库与云数据库:随着云计算的发展,分布式数据库和云数据库成为热门话题,书中会介绍这些新兴...

    后端面试题汇总(Python、Redis、MySQL、PostgreSQL、Kafka、数据结构、算法、编程、网络).zip

    面试中可能涉及SQL查询优化、事务处理、存储引擎(InnoDB和MyISAM)、索引类型、视图、触发器和备份恢复策略等。 4. **PostgreSQL**: PostgreSQL是另一个强大的开源数据库系统,支持复杂查询和ACID事务。面试中可能...

    Uber平台架构设计介绍.docx

    在数据库层面,MongoDB的访问通过Wrapper进行管理,Wrapper包含了重试策略、数据备份和恢复机制,确保了数据的安全和一致性。通过这样的优化,Uber构建了一个强大且灵活的架构,能够处理大规模的用户请求,同时保证...

    数据库系统概论

    根据不同的特性和用途,数据库可以分为关系型数据库(如MySQL、Oracle)、非关系型数据库(如MongoDB、Redis)以及分布式数据库等。 二、数据库管理系统(DBMS) 数据库管理系统是用于创建、操作和管理数据库的软件...

    memcache-2.2.3.tgz

    6. **故障恢复和监控**:如何备份和恢复数据,以及通过日志和指标监控Memcached的运行状态。 7. **与其他技术的集成**:例如与Web框架、数据库、负载均衡器等的集成策略。 通过深入学习和实践,我们可以掌握如何在...

    数据库总结,适合期末复习!!!!

    3. **备份与恢复**:了解不同类型的备份策略,如完整备份、增量备份和差异备份,以及如何进行数据恢复。 4. **安全性**:如何防止SQL注入攻击,理解加密和审计机制,确保数据安全。 期末考试可能会涵盖理论知识的...

    本科计算机毕业论文论文

    2. 数据备份与恢复:定期备份数据库以防止数据丢失,设计恢复策略以应对系统故障或数据错误。 六、分布式数据库与云计算环境下的数据库 1. 分布式数据库:数据分布在多个物理位置,通过网络连接,提供全局一致性...

    各大互联网公式面试题大汇总

    3. 数据库管理:熟悉MySQL、Oracle、MongoDB等数据库的管理,包括备份、恢复、性能调优。 五、分布式系统 1. 分布式一致性:了解CAP原理,理解Paxos、Raft等分布式一致性算法。 2. 分布式计算:MapReduce模型及其...

    数据库系统工程师真题和答案

    4. **数据库管理**:包括数据库的安装、配置、备份与恢复策略,性能监控与调优,以及安全性设置,如用户权限管理、角色权限分配等。 5. **数据库系统架构**:理解不同的数据库管理系统,如关系型数据库(如Oracle、...

    DM实验指导书及报告册.zip

    这包括理解不同的备份类型(如完整备份、增量备份和差异备份)以及如何在系统故障后恢复数据。 6. **大数据处理**: 随着数据量的爆炸性增长,大数据技术变得越来越重要。Hadoop、Spark等框架可以帮助处理大规模...

    企业QQ系统的设计与实现

    同时,系统需要具备容错机制,如数据备份和恢复,以应对可能出现的硬件故障。此外,性能优化也是必不可少的,如通过缓存技术减少数据库访问,通过负载均衡提高服务器处理能力。 在实际开发过程中,可能会用到的技术...

    Grokking-the-System-Design:摸索系统设计面试课程资料

    在容错机制方面,课程会讲解故障恢复、冗余备份、分布式一致性算法(如Paxos、Raft)以及幂等性设计,确保系统在面对故障时仍能保持稳定运行。此外,性能优化是系统设计中的重要环节,包括网络优化、资源调度和并行...

Global site tag (gtag.js) - Google Analytics