`
melec
  • 浏览: 28511 次
  • 性别: Icon_minigender_1
  • 来自: 北京
文章分类
社区版块
存档分类
最新评论

mysqldump

SQLCachePerl工作F# 
阅读更多
<p><span class=style1>作/译者：叶金荣（Email: <img src="http://image2.360doc.com/DownloadImg/2008/12/2/36491_2038379_1.gif" border=0>），来源：<a href="http://imysql.cn/">http://imysql.cn</a>，转载请注明作/译者和出处，并且不能用于商业用途，违者必究。</span></p>

<h1>0、前言</h1>

<p>本文主要探讨 <em>mysqldump</em> 的几种主要工作方式，并且比较一下和 <em><a href="http://www.maatkit.org/tools.html" target=_blank>mk-parralel-dump</a></em> 的一些差异，为备份方式的选择提供更多的帮助。</p>

<p>&nbsp; </p>

<h1>1、mysqldump</h1>

<p>首先来看下 <em>mysqldump</em> 的几个主要参数的实际工作方式。</p>

<h2>mysqldump 几个主要选项<br>1. -q<br>很简单，什么都不做，只是导出时加了一个 <strong>SQL_NO_CACHE</strong> 来确保不会读取缓存里的数据。

<p>&#160;</p>

<pre class=plaintext_pre>081022 17:39:33       7 Connect     root@localhost on

7 Query       /*!40100 SET @@SQL_MODE='' */

7 Init DB     yejr

7 Query       SHOW TABLES LIKE 'yejr'

7 Query       LOCK TABLES `yejr` READ /*!32311 LOCAL */

7 Query       SET OPTION SQL_QUOTE_SHOW_CREATE=1

7 Query       show create table `yejr`

7 Query       show fields from `yejr`

7 Query       show table status like 'yejr'

7 Query       SELECT /*!40001 SQL_NO_CACHE */ * FROM `yejr`

7 Query       UNLOCK TABLES

7 Quit

</pre>

<p>2. --lock-tables<br>跟上面类似，不过多加了一个 <strong>READ LOCAL LOCK</strong>，该锁不会阻止读，也不会阻止新的数据插入。 </p>

<pre class=plaintext_pre>081022 17:36:21       5 Connect     root@localhost on

5 Query       /*!40100 SET @@SQL_MODE='' */

5 Init DB     yejr

5 Query       SHOW TABLES LIKE 'yejr'

5 Query       LOCK TABLES `yejr` READ /*!32311 LOCAL */

5 Query       SET OPTION SQL_QUOTE_SHOW_CREATE=1

5 Query       show create table `yejr`

5 Query       show fields from `yejr`

5 Query       show table status like 'yejr'

5 Query       SELECT /*!40001 SQL_NO_CACHE */ * FROM `yejr`

5 Query       UNLOCK TABLES

5 Quit

</pre>

<p>3. --lock-all-tables<br>这个就有点不太一样了，它请求发起一个全局的读锁，会阻止对所有表的写入操作，以此来确保数据的一致性。备份完成后，该会话断开，会自动解锁。 </p>

<pre class=plaintext_pre>081022 17:36:55       6 Connect     root@localhost on

6 Query       /*!40100 SET @@SQL_MODE='' */

6 Query       FLUSH TABLES

6 Query       FLUSH TABLES WITH READ LOCK

6 Init DB     yejr

6 Query       SHOW TABLES LIKE 'yejr'

6 Query       SET OPTION SQL_QUOTE_SHOW_CREATE=1

6 Query       show create table `yejr`

6 Query       show fields from `yejr`

6 Query       show table status like 'yejr'

6 Query       SELECT /*!40001 SQL_NO_CACHE */ * FROM `yejr`

6 Quit

</pre>

<p>4. --master-data<br>除了和刚才的 --lock-all-tables 多了个 <strong>SHOW MASTER STATUS</strong> 之外，没有别的变化。 </p>

<pre class=plaintext_pre>081022 17:59:02       1 Connect     root@localhost on

1 Query       /*!40100 SET @@SQL_MODE='' */

1 Query       FLUSH TABLES

1 Query       FLUSH TABLES WITH READ LOCK

1 Query       SHOW MASTER STATUS

1 Init DB     yejr

1 Query       SHOW TABLES LIKE 'yejr'

1 Query       SET OPTION SQL_QUOTE_SHOW_CREATE=1

1 Query       show create table `yejr`

1 Query       show fields from `yejr`

1 Query       show table status like 'yejr'

1 Query       SELECT /*!40001 SQL_NO_CACHE */ * FROM `yejr`

1 Quit

</pre>

<p>5. --single-transaction </p>

</h2>

<p>InnoDB 表在备份时，通常启用选项 <em>--single-transaction</em> 来保证备份的一致性，实际上它的工作原理是设定本次会话的隔离级别为：REPEATABLE READ，以确保本次会话(dump)时，不会看到其他会话已经提交了的数据。</p>

<pre class=plaintext_pre>081022 17:23:35       1 Connect     root@localhost on

1 Query       /*!40100 SET @@SQL_MODE='' */

1 Query       SET SESSION TRANSACTION ISOLATION LEVEL REPEATABLE READ

1 Query       BEGIN

1 Query       UNLOCK TABLES

1 Init DB     yejr

1 Query       SHOW TABLES LIKE 'yejr'

1 Query       SET OPTION SQL_QUOTE_SHOW_CREATE=1

1 Query       show create table `yejr`

1 Query       show fields from `yejr`

1 Query       show table status like 'yejr'

1 Query       SELECT /*!40001 SQL_NO_CACHE */ * FROM `yejr`

1 Quit

</pre>

<p>6. --single-transaction and --master-data<br>本例中，由于增加了选项 <em>--master-data</em>，因此还需要提交一个快速的全局读锁。在这里，可以看到和上面的不同之处在于少了发起 <strong>BEGIN</strong> 来显式声明事务的开始。这里采用 <strong>START TRANSACTION WITH CONSISTENT SNAPSHOT</strong> 来代替 <strong>BEGIN</strong> 的做法的缘故不是太了解，可以看看源代码来分析下。 </p>

<pre class=plaintext_pre>081022 17:27:07       2 Connect     root@localhost on

2 Query       /*!40100 SET @@SQL_MODE='' */

2 Query       FLUSH TABLES

2 Query       FLUSH TABLES WITH READ LOCK

2 Query       SET SESSION TRANSACTION ISOLATION LEVEL REPEATABLE READ

2 Query       START TRANSACTION WITH CONSISTENT SNAPSHOT

2 Query       SHOW MASTER STATUS

2 Query       UNLOCK TABLES

2 Init DB     yejr

2 Query       SHOW TABLES LIKE 'yejr'

2 Query       SET OPTION SQL_QUOTE_SHOW_CREATE=1

2 Query       show create table `yejr`

2 Query       show fields from `yejr`

2 Query       show table status like 'yejr'

2 Query       SELECT /*!40001 SQL_NO_CACHE */ * FROM `yejr`

2 Quit

</pre>

<p>关于隔离级别可以看手册 <a href="http://dev.mysql.com/doc/refman/5.0/en/innodb-transaction-isolation.html" target=_blan>13.2.10.3. InnoDB and TRANSACTION ISOLATION LEVEL</a>，或者本站之前的文章：<a href="http://imysql.cn/2008_07_10_innodb_tx_isolation_and_lock_mode" target=_blan>[InnoDB系列] - 实例解析Innodb的隔离级别以及锁模式</a>。 </p>

<p>关于 <strong>START TRANSACTION WITH CONSISTENT SNAPSHOT</strong> 的说明可以看下手册描述： </p>

<pre class=plaintext_pre>The WITH CONSISTENT SNAPSHOT clause starts a consistent read for storage engines that are capable of it. This applies only to InnoDB. The effect is the same as issuing a START TRANSACTION followed by a SELECT from any InnoDB  table. See Section 13.2.10.4, &#8220;Consistent Non-Locking Read&#8221;. The WITH CONSISTENT SNAPSHOT clause does not change the current transaction isolation level, so it provides a consistent snapshot only if the current isolation level is one that allows consistent read (REPEATABLE READ or SERIALIZABLE).

</pre>

<p><a href="http://imysql.cn/原文链接：http://dev.mysql.com/doc/refman/5.0/en/commit.html" target=_blank>12.4.1. START TRANSACTION, COMMIT, and ROLLBACK Syntax</a></p>

<p>&nbsp; </p>

<h1>2. mysqldump 和 mk-parralel-dump 的比较</h1>

<p><em>mk-parralel-dump</em> 是开源项目 <a href="http://www.maatkit.org/" target=_blank>Maatkit</a> 中的一个工具，主要由 <a href="http://www.xaprb.com/blog/" target=_blank>Baron Schwartz</a> 维护。<br><em>mk-parralel-dump</em> 是由 perl 开发的，可以实现并发的导出数据表。具体的功能不细说，自己去看相关文档吧。这里只列出在我的环境下和 <em>mysqldump</em> 的对比数据。</p>

<h2>2.1 mysqldump 常规使用</h2>

<pre class=plaintext_pre>#导出耗时

time mysqldump -f --single-transaction -B yejr --tables yejr | gzip &gt; /home/databak/yejr.sql.gz

real    10m15.319s

user    6m47.946s

sys     0m38.496s

#文件大小

608M /home/databak/yejr.sql.gz

#导出期间系统负载

05:00:01 PM       all      0.71      0.00      0.61      7.33     91.36

05:10:02 PM       all     13.93      0.00      2.21      4.64     79.22

</pre>

<p>&nbsp; </p>

<h2>2.2 mysqldump + gzip --fast</h2>

<pre class=plaintext_pre>#导出耗时

time mysqldump -f --single-transaction -B yejr --tables yejr | gzip --fast &gt; /home/databak/yejr_fast.sql.gz

real    9m6.248s

user    4m21.467s

sys     0m37.604s

#文件大小

815M Oct 21 17:33 /home/databak/yejr_fast.sql.gz

#导出期间系统负载

05:20:01 PM       all     11.94      0.00      2.43      5.69     79.94

05:30:01 PM       all      6.46      0.00      1.57      3.95     88.02

</pre>

<p>&nbsp; </p>

<h2>2.3 mk-parallel-dump 常规使用</h2>

<pre class=plaintext_pre>time ./mk-parallel-dump --database yejr --tables yejr --basedir /home/databak/

default:             25 tables,    25 chunks,    25 successes,  0 failures, 404.93 wall-clock time, 613.25 dump time

real    6m48.763s

user    4m20.724s

sys     0m38.125s

#文件大小

819M    /home/databak/default/yejr/

#导出期间系统负载

05:10:02 PM       all     13.93      0.00      2.21      4.64     79.22

05:20:01 PM       all     11.94      0.00      2.43      5.69     79.94

</pre>

<p>可以看到，mk-parallel-dump 尽快确实实现了并发导出，速度相对快多了，却有个致命伤：那就是它不支持InnoDB的一致性备份，目前已经有人提交相关代码了，不过还没实现，期待中</p>
分享到：
| howto类型的网站,国内还真的少
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    windows mysqldump.zip

    《Windows环境下MySQL数据库备份与恢复：mysqldump详解》 在信息技术领域，数据库管理是至关重要的环节，其中数据的安全性和可恢复性是衡量系统稳定性的重要标准。MySQL作为一款广泛使用的开源关系型数据库管理系统...

    mysqldump.exe 5.7工具

    MySQL是世界上最受欢迎的关系型数据库管理系统之一，而`mysqldump.exe`是其配套的一款强大工具，主要用于数据库的备份、迁移和数据导出。在MySQL 5.7版本中，`mysqldump`提供了丰富的功能，使得数据库的管理变得更加...

    mysqldump-8.0.20.zip

    【标题】"mysqldump-8.0.20.zip"是一个包含了MySQL数据库备份工具mysqldump的压缩文件，适用于Windows操作系统。这个版本是8.0.20，这意味着它包含了MySQL 8.0的主要特性和服务更新。 【描述】提到的"从MySQL ...

    mysql、mysqldump命令离线包（可直接使用命令）

    包里面的文件：mysql、mysqldump 两个命令 mysqldump使用方法：可直接使用，备份数据库 使用方法：mysqldump --opt -u用户名 -p密码 -hIP地址 -P数据库端口 要备份的库 &gt; 导入指定的sql里 示例：mysqldump --opt -u...

    详解 linux mysqldump 导出数据库、数据、表结构

    详解 linux mysqldump 导出数据库、数据、表结构 导出完整的数据库备份： mysqldump -h127.0.0.1 -P3306 -uroot -ppassword --add-locks -q dbname &gt; dbname.sql 说明：–add-locks:导出过程中锁定表，完成后回解锁...

    mysqldump 备份多张相关联的表，并且执行有条件的筛选

    MySQL作为广泛使用的开源数据库管理系统，提供了多种备份工具，其中mysqldump是最常用的命令行工具之一，用于导出数据库到SQL脚本文件。然而，当涉及到备份多张相关联的表并执行条件筛选时，mysqldump的使用就变得...

    datagrip导出mysqldump的时候用的下载解压即可dump.rar

    在这个场景下，我们将详细探讨如何使用DataGrip配合mysqldump工具进行数据库备份，并了解如何处理标题和描述中提到的“dump.rar”压缩包。 首先，mysqldump是MySQL官方提供的一个命令行工具，用于导出数据库的结构...

    linux-Mysqldumpsecure加密mysqldump脚本

    为了增强安全性，我们可以使用名为`mysqldump-secure`的脚本来加密备份过程，并且它还提供了额外的功能，如压缩、日志记录、黑名单以及Nagios/Icinga监控集成。 `mysqldump-secure`是一个增强版的MySQL备份脚本，它...

    使用mysqldump命令导出MYSQL数据库

    `mysqldump`是一个强大的命令行工具，它允许用户备份、导出MySQL数据库的数据和结构。这个工具对于开发人员和系统管理员来说是必不可少的，因为它提供了在不同环境之间迁移数据的能力，也可以用于定期备份，防止数据...

    mysqldump命令导入导出数据库方法与实例汇总

    `mysqldump`是MySQL数据库管理系统中一个强大的工具，用于备份数据库或迁移数据。它能够生成SQL脚本，包含了创建数据库结构、插入数据等操作，使得数据可以在不同环境之间轻松转移。以下是对`mysqldump`命令的详细...

    5.6.12mysqldump.exe工具

    在低版本备份高版本的时候会报错。可以尝试直接用高版本的mysqldump备份。但是的一个exe文件。

    mysqldump备份mysql数据库.docx

    mysqldump 是 MySQL 中的一个备份工具，用于将 MySQL 数据库中的数据导出到一个 SQL 文件中，以便在需要时恢复数据。下面是 mysqldump 的使用方法和选项介绍。 mysqldump的基本使用方法 mysqldump 的基本语法为：`...

    mysqldump-win-liunx-mac--v5.7

    《MySQL数据库备份神器：mysqldump在Win、Linux及Mac平台的应用与实践》 MySQL作为全球最受欢迎的开源关系型数据库管理系统之一，其稳定性和高效性深受广大开发者的喜爱。在日常运维过程中，数据安全至关重要，这就...

    mysqldump(用于备份数据)

    mysqldump

    mysqldump.exe

    `mysqldump.exe` 是 MySQL 数据库管理系统中的一款重要命令行工具，它主要用于数据库的备份、导出和数据迁移。这款工具的功能强大且灵活，是数据库管理员日常工作中不可或缺的一部分。下面将详细介绍 `mysqldump` 的...

    mysqldump 只导出数据 或者 只导出表结构

    `mysqldump`工具就是MySQL提供的一个强大的命令行实用程序，用于导出数据库中的数据和/或结构。本文将深入探讨如何使用`mysqldump`只导出数据或只导出表结构。 首先，我们要理解`mysqldump`的基本用法。`mysqldump`...

    利用Zabbix监控mysqldump定时备份.docx

    本文将详细介绍如何利用Zabbix监控mysqldump定时备份的过程，帮助企业在数据库管理中提高效率和可靠性。 首先，mysqldump是一款强大的MySQL数据库备份工具，能够生成SQL语句来创建、插入、更新和删除数据库中的数据...

    mysqldump使用

    ### MySQLDump 使用详解 在数据库管理与维护的过程中，备份与恢复是极其重要的环节。`mysqldump`作为MySQL提供的一款强大的工具，被广泛应用于数据的导入导出、备份及还原等场景。本文将深入探讨`mysqldump`的各项...

    MySQL数据库的备份与巧用“没有要进行mysqldump程序备份”说法不完全.pdf

    本文主要探讨了两种常见的MySQL数据库备份方法：直接复制数据库文件和使用`mysqldump`程序。 首先，直接复制数据库文件的方式可以快速完成备份，但这种方法存在一定的风险。在拷贝数据库文件时，必须确保服务器在...

Magicbox
Global site tag (gtag.js) - Google Analytics