`
ponlya
  • 浏览: 164759 次
  • 性别: Icon_minigender_1
  • 来自: 武汉
社区版块
存档分类
最新评论

Mysql 备份恢复 调优

 
阅读更多

Mysql 备份与恢复
mysqldump,ibbackup,replication

备份分:
Hot Backup(热备)    在线备份,对DB无影响
Cold Backup(冷备)    停止时备份,简单,拷贝物理文件,离线备份
    frm数据库文件,共享表空间文件,独立表空间ibd文件,重做日志文件的备份 。   DBA脚本备份,并打包与压缩。
Warm Backup(温备)    DB运行时备份,对DB操作有影响,会加一个全局读锁来保证备份数据的一致性。

逻辑备份是指备份文件内容是可读的,通常是文本文件,内容一般为SQL语句,可表的实际数据,如mysqldump和select * into OUTFILE。用于数据库升级,迁移,恢复时间较长。
    mysqldump --all-databases > file_name ;备份所有数据库
    mysqldump --databases db1 db2 db3 >dbs.sql ;备份指定的库
    mysqldump --single-transaction test>test_backup.sql; 对test架构进行备份。
    select * into OUTFILE ;多用于导出表的数据;
    select * into outfile 'xxxx' from a;    恢复时用  load data infile 'xxx' into table a;
   
    恢复
    mysql -uroot -p<test_backup.sql
    source  ....xxx.sql
   
    mysql 可以导出存储过程,触发器,事件,数据,但是不能导出视图。
   
祼文件备份,指拷贝数据库物理文件,DB可在运行或者停止状态。

完全备份    完整备份
增量备份    在上次完全备份的基础上对更新数据进行备份。
日志备份    对二进制日志备份。它的replication原理就是异步实时进行二进制日志重做。

[mysqld]
log-bin        开启二进制
sync_binlog=1
innodb_support_xa=1

要恢复二进制日志简单 
mysqlbinlog binlog.000001 | mysql -uroot -p test
mysqlbinlog binlog.[0-10]* | mysql -uroot -p test 恢复多个

mysqldump中通过添加 -single-transaction选项来取得一致性备份。备份是在一个很长的事务中执行的。

根据自己的策略编写一个备份的应用程序,可以方便地设置备份的方法及监控备份的结果,且可通过第三方接口实时通知DBA,这样可做到24*7的备份监控。
DAO(Database Admin Online)系统,DBA可对几百台mysql数据库服务器进行备份,监控,硬件,发生问题时飞信接口第一时间通知。 python语言,Django WEB页面 。
任何时候需要做好远程备份。
 
ibbackup  高性能热备方式
XtraBackup GPL2 免费  linux
LVM(Logical Volume Manager,GNU/Linux 逻辑卷管理器)对磁盘分区管理,可将多个磁盘分区建立一个卷组(Volume Group),成为统一的结构。再做LVM快照,非常快。

数据分布   复制不需要太多的带宽。
读取负载平衡   多个从服务器,通过DNS的Round-Robin和Linux的LVS实现负载均衡;
复制对备份很有帮助,但是不是备份,不能完全代替备份;通过复制建立的从有助于故障转移,减少故障的停机时间与恢复时间。
但是担心主上对数据的误操作,这时从也跟着处理了,这种情况无法处理。需要对从进行快照处理。从服务器上可以设置权限。


调优
1.选择合适的CPU;
    OLTP 对CPU要求不高,复杂的查询需要的比较,排序,连接等耗CPU操作少。OLAP是CPU密集型的操作。OLTP是I/O密集型操作。
2.内存重要;
    Percona 的Vadim 对内存的影响作了比较,内存大小最能直接反映数据库的性能。2GB->22GB 缓冲池的增大,性能极大提升。
    mysql> show global status like 'innodb%read%';\G
    +---------------------------------------+---------+
    | Variable_name                         | Value   |
    +---------------------------------------+---------+
    | Innodb_buffer_pool_read_ahead_rnd     | 0       |
    | Innodb_buffer_pool_read_ahead         | 0       | 从物理磁盘预读的次数
    | Innodb_buffer_pool_read_ahead_evicted | 0       | 预计的页,但是没有被读取就从缓冲池中被替换的页的数量,一般用来判断预读的效率
    | Innodb_buffer_pool_read_requests      | 6592    | 从缓冲池中读取页的次数
    | Innodb_buffer_pool_reads              | 396     |    从物理磁盘读取页的次数
    | Innodb_data_pending_reads             | 0       |
    | Innodb_data_read                      | 8671232 |  总共读入的字节数
    | Innodb_data_reads                     | 408     |  发起读取请求的次数,每次读取可能需要读取多个页。
    | Innodb_pages_read                     | 395     |
    | Innodb_rows_read                      | 0       |
    +---------------------------------------+---------+
        通常缓冲池的命中率不应该小于99%。即使缓冲池的大小大于数据库文件大小,也并不意味着无磁盘读写了。缓冲池只用来存放热点数据。
        缓冲池的命中率 = Innodb_buffer_pool_read_requests/(Innodb_buffer_pool_read_requests+Innodb_buffer_pool_read_ahead +Innodb_buffer_pool_reads )
        平均每次读取的字节数=Innodb_data_read/Innodb_data_reads
       
3.硬盘对数据库性能影响;
    当前大多为传统的机械硬盘,此技术十分成熟,SAS或SATA接口硬盘。二个指标:寻道时间与转速。3ms的最短寻道时间,15000 rpm。最大问题是读写磁头。
    随机访问会耗费长时间的磁头旋转和定位来查找,因此顺序的速度远高于随机访问 。  RAID提高数据库的性能,数据文件分布不同硬盘上达到负载均衡。
    固态硬盘,基于闪存,低延迟低功耗与防震,TB级别存储方案,无磁善头。闪存中数据是不可以更新的,只能通过扇区的覆盖重写,在处理前需要耗时的擦除操作。
    闪存的读写是非对称的,读远远快于写。
4.合理地设置RAID;
    RAID:增强数据集成度,增强容错功能,增加处理量或容量。
    RAID 0 :合并硬盘,无冗余,并行 I/O,速度最快。 如一个磁盘损坏,则所有数据丢失。
    RAID 1 :二组以上N个磁盘互为镜像,性能最高,主硬盘损坏时,镜像硬盘代替工作。数据安全性最高,但是磁盘利用率最低。
    RAID 5 :存储性能,数据安全和存储成本兼顾的解决方案。用Disk Striping(磁盘分区)技术。至少要三个硬盘。不备份,而是存储奇偶校验信息和数据分别存储不同硬盘,用剩下的数据及奇偶校验来恢复。
        与RAID0有相同的读速度,但是因奇偶较验,故写入慢。用write Back(将写入的数据放入自身的缓存中)可提高性能。
5.操作系统也很重要;
    OS,注意windows不区分大小写,而linux区分; 系统对内存的支持。
6.不同文件系统对数据库影响;   
    windows NTFS,Solaris ZFS,Linux EXT3/4等。
7.选择合适的基准测试工具。
    sysbench(CPU性能,磁盘IO性能,调度程序性能,内存分配及传输速度,POSIX线程性能,OLTP基准测试)

分享到:
评论

相关推荐

    U盘量产工具SM3280&3281&3282-AvidiaV0209整合版

    U盘量产工具FLASH量产工具SM3280&3281&3282-AvidiaV0209整合版

    java课程期末考试.zip

    java课程期末考试

    分布式消息中间件,参考kafka,未完成.zip

    分布式消息中间件,参考kafka,未完成

    修木工施工规范及流程.docx

    修木工施工规范及流程.docx

    汽车电子中MICROSAR OBD协议栈解决方案及其应用

    内容概要:本文详细介绍了VECTOR提供的MICROSAR OBD协议栈解决方案,涵盖了OBD模块、ECU支持、监控功能和服务请求等方面的内容。此外,还讨论了OBD在不同国家和地区的技术标准与法规要求,以及MICROSAR OBD解决方案的优势,如适应不同项目的需求和高度集成于AUTOSAR 4平台。 适合人群:汽车电子工程师、软件开发者、汽车制造商及相关行业从业人员。 使用场景及目标:① 适用于车辆诊断系统的开发和维护;②帮助工程师理解和掌握OBD协议的具体实施方法和应用场景;③ 提供了一个成熟、可扩展的解决方案,用于满足OBD相关标准和法规的要求。 其他说明:本文不仅提供了技术层面的详细解析,还探讨了实际操作过程中可能遇到的问题和解决方案。同时强调了屏蔽信息过载的重要性,提醒工程师保持内心平静,专注做好本职工作。

    适用于 Python 的 LINE 消息 API SDK.zip

    适用于 Python 的 LINE 消息 API SDK适用于 Python 的 LINE Messaging API 的 SDK。介绍适用于 Python 的 LINE Messaging API SDK 可以轻松使用 LINE Messaging API 开发机器人,您可以在几分钟内创建一个示例机器人。文档请参阅官方 API 文档了解更多信息英语https //developers.line.biz/en/docs/messaging-api/overview/日语https://developers.line.biz/ja/docs/messaging-api/overview/要求Python >= 3.9安装$ pip 安装 line-bot-sdk概要用法from flask import Flask, request, abortfrom linebot.v3 import ( WebhookHandler)from linebot.v3.exceptions import ( InvalidSig

    Java字节码工程工具包.zip

    Java字节码工程工具包Javassist 版本 3版权所有 (C) 1999-2023 Shigeru Chiba,保留所有权利。Javassist(JAVA 编程助手)使 Java 字节码操作变得简单。它是一个用于编辑 Java 字节码的类库它使 Java 程序能够在运行时定义新类并在 JVM 加载类文件时对其进行修改。与其他类似的字节码编辑器不同,Javassist 提供两个级别的 API源代码级别和字节码级别。如果用户使用源代码级别 API,他们可以编辑类文件而无需了解 Java 字节码的规范。整个 API 仅使用 Java 语言的词汇表进行设计。您甚至可以以源文本的形式指定插入的字节码Javassist 会即时编译它。另一方面,字节码级别 API 允许用户像其他编辑器一样直接编辑类文件。该软件根据 Mozilla 公共许可证版本 1.1、GNU 宽通用公共许可证版本 2.1 或更高版本或 Apache 许可证版本 2.0 分发。文件README.md 此自述文件。Changes.md 发行说明。License.html 许可证文件。tuto

    毕设源码-基于python的西西家居全屋定制系统的设计与实现_ijsj--论文-期末大作业+说明文档.rar

    本项目是基于Python语言开发的西西家居全屋定制系统,旨在为家居行业提供一个高效、智能的定制解决方案。项目涵盖了从客户需求分析、设计方案生成、材料选购到最终订单生成的全过程,力求实现家居定制的数字化和智能化。 在主要功能方面,系统具备强大的客户管理模块,能够详细记录和分析客户的定制需求。设计模块则采用先进的三维建模技术,为客户提供直观、真实的家居设计方案预览。此外,系统还整合了丰富的材料数据库,方便客户根据自身喜好和预算进行材料选择。 框架方面,项目采用了B/S架构,确保了系统的稳定性和可扩展性。后端使用Python的Django框架,前端则结合了HTML、CSS和JavaScript等技术,实现了用户界面的友好和响应速度。 开发此项目的目的,不仅是为了满足家居行业对个性化定制的需求,也为计算机相关专业的学生提供了一个实践和学习的平台,有助于提升他们的实际开发能力。

    Javascript 是数字化创新的起点,是语言的基础,也是基本概念 .zip

    Javascript 是数字化创新的起点,是语言的基础,也是基本概念。Basecamp JavascriptJavascript 是数字化创新的起点,是语言的基础,也是基本概念。嵌套存储库,可作为启动项下待办事项的实践活动。

    已弃用 - Coinbase Python API.zip

    已弃用 — Coinbase Python APICoinbase Coinbase API V2的官方 Python 库。重要提示此库当前针对的是 API V2,而 OAuth 客户端需要 V2 权限(即wallet:accounts:read)。如果您仍在使用 API V1,请使用此库的旧版本。特征接近 100% 的测试覆盖率。支持API Key + Secret和OAuth 2身份验证。调用 API 的便捷方法 - 为您打包 JSON!自动将 API 响应解析为相关的 Python 对象。使用IPython时,所有对象都具有可制表完成的方法和属性。安装coinbase可以在PYPI上使用。使用以下命令安装pippip install coinbase或者easy_installeasy_install coinbase该库目前针对 Python 版本 2.7 和 3.4+ 进行了测试。注意此软件包名称过去是指George Sibble维护的非官方 coinbase_python 库。George 慷慨地允许我们使用此软件包

    基于RBAC权限控制的基础后台.zip

    基于RBAC权限控制的基础后台

    毕设源码-python-基于Python爬虫的网络小说数据分析系统的设计与实现-期末大作业+说明文档.rar

    本项目是基于Python爬虫的网络小说数据分析系统的设计与实现,旨在为计算机相关专业的大学生提供一个实践平台,特别是在毕业设计和项目实战练习方面。项目通过Python强大的网络爬虫技术,从流行的网络小说网站自动抓取数据,包括书籍信息、章节内容、用户评论等。 主要功能涵盖数据采集、数据清洗、数据存储和数据分析。数据采集模块利用Scrapy等爬虫框架高效抓取网页内容;数据清洗模块确保数据的准确性和一致性;数据存储则采用MySQL等数据库系统,便于数据管理和查询;数据分析模块通过Pandas、NumPy等工具进行数据处理和分析,生成多维度的统计报告和可视化图表。 此项目不仅帮助学生掌握Python编程和网络爬虫技术,还能让他们深入了解数据分析的全过程,提升解决实际问题的能力。同时,系统的实现和应用也反映了现代信息技术在文学创作和消费领域的应用价值和潜力。

    ssm框架Java项目源码-基于Java的在线日语培训平台的设计与实现+jsp毕设-大作业.zip

    本项目是一个基于Java的在线日语培训平台的设计与实现,采用SSM框架(Spring+SpringMVC+MyBatis)进行开发,旨在为计算机相关专业的学生提供一个实践和学习的平台,同时也为日语学习者提供一个在线学习的空间。项目中主要功能涵盖了用户管理、课程管理、学习资源上传下载、在线测试与反馈等多个方面。通过该平台,教师能够轻松管理课程内容和学生信息,学生则可以随时随地访问学习资源,参与在线课程和测试,从而提高学习效率和兴趣。 在开发此项目的过程中,我们重点关注了系统的可维护性和可扩展性,确保代码结构清晰,便于后续的功能迭代和优化。此外,通过使用SSM框架,实现了前后端的分离,提高了开发效率和系统的响应速度。该项目不仅能够满足毕设的需求,还能作为Java学习者提升编程能力和实践经验的实用工具。

    基于java的机票管理系统设计与实现.docx

    基于java的机票管理系统设计与实现.docx

    基于Java实现的数据结构设计源码学习指南

    该项目为《基于Java实现的数据结构设计源码》,共包含51个文件,主要由46个Java源文件构成,辅以2个文本文件、1个Git忽略文件、1个许可证文件以及1个XML文件,全面涵盖了数据结构设计的核心内容。

    绿色食品 水稻生产操作规程.docx

    绿色食品 水稻生产操作规程.docx

    这款出色的应用程序可以纠正您之前的控制台命令 .zip

    他妈的 Fuck是一款出色的应用程序,其灵感来自@liamosaur 的 推文,它可以纠正以前控制台命令中的错误。The Fuck太慢了吗?试试实验性的即时模式!更多示例➜ apt-get install vimE: Could not open lock file /var/lib/dpkg/lock - open (13: Permission denied)E: Unable to lock the administration directory (/var/lib/dpkg/), are you root?➜ fucksudo apt-get install vim [enter/↑/↓/ctrl+c][sudo] password for nvbn:Reading package lists... Done...➜ git pushfatal: The current branch master has no upstream branch.To push the current branch and set the remote

    全国大学生FPGA创新设计竞赛作品 泡罩包装药品质量在线检测平台.zip

    全国大学生FPGA创新设计竞赛作品 “泡罩包装药品质量在线检测平台“.zip

    桃苗木质量基本要求表.docx

    桃苗木质量基本要求表.docx

    使用 Python 漂亮地打印表格数据,这是一个库和一个命令行实用程序 存储库从 bitbucket.org,astanin,python-tabulate 迁移而来 .zip

    使用 Python 漂亮地打印表格数据,这是一个库和一个命令行实用程序。存储库从 bitbucket.org/astanin/python-tabulate 迁移而来。python-tabulate使用 Python、库和命令行实用程序漂亮地打印表格数据。该库的主要用例是轻松打印小表格只需一个函数调用,格式由数据本身引导为轻量级纯文本标记创作表格数据多种输出格式适合进一步编辑或转换混合文本和数字数据的可读表示智能列对齐、可配置数字格式、小数点对齐安装要安装 Python 库和命令行实用程序,请运行pip install tabulate命令行实用程序将在 Linux 上安装为(例如tabulate)或者在 Windows 上的 Python 安装中安装为(例如)。bin/usr/bintabulate.exeScriptsC:\Python39\Scripts\tabulate.exe您可以考虑仅为当前用户安装该库pip install tabulate --user在这种情况下,命令行实用程序将安装到 ~/.local/bin/tabula

Global site tag (gtag.js) - Google Analytics