`
siaslance
  • 浏览: 23733 次
文章分类
社区版块
存档分类
最新评论

转载:mysql主从日志的一些处理(我还没试过)

阅读更多

一、做了MySQL主从也有一段时间了,这两天检查磁盘空间情况,发现放数据库的分区磁盘激增了40多 G,一路查看下来,发现配置好主从复制以来到现在的binlog就有40多G,原来根源出在这里,查看了一下my.cnf,看到binlog的 size是1G就做分割,但没有看到删除的配置,在MySQL里show了一下variables:

  mysql>show variables like '%log%';

  查到了,

  | expire_logs_days | 0 |

  这个默认是0,也就是logs不过期,这个是一个global的参数,所以需要执行

  set global expire_logs_days=8;

  这样8天前的log就会被删除了,如果有回复的需要,请做好备份工作,但这样设置还不行,下次重启mysql了,配置又恢复默认了,所以需在my.cnf中设置,

  expire_logs_days = 8

  这样重启也不怕了。

  现在我在生产环境下的做法是将此时间设为0,然后备份mysql日志文件,然后再手动清理此文件。

  想要恢复数据库以前的资料,执行

  mysql>show binlog events;

  由于数据量很多,查看起来很麻烦,光打开个文件就要闪半天,所以应该适当删除部分可不用的日志。

  并且如果使用的时间足够长的话,会把我的硬盘空间都给吃掉。

  1、登录系统,/usr/bin/mysql

  使用mysql查看日志:

 

  mysql>show binary logs;

  +—————-+———–+

  | Log_name | File_size |

  +—————-+———–+

  | ablelee.000001 | 150462942 |

  | ablelee.000002 | 120332942 |

  | ablelee.000003 | 141462942 |

  +—————-+———–+

 

  2、删除bin-log(删除ablelee.000003之前的而没有包含ablelee.000003):

 

  mysql> purge binary logs to ′ablelee.000003′;

  Query OK, 0 rows affected (0.16 sec)

 

  3、查询结果(现在只有一条记录了):

 

  mysql> show binlog events\G

  *************************** 1. row ***************************

  Log_name: ablelee.000003

  Pos: 4

  Event_type: Format_desc

  Server_id: 1

  End_log_pos: 106

  Info: Server ver: 5.1.26-rc-log, Binlog ver: 4

  1 row in set (0.01 sec)

  (ablelee.000001和ablelee.000002已被删除)

  mysql> show binary logs;

  +—————-+———–+

  | Log_name | File_size |

  +—————-+———–+

  | ablelee.000003 | 106 |

  +—————-+———–+

  1 row in set (0.00 sec)

  (删除的其它格式运用!)

  PURGE {MASTER | BINARY} LOGS TO ‘log_name’

  PURGE {MASTER | BINARY} LOGS BEFORE ‘date’

 

  用于删除列于在指定的日志或日期之前的日志索引中的所有二进制日志。这些日志也会从记录在日志索引文件中的清单中被删除,这样被给定的日志成为第一个。

  例如:

  PURGE MASTER LOGS TO 'mysql-bin.010'; PURGE MASTER LOGS BEFORE '2008-06-22 13:00:00';

  二、现在手上蛮多项目的数据库用的是MySQL,由于权限等原因,暂时不方便部署Nagios监控MySQL主从复制,所以我一般在从机上配置了 SHELL脚本用来监控MySQL的主从状态(设置为每十分钟运行一次),并且每次出问题时将确切日期写进错误日志,方便事后排查原因,脚本内容如下:

 

  #!/bin/bash

  #check MySQL_Slave Status

  #crontab time 00:10

  MYSQLPORT=`netstat -na|grep "LISTEN"|grep "3306"|awk -F[:" "]+ '{print $4}'`

  MYSQLIP=`ifconfig eth0|grep "inet addr" | awk -F[:" "]+ '{print $4}'`

   STATUS=$(/usr/local/webserver/mysql/bin/mysql -u yuhongchun -pyuhongchun101 -S /tmp/mysql.sock -e "show slave status\G" | grep -i "running")

  IO_env=`echo $STATUS | grep IO | awk ' {print $2}'`

  SQL_env=`echo $STATUS | grep SQL | awk '{print $2}'`

  if [ "$MYSQLPORT" == "3306" ]

  then

  echo "mysql is running"

  else

  mail -s "warn!server: $MYSQLIP mysql is down" yuhongchun027@163.com

  fi

  if [ "$IO_env" = "Yes" -a "$SQL_env" = "Yes" ]

  then

  echo "Slave is running!"

  else

  echo "####### $date #########">> /data/data/check_mysql_slave.log

  echo "Slave is not running!" >> /data/data/check_mysql_slave.log

  mail -s "warn! $MySQLIP_replicate_error" yuhongchun027@163.com << /data/data/check_mysql_slave.log

  fi

 

  建议每十分钟运行一次。

  */10 * * * * root /bin/sh /root/mysql_slave.sh

  记得在每台MySQL从机上分配一个yuhongchun的用户,权限大些也没关系,只限定在本地运行,如下所示:

 

  grant all privileges on *.* to "yuhongchun"@"127.0.0.1" identified by "yuhongchun101";

  grant all privileges on *.* to "yuhongchun"@"localhost" identified by "yuhongchun101";

 

  脚本设计思路:

  1、此脚本应该能适应各种各样不同的内外网环境,即IP不同的环境;

  2、让脚本也顺便监控下MySQL是否正常运行;

  三、innodb_buffer_pool_size的设置。

  这个参数定义了InnodDB存储引擎的表数据和索引数据的最大内存缓冲区大小。和MyISAM存储引擎不同,MyISAM的 key_buffer_size只缓存索引键,而innodb_buffer_pool_size却是同时为数据块和索引块 做缓存,这个特征和Oracle是一样的,这个值设得越高,访问表中数据需求的I/O就越少。在一个专用的数据库服务器,可以设置这个参数达机器物理内存的80%,我现在一般的做法是配置成物理内存的 1/4,比如8G内存的生产数据库,我一般会配置成2G左右。

  四、测试了很长一段时间的MySQL的负载均衡,最后综合了老男孩和其它技术高手的意见,最终决定还是用LVS+Keepalived来作为 MySQL的负载均衡,这是因为后端机器超过10台时,LVS的性能还是最好的;如果在3-5台左右,HAProxy也可以很轻松的搞定工作。

  五、大家都很清,磁盘I/O总会成为数据库的性能瓶颈,这时候我们应该如何在生产环境下选择合适的RAID级别呢?

  1、如果数据读写都很频繁,可靠性要求也很高,最好选择RAID10;

  2、如果数据读很频繁,写相对较少,对可靠性有一定要求,可以选择RAID5;

  3、如果数据读写都很频繁,但可靠性要求不高,可以选择RAID0。

  4、对于核心业务的数据库主从同步,建议从机的备份时间往后延迟一段时间,通常的做法是延迟一天左右。

分享到:
评论

相关推荐

    12.1: MySQL主从同步 、 主从同步模式 、 总结和答疑.docx

    MySQL主从同步配置和实现 MySQL主从同步是指将一个MySQL服务器的数据实时地复制到另一个或多个服务器上,以实现数据的高可用性和灾难恢复。这种方式可以实现数据的热备援、读写分离、负载均衡等功能。 1. 案例 1:...

    linux运维学习笔记:MySQL主从复制原理和实战.pdf

    MySQL主从复制的基本原理涉及到二进制日志(binlog)和中继日志(relay log)。二进制日志记录了数据库的所有更改,包括表的创建、更改和删除等。当数据库发生变化时,主服务器会将这些更改记录到二进制日志中。从...

    8.第八章:mysql主从复制与读写分离.doc

    ### MySQL主从复制与读写分离详解 #### 第八章:MySQL主从复制与读写分离 本章节主要探讨MySQL的主从复制机制及其在实际部署中的应用——读写分离技术。通过具体案例来理解其背后的原理和技术要点,并提供一个实践...

    mysql 数据库主从配置

    mysql 数据库主从配置 mysql 数据库主从配置是指将一个 mysql 服务器设置为主服务器,另一个 mysql 服务器设置为从服务器,并将主服务器上的数据实时同步到从服务器上,以达到数据备份和负载均衡的目的。该配置可以...

    催米技术部研发团队技术分享:mysql主从复制&分区技术&优化.ppt

    在 MySQL 主从复制技术中,bin-log(二进制日志)日志是一种关键的日志记录方式,它可以记录数据库中的所有变化,以便在主从复制中进行数据同步。要启用 bin-log 日志,需要在 MySQL 配置文件 my.cnf 中添加 log-bin...

    MYsql主从复制.docx

    "Mysql主从复制" Mysql主从复制是一种常用的数据库复制方式,旨在提高数据库的可用性、安全性和读取性能。在Mysql主从复制中,一个数据库服务器充当主服务器,其他服务器充当从服务器。主服务器负责写入数据,而从...

    《深入理解MySQL主从原理32讲》推荐篇

    希望能帮助读者朋友们解决关于主从同步中的一些疑问。八怪写作风格很是严谨,几乎每篇都是从源码入手去剖析MySQL主从复制相关的知识点。 强烈推荐大家订阅本专栏 业界大咖推荐序 从2016年开始八怪(本名高鹏)经常...

    数据同步的桥梁:MySQL主从复制配置全指南

    MySQL是一个流行的开源关系型数据库管理系统(RDBMS),广泛用于Web应用程序的后端数据存储。它基于结构化查询语言(SQL)来管理数据,并且是LAMP(Linux, Apache, MySQL, PHP/Python/Perl)技术栈的一部分,这个...

    SpringBoot第 12 讲:SpringBoot+MySQL主从复制、读写分离

    主从复制是MySQL数据库的一种高可用性解决方案,其中一台服务器(主服务器)处理所有写操作,而其他服务器(从服务器)同步主服务器上的数据变化,从而形成一个读写分离的环境。这种设计模式有助于减轻主服务器的...

    mysql主从库配置

    - 在命令提示符中输入以下命令以管理员身份登录 MySQL: ``` mysql -u root -p ``` - 第一次登录时,可能无需密码即可直接进入。 8. **重置密码**: - 如果遇到登录问题,可以在 `my.ini` 文件中的 `[mysqld]...

    MySQL主从安装部署

    - `chown -R mysql:mysql /home/mysql`:将`/home/mysql`及其子目录的所有权更改为mysql用户和mysql组。 **1.3 安装MySQL软件** 安装MySQL软件是构建主从复制环境的基础。 - **安装MySQL Server RPM包:** - `...

    mysql主从数据搭建问题处理

    本篇文章将详细探讨MySQL主从数据搭建过程中的问题处理,以及相关源码和工具的应用。 MySQL主从复制是指在一个MySQL集群中,主服务器(Master)处理所有写操作,而从服务器(Slave)则同步主服务器上的数据变更,...

    MySQL主从复制搭建从入门到掌握

    ### MySQL主从复制搭建知识点详解 #### 一、MySQL主从复制概述 MySQL主从复制是一种数据同步机制,它能够将一个MySQL服务器(主服务器)的数据自动同步到一个或多个MySQL服务器(从服务器)。这种机制不仅可以提高...

    mysql 主从复制环境搭建

    MySQL 主从复制环境搭建 MySQL 是一个轻量级的开源框架,具有速度快、多线程、多用户和跨平台等特点。MySQL 主从复制是指将一个 MySQL 服务器的数据实时同步到另一个 MySQL 服务器上,通常用于提高数据安全、负载...

    MySQL主从复制与读写分离.docx

    MySQL 主从复制与读写分离 MySQL 主从复制是指将一个 MySQL 服务器的数据实时同步到另一个 MySQL 服务器中,以实现数据的高可用性和读写分离。下面是 MySQL 主从复制与读写分离的详细知识点: MySQL 主从复制 ...

Global site tag (gtag.js) - Google Analytics