`

用MySQL内建复制功能来优化可用性

阅读更多
 

发布时间:2005.05.24 11:20     来源:超越PHP    作者:Michael(超越PHP

  在Soundbreak我们每天24小时不间断地播放实况音频和视频,所以对于MySQL的新增的复制特性,我们不能做出很令人信服的测试。通过测试我们发现,可以使用这个特性来与备份数据库服务器保持数据同步,这样当主服务器因为某种原因处理失效时,能够使用备份机处理所有的查询。对于这样的要求,配置两台服务器并不困难。我将详细讨论整个处理过程,同时讨论一下当主服务器失效时,如何使用PHP来重定向查询。 

  MySQL内部复制功能是建立在两个或两个以上服务器之间,通过设定它们之间的主-从关系来实现的。其中一个作为主服务器,其它的作为从服务器。我将详细讨论如何配置两台服务器,将一个设为主服务器,另一个设为从服务器。并且描述一下在它们之间进行切换的处理过程。我是在MySQL3.23.23版本上进行的配置设置过程,并且也是在这个版本上进行的测试。MySQL开发人员建议最好使用最新版本,并且主-从服务器均使用相同的版本。同时MySQL 3.23版本仍然是beta测试版,而且这个版本可能不能向下兼容。所以因为这个原因,在实际的网站中,我现在还没有使用这个版本。拥有容错能力具有一个好处是,在不需中断任何查询的情况下,对服务器进行升级。 

第一步:配置主服务器 
  在这篇文章的剩下篇幅中,我将指定两台服务器。AIP10.1.1.1)作为主服务器(简称为主机)。BIP10.1.1.2)作为后备服务器(简称为备机)。 

  MySQL的复制功能的实现过程为:备机(B)与主机(A)连接,然后读出主机的二进制更新日志,再将发生的变化合并到自已的数据库中。备机需要一个用户帐号来与主机连接,所以在主机上创建一个帐号,并只给它FILE权限,如下操作: 

GRANT FILE ON *.* TO replicate@10.1.1.2 IDENTIFIED BY 'password';
 

  为了备机能够与主机连接,要在主机上运行'FLUSH PRIVILEGES',不过不要担心,因为我们将在下面的步骤中停掉服务器。 

  现在我们需要主机数据库的一个快照,并且对主机进行配置,允许生成二进制的更新日志。首先编辑'my.cnf'文件,以便允许二进制更新日志,所以在[mysqld]部分的下面某个地方增加一行:'log-bin'。在下一次服务器启动时,主机将生成二进制更新日志(名为:<主机名>-bin.<增量序号#>)。为了让二进制更新日志有效,关闭MySQL服务程序,然后将主机上的所有数据库目录到另一个目录中,接着重新启动mysqld 
请确定得到了所有数据库,否则在进行复制时,如果一个表在主机上存在但在备机上不存在,将因为出错而退出。现在你已经得到了数据的快照,和一个从建立快照以来的二进制日志,上面记录着任何对数据库的修改。请注意MySQL数据文件(*.MYD*.MYI*.frm)是依赖于文件系统的,所以你不能仅仅进行文件传输,如从SolarisLinux。如果你处于一个异种的服务器环境,你将不得不使用mysqldump实用程序或其它的定制脚本来得到数据快照。 

第二步:配置备机 
  让我们继续。停掉备机上的MySQL服务程序,并且把从主机上拷贝来的数据库目录移到备机上的data目录下。请确认将目录的拥有者和属组改变为MySQL用户相应值,并且修改文件模式为660(只对拥有者和属组可读、可写),目录本身为770(只对拥有者和属组可读、可写和可执行) 

  继续。在备机上启动MySQL服务程序,确认MySQL工作正常。运行几个select查询(不要updateinsert查询),看一看在第一步中得到的数据快照是否成功。接着,在测试成功后关掉MySQL服务程序。 

  在备机上配置需要访问的主机,以便接收主机的更改。所以需要编辑务机上的'my.cnf'文件,在[mysqld]部分中增加下面几行: 

master-host=10.1.1.1
 
master-user=replicate
 
master-password=password
 

  在启动备机服务程序后,备机服务程序将查看在'my.cnf'文件中所指定的主机,查看是否有改变,并且将这些改变合并到自已的数据库中。备机保持了主机的更新记录,这些记录是从主机的'master.info'文件中接收下来的。备机线程的状态可以通过sql命令'SHOW SLAVE-STATUS'看到。在备机上处理二进制日志中如果 
发生错误,都将导致备机线程的退出,并且在*.err的日志文件中生成一条信息。然后错误可以被改正,接着可以使用sql语句'SLAVE START'来重新启动备机线程。线程将从主机二进制日志处理中断的地方继续处理。 

  至此,在主机上所发生的数据改变应该已经复制到备机上了,要测试它,你可以在主机上插入或更新一条记录,而在备机上选择这条记录。 

  现在我们拥有了从A机到B机的这种主-从关系,这样当A机可能当机的时候,允许我们将所有的查询重定向到B机上去,但是当A机恢复时,我们没有办法将发生的改变恢复到A机中去。为了解决这个问题,我们创建从B机到A机的主-从关系。 

 

 

MySQL内建复制功能来优化可用性(下)

第三步:创建相互的主从关系 
  首先在B机上的my.cnf文件中,在[mysqld]部分中加入'log-bin',接着重新启动mysqld,然后创建可在 
它的上面执行复制功能的用户帐号,使用:

GRANT FILE ON *.* TO replicate@10.1.1.1 IDENTIFIED BY 'password';

  在B机上运行'FLUSH PRIVILEGES'命令,以便装入在加入复制用户后的新的授权表,接着回到A机上,在 
它的'my.cnf'中加入下面几行:

master-host=10.1.1.2 
master-user=replicate master-password=password

  在重启A机的服务程序之后,现在我们一拥有了在A机与B机之间的相互主-从关系。不管在哪个服务器上 更新一条记录或插入一条记录,都将被复制到另一台服务器上。要注意的是:我不敢确定一个备机合并二进 制日志变化的速度有多快,所以用这种方法来进行插入或更新语句的负载平衡可能不是一个好办法。

第四步:修改你的数据库连接程序   既然你已经在A机和B机之间建立了一个相互的关系,你需要修改数据库连接程序,以便从这种方式中得 到好处。下面的函数首先试图与A机连接,如果不能建立连接则与B机连接。

/******************************************************** function db_connect()

returns a link identifier on success, or false on error ********************************************************/ function db_connect(){ $username = "replUser"; $password = "password"; $primary = "10.1.1.1"; $backup = "10.1.1.2";

# attempt connection to primary if(!$link_id = @mysql_connect($primary, $username, $password)) # attempt connection to secondary $link_id = @mysql_connect($secondary, $username, $password) return $link_id; }

?>

  我在两种情况下对使用了上面技术的数据库连接建立过程进行了测试,一种是主MySQL服务程序关闭了, 但是服务器还在运行,另一种情况是主服务器关闭了。如果只是mysqld关闭了,连接会马上转向备机;但是 如果整个服务器关闭了,就出现了无限地等待(两分钟后我放弃了跟踪 -- 很短的注意跨度),因为PHP在查 找一个不存在的服务器。不幸地是,不象fsockopen函数,mysql_connect函数没有一个超时参数,然而我们 可以使用fsockopen来模拟一个超时处理。

第五步:一个改进的数据库连接程序

/******************************************************** function db_connect_plus()

returns a link identifier on success, or false on error ********************************************************/ function db_connect_plus(){ $username = "username"; $password = "password"; $primary = "10.1.1.1"; $backup = "10.1.1.2"; $timeout = 15; // timeout in seconds

if($fp = fsockopen($primary, 3306, &$errno, &$errstr, $timeout)){ fclose($fp); return $link = mysql_connect($primary, $username, $password); } if($fp = fsockopen($secondary, 3306, &$errno, &$errstr, $timeout)){ fclose($fp); return $link = mysql_connect($secondary, $username, $password); }

return 0; }

?>

  这个新改进的函数向我们提供了一个可调的超时特性,这正是mysql_connect函数所缺少的。如果连接 立即失败,这种情况如机器""着,但mysqld""掉了,函数立即移到第二个服务器。上面的函数相当健壮, 在试图进行连接之前先测试一下,查看服务程序是否在指定端口进行监听,让你的脚本在一段可接受的时间 段后超时,允许你适当地对出错情况进行处理。如果你修改了缺省端口3306,请保证对端口号进行修改。

结论和意见   首先,要确定得到了一个完整的数据快照。如果忘记拷贝一个表或数据库将导致备机线程序停止。生成 快照的时刻是很关健的。你应该确保在拷贝数据文件之前二进制日志功能是无效的。如果在得到快照之前就 允许了二进制日志功能,备机的线程可能会停止,原因就是当线程试图导入重要的记录时,可能会由于主键 重复而停止。最好就是接照第二部分所讨论的处理办法来做:关闭-拷贝-允许二进制日志功能重启。

  你可能想要按照最初的一种方式来配制复制处理,并且在合适的时间关注备机,确保备机与主机保持同 步。

  我没有测试过一个使用了复制特性的系统的负载平衡处理性能,但是我会灵活地使用这样系统来平衡插 入和更新。例如,如果在两台服务器上两条记录都给出了同一个auto_increment值,这种情况备机线程会在 哪一条记录上停掉呢?象这样的问题将会让负载平衡作为只读的处理,一台服务器处理所有的插入和更新, 同时一组备机(是的,你可以有多个与主机分离的备机)处理所有的选择。

  我非常高兴,MySQL已经具备了复制系统的某些功能,并且配置很简单。使用它,你就可以开始针对失 控的事件提供额外的安全措施了。我仅仅涉及了复制特性,这个我已经测试并且使用了,但是在MySQL的在 线文档中的第11部分有中更详细的说明。

--------------------------------------------------------------------------------

译者的话:

  由于我原来使用的是3.22版的MySQL,所以为了测试一下我只好下载了3.23.24版的最新程序。而且因为 只有一台机器,我只是增加了二进制日志的设置。不过,正如本文所说,的确有文件生成。如果大家对此感 兴趣只好请自行测试了。另外,在最新的MySQL的使用手册中,我发现这个复制功能是在3.23.15版以后才有 的,请大家检查自已的MySQL的版本。同时,文中关于二进制日志的设置是说在my.cnf中设置的。在我使用的 3.23.24版本中,手册上说可以有三个文件进行参数设置,分别为windows目录下的my.ini文件,c:\my.cnf c:\mysql\data\my.cnf中可以设置。我在设置'log-bin'时(不需要先设log参数)是使用mysql自带的 WinMySQLadmin软件进行设置的,并且在my.ini中设定的,与文中不同,请大家自行测试。

分享到:
评论

相关推荐

    MySQL性能优化和高可用架构实践.pptx

    此外,本书还详细描述了高可用性架构的设计与实现,包括MySQL复制的原理和配置方法。 通过阅读本书,读者可以系统地掌握MySQL的性能优化技巧和高可用性架构实践,有效地应对实际应用中可能出现的各种挑战。本书同时...

    LVS+Keepalived+MySQL半同步主主复制高可用方案.docx

    LVS+Keepalived+MySQL半同步主主复制方案提供了一种高可用性和数据一致性的解决方案,适用于需要高稳定性和容错能力的环境。通过适当的配置和管理,可以实现高效的数据库管理和维护。然而,需要注意的是,该方案可能...

    MySQL Replication(复制)提高可扩展性和可用性以及故障处理

    MySQL复制是数据库高可用性和可扩展性解决方案的关键技术之一,尤其在处理大量数据和高并发访问的场景下显得尤为重要。本篇文章将深入探讨MySQL复制的工作原理、配置过程、优势及故障处理策略。 **1. MySQL复制简介...

    MySQL主从复制:构建高可用和高性能的数据架构

    在现代数据库架构中,MySQL主从复制是一种常用的技术,用于实现数据的高可用性、负载均衡和数据备份。本文将详细介绍MySQL主从复制的原理、配置步骤、不同复制模式以及在实际应用中的策略和优化。 MySQL主从复制是一...

    MySQL 8数据库复制技术介绍.pptx

    MySQL 8 数据库复制技术介绍 MySQL 8 数据库复制技术是指在一个或多个站点生成和复制多个数据副本的过程。... MySQL 8 数据库复制技术是一种功能强大、灵活的技术,可以帮助提高系统的可用性、可靠性和性能。

    MySQL进阶:优化查询性能与高可用性的实践

    【MySQL进阶:优化查询性能与高可用性的实践】 在当今大数据时代,数据库的性能和稳定性对企业至关重要。MySQL,作为一款广泛使用的开源关系型数据库管理系统,凭借其高性能、低成本和易用性,成为了众多企业的首选...

    MYSQL.rar_MYSQL_mysql 优化_mysql优化_mysql备份_sql优化

    MySQL是世界上最受欢迎的关系型数据库管理系统之一,...通过对MySQL的深度优化,不仅可以提升系统的响应速度,还能确保数据的安全性和可用性。通过学习和实践,你可以更好地管理和维护MySQL数据库,应对各种业务挑战。

    高并发高可用mysql优化

    本篇文章将基于“高并发高可用MySQL优化”这一主题,深入探讨MySQL的索引优化、查询优化、架构设计以及高可用性策略。 首先,我们来关注MySQL的索引优化。索引是提升查询速度的关键,合理的索引设计能够大幅减少...

    MySQL数据库集群与高可用性技术详解

    本文详细介绍了MySQL数据库集群的技术和实现方法,涵盖了集群的基础概念、不同类型集群的架构及其配置步骤,高可用性策略(主从复制、多主复制、半同步复制、全局事务标识符),故障转移与恢复机制,性能优化与监控...

    Mysql优化 PPT

    PPT可能会探讨垂直分割(按功能分库)和水平分割(如分片)的策略,以及如何使用读写分离和主从复制来提高可用性。 资源调优包括调整MySQL配置参数,如缓冲池大小、连接数限制、查询缓存等。PPT会介绍如何监控MySQL...

    MySQL 5.7主从复制

    MySQL 5.7主从复制是数据库高可用性和负载均衡的一种常见实现方式,它通过将主数据库(Master)上的写操作同步到一个或多个从数据库(Slave)来实现数据的冗余备份和读写分离。在Java开发中,MySQL主从复制常常用于...

    mysql 性能优化与架构设计(word版)

    6. 集群与云数据库:MySQL集群(如Galera Cluster)提供高可用性和故障切换,云数据库服务(如AWS RDS)则提供了易于管理和扩展的解决方案。 三、监控与调优工具 1. MySQL性能监控:如pt-query-digest、Percona ...

    Effective MySQL之深入解析复制技术

    MySQL复制是一种强大的功能,它允许数据在多个服务器之间实时同步,从而实现高可用性、负载均衡和数据备份。以下是该书可能涵盖的一些关键知识点: 1. **复制的基本概念**:书中会介绍复制的基本工作原理,包括主从...

    图书:MySQL高可用性Cookbook

    《MySQL高可用性Cookbook》是一本专注于MySQL数据库系统稳定性和高效运行的实践指南,适合数据库管理员、系统架构师以及对MySQL高可用性有需求的技术人员阅读。这本书深入探讨了如何构建和维护高度可靠的MySQL环境,...

    超简单mysql主从复制

    MySQL主从复制是一项非常实用的技术,它可以显著提高系统的可用性和性能。通过合理规划和配置,我们可以构建出高效稳定的MySQL主从集群,为企业提供强有力的数据支持。掌握这项技术不仅可以提升数据库管理的能力,还...

    MySQL 半同步复制数据一致性分析

    MySQL是当前广泛使用的开源数据库管理系统,它通过复制(Replication)技术提供了高可用性和可扩展性的解决方案。本文将详细探讨MySQL半同步复制的数据一致性问题。 首先,MySQL Replication的发展历程至关重要。最...

    MySQL主从复制数据同步详解及其架构与优化策略

    使用场景及目标:旨在帮助技术人员理解和实施高效的MySQL主从架构,确保数据库的高性能、可用性和稳定性。具体应用包括:①优化读写分离;②提升数据同步速度;③解决脑裂、数据不一致性等问题。 其他说明:通过案例...

    MySQL技术大全:开发、优化与运维实战实例源代码.rar

    - **高可用与复制**:了解主从复制、半同步复制、多源复制等技术,提升系统的可用性和数据一致性。 - **资源调度与性能调优**:调整InnoDB引擎参数,如innodb_buffer_pool_size、innodb_log_file_size等,以适应...

Global site tag (gtag.js) - Google Analytics