今天主要讲一下关于mysql读写分离rw-splitting的实现方式,以及简单的mysql高可用(HA)和负载均衡(LB)。我会提到读写分离的原理,实现方式和一些注意点。然后就是介绍一下官方提供的mysql-router工具,以及如何使用。
开班第二十八天:
今天的课程大纲:
-
关于golang(GO语言)的基本认识和配置
-
mysql读写分离的原理和基本介绍
-
学习和安装使用kingshard实现读写分离
-
mysql的高可用负载均衡机制
详细讲解:
go语言,是一个跨平台的语言,是现在非常流行的一种编程语言,学习go语言,有点类似学习python,基础很容易掌握,主要就是学习它的包,go语言就是以简洁强大著称的。不过我们为什么要学习go语言,因为后面讲到的读写分离实现工具kingshard就是在go语言的基础之上进行的,所以认识基本的语法也是有必要的。我们现在需要做的就是搭建一个golang的环境,语法的话有兴趣的朋友可以自己稍微学习一下,因为我并不教这个。我这里下载了一个golang的gz包,现在就可以进行配置环境了。
1.解压缩gz包到/usr/local/中,tar xvf go1.6.3.linux-amd64.tar.gz -C /usr/local
2.为了每次启动方便,我们把要设置环境变量和工作目录,把下面的内容添加到vim ~/.bashrc中,这样每次启动终端就会让环境变量生效。
3.这样,我们的go环境已经安装好了,现在测试一下,重新开一个终端,执行下下面语句,这样就代表成功。
什么是读写分离,说白了就是mysql服务器读的操作和写的操作是分开的,当然这个需要两台服务器,master负责写,slave负责读,当然我们可以使用多个slave,这样我们也实现了简单意义上的高可用和负载均衡,只不过这种调度算法只是简单的轮循。我们如何让master和slave这样进行工作呢,其实我们需要一个代理,简单来说就是一个客户端和mysql服务器之间的一个管家,当我们客户端需要操作查询数据库的时候,我们先把操作发给这个管家,然后管家通过识别,哦~原来你要进行select操作,那么我就把你这个请求发给master,又来一个原来你需要进行的是插入insert的操作,那么我就把你这个请求发给slave,当如果有多个slave的时候,我就通过slave的权重,轮循的发给每一个slave,这样我们就实现了读写分离操作,以及简单的负载均衡。
实现读写分离的工具有很多,我介绍几个,阿里巴巴的cobar,360的atlas,以及用golang写的kingshard,在很早之前,mysql官方提供了一个mysql-proxy,也是360的atlas的"爸爸",但是这个一直没有正式发布,在oracle收购sun公司之后,这个工具也彻底的消失了。最后一个就是mysql-router,它是mysql官方提供的,但是需要注意的是,这个工具不支持读写分离,它实现了失败转移和失败切换,而且这个工具有自己的ip和端口,实现了高可用。
前面学习了golang,那我肯定是要讲kingshard了,首先说明几点,kingshard只支持一个master多个slave,不能同时存在两个master(当然你学习了后面的mysql-router,可以结合kingshard使用),这里我默认选择一个master和一个slave,kingshard的原理很简单,我们作为客户端要连接到kingshard,然后kingshard也要连接到master,这就要求有两组不同的用户密码,下面是初始要求:
1.master和slave实现主从双向复制。
2.golang环境配置好。
现在开始安装kingshard,github上有详细的安装方式,网址:https://github.com/flike/kingshard
1.下载好了,然后开始编译
2.编译make,然后修改配置文件vim etc/unshard.yaml,注意路径,是在当前目录中的。
主要修改的内容有一下几个:
<1>设置ip和监听的端口,我们的kingshard和客户端可以安装在一个机子上,也可以安装在不同的机子上,端口尽量不使用3306,防止被占用。ip是监听所有的ip,端口我设置为3307,用户密码我设置默认。
<2>开启日志
<3>配置节点,我们可以认为master和slave组成一个节点,节点名称为node1,在master上添加一个用户,这个用户密码是kingshard连接mysql用的。设置master和slave的ip端口,我这里用的是master为主机,slave为虚拟机,所以要注意同一网段。
3.在master上创建一个用户kingshard,密码为123456,记住下面这个ip地址,是你在哪个机子上安装了kingshard就写哪个机子的ip。
4.启动kingshard, ./bin/kingshard --config etc/unshard.yaml,--config指定了配置文件,这样就算启动成功了。
5.客户端连接到kingshard,然后进行读写测试。
读的测试(select),理论上说是slave(172.16.65.129)返回数据:成功,数据返回的ip是129,使用的命令是select * from toutiao;
写的操作(insert),理论上说是master(172.16.65.1)返回数据:成功,数据返回的ip是1,使用的命令是insert into toutiao values(5,"toutiao5");
其实我们的kingshard已经实现了基本的负载均衡了,但是我们现在的场景变化了,假设我们现在有两台服务器,互为主从,我们如何实现这两台服务器的高可用功能呢,意思就是其中一台服务器宕机,另一台还是能够继续提供服务。这里我们就应该使用mysql-router来实现了,它的作用跟kingshard有点类似,不过它有自己的ip地址,同时呢,官方建议客户端和mysql-router安装在一台服务器上,客户端通过连接mysql-router,然后mysql-router管理两台服务器,默认是从其中一台进行读写操作,但是如果默认的宕机了,另一台会继续提供服务。mysql-router有两种模式,read-write和read-only.
准备:
1.两台服务器,配置mysql主从双向复制
2.安装好mysql-router。使用模式为read-only。
mysql主从双向复制,前面的课程已经讲过了,我就不再演示,不懂的朋友可以去看看我之前的教程,然后就开始安装mysql-router,过程很简单,装包,改配置文件,启服务,监控,ok了。
1.安装mysql-router,官方有,直接下载,rpm的,安装方法我就不用说了吧。最基础了。
2.修改配置文件,vim /etc/mysqlrouter/mysqlrouter.ini,在末尾添加上这样几行,由于我mysql-router和master是一台机子,所以我监控mysql-router的端口设置成3307,防止冲突。另外为了使得后面测试过程中显示的日志多一点,我们可以把日志类型改成debug类型的。
4.重启mysqlrouter服务,service mysqlrouter restart。
5.在其中一个master上创建一个用户可以连接mysql-router,这里我创建的用户是mysqlrouter,密码是mysqlrouter。
6.使用mysqlrouter这个用户通过本地连接到mysql-router,然后进行测试。
日志显示登录的信息:可以很明显的看出来现在是ip地址为172.16.65.1的master正在提供服务
现在模拟172.16.65.1这台服务器宕机,然后重新连接mysql-router,看看是那一台服务器提供服务。
宕机之后,现在提供服务的master变成了172.16.65.129了。所有的都测试成功了,大家动手试一试吧!
总结:
今天主要讲了mysql读写分离的原理和实现,以及对mysql高可用负载均衡的初步认识和初步实现,大家赶紧动手试一试吧,成功之后确实还是挺开心的。
分享到:
相关推荐
因此,需要找到方法来提高 MySQL 的并发量,例如分布式数据库、读写分离、高可用负载均衡、增加缓存服务器等。 MySQL 高可用负载均衡集群部署的方法 实现高可用负载均衡的方法有很多,例如 LVS+keepalived 组合...
本文基于CentOS 7操作系统,借助开源软件Nginx、Keepalived、Tomcat和MySQL实现高可用负载均衡的Web应用架构。Nginx作为前端服务器,为Web应用服务器提供代理和负载均衡;Keepalived作为Nginx服务器集群的心跳检测...
### MySQL数据库高可用高并发集群实战演练视频教程 #### 知识点一:MySQL数据库基础 - **数据库管理系统(DBMS)**:介绍MySQL作为一款关系型数据库管理系统的基础概念,包括其架构、特点以及与其他数据库系统的...
总的来说,Python实现MySQL的读写分离和负载均衡需要在应用程序中嵌入合适的逻辑,合理地管理数据库连接,并确保在系统架构层面做到低耦合和高可扩展性。这样的设计不仅降低了维护成本,也能在不显著增加开发工作量...
- 设置读写分离策略,默认情况下访问主库,配置读写分离后,写操作依然指向主数据库,而读操作则根据负载均衡策略分配给从数据库。 - **调整JVM内存:** 默认的JVM配置内存可能过小,需要适当增加内存配置。 - **...
Gelera Cluster 是一套基于 MySQL InnoDB 存储引擎上实现的 multi-master 及数据实时同步的系统架构,业务层面无需做读写分离工作,数据库读写压力都能按照既定的规则分发到各个节点上去。在数据方面完全兼容 ...
3. **MyCat**:作为一款开源的分布式数据库中间件,MyCat能够实现对数据库的读写分离、分库分表等功能,从而减轻单个数据库的压力,提高数据库层的整体性能。 #### 三、软件版本与部署环境规划 为了更好地理解和...
MySQL数据库是世界上最受欢迎的开源关系型数据库管理系统...例如,结合使用主从复制和ProxySQL,既能实现读写分离,又能提供故障切换的能力。理解并掌握这些技术是成为一名合格的数据库管理员或系统架构师的重要一步。
在MySQL主从复制的基础上,配合LVS(Linux Virtual Server)、keepalived、Heartbeat或roseHA等工具,可以创建更复杂的高可用架构,实现自动故障切换和负载均衡。 总的来说,MYCAT的读写分离和主从复制结合使用,...
本文将重点介绍如何使用HAProxy和MyCat组合来构建MySQL的高可用负载均衡集群。 首先,我们需要理解为什么需要MySQL集群。在大型分布式系统中,数据库层是最易成为性能瓶颈的部分。尽管可以通过在应用层引入队列和...
3. **MyCat**:一个开源的数据库中间件,支持SQL解析、路由、分片等功能,可实现对数据库的读写分离和数据分片,提高数据库的性能和可用性。 #### 三、部署环境与规划 1. **操作系统**:CentOS-6.6-x86_64 2. **...
MySQL主从复制与LVS(Linux Virtual Server)和Keepalived结合使用,是构建高可用性和负载均衡数据库架构的一种常见方案。以下将详细介绍这个过程。 首先,MySQL的主从复制是通过binlog(二进制日志)实现的。主...
总的来说,这个系统设计结合了MySQL主从复制实现数据同步,LVS提供负载均衡,Keepalived确保高可用性,共同构建了一个健壮且高效的数据库服务环境。在实际操作中,还需要根据业务需求和服务器性能调整相关参数,如...
MySQL-MM(Master-Master Replication Manager)是一种针对MySQL数据库实现主主复制的高可用解决方案,旨在提供读写分离和故障切换的能力。MySQL-MM是社区维护的开源项目,它通过一个中间件来管理多个MySQL主主复制...
在本文中,我们将探讨如何利用Keepalived和HAProxy这两个工具来实现MySQL数据库的高可用负载均衡,特别是在使用了MySQL Cluster的情况下。 **Keepalived的作用** Keepalived的主要目标是提供故障隔离和负载均衡器...
Mycat是基于MySQL协议开发的数据库中间件,它将多台MySQL服务器虚拟成一个大型的分布式数据库系统,实现了读写分离、分库分表等功能,为大数据量、高并发的业务场景提供了有效的解决方案。 二、Mycat复制 1. 数据...
尤其是在互联网企业,电子商务和各类在线服务领域,MySQL数据库因其开源、高性能、高可靠性及高可扩展性被广泛应用。然而,随着数据量的急剧增长和业务复杂度的提升,MySQL数据库面临着前所未有的挑战,尤其是在保持...