`
xiaoyao8903
  • 浏览: 21570 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
文章分类
社区版块
存档分类
最新评论

MySql读写分离,及数据库高可用负载均衡的实现

 
阅读更多

今天主要讲一下关于mysql读写分离rw-splitting的实现方式,以及简单的mysql高可用(HA)和负载均衡(LB)。我会提到读写分离的原理,实现方式和一些注意点。然后就是介绍一下官方提供的mysql-router工具,以及如何使用。

《第28天》MySql读写分离,及数据库高可用负载均衡的实现

《第28天》MySql读写分离,及数据库高可用负载均衡的实现

开班第二十八天:

今天的课程大纲:

  1. 关于golang(GO语言)的基本认识和配置

  2. mysql读写分离的原理和基本介绍

  3. 学习和安装使用kingshard实现读写分离

  4. mysql的高可用负载均衡机制

详细讲解:

  • 关于golang(GO语言)的基本认识和配置

go语言,是一个跨平台的语言,是现在非常流行的一种编程语言,学习go语言,有点类似学习python,基础很容易掌握,主要就是学习它的包,go语言就是以简洁强大著称的。不过我们为什么要学习go语言,因为后面讲到的读写分离实现工具kingshard就是在go语言的基础之上进行的,所以认识基本的语法也是有必要的。我们现在需要做的就是搭建一个golang的环境,语法的话有兴趣的朋友可以自己稍微学习一下,因为我并不教这个。我这里下载了一个golang的gz包,现在就可以进行配置环境了。

1.解压缩gz包到/usr/local/中,tar xvf go1.6.3.linux-amd64.tar.gz -C /usr/local

2.为了每次启动方便,我们把要设置环境变量和工作目录,把下面的内容添加到vim ~/.bashrc中,这样每次启动终端就会让环境变量生效。

《第28天》MySql读写分离,及数据库高可用负载均衡的实现3.这样,我们的go环境已经安装好了,现在测试一下,重新开一个终端,执行下下面语句,这样就代表成功。

《第28天》MySql读写分离,及数据库高可用负载均衡的实现

  • mysql读写分离的原理和基本介绍(段落有点长,但是我是用大白话解释的,很好理解)

什么是读写分离,说白了就是mysql服务器读的操作和写的操作是分开的,当然这个需要两台服务器,master负责写,slave负责读,当然我们可以使用多个slave,这样我们也实现了简单意义上的高可用和负载均衡,只不过这种调度算法只是简单的轮循。我们如何让master和slave这样进行工作呢,其实我们需要一个代理,简单来说就是一个客户端和mysql服务器之间的一个管家,当我们客户端需要操作查询数据库的时候,我们先把操作发给这个管家,然后管家通过识别,哦~原来你要进行select操作,那么我就把你这个请求发给master,又来一个原来你需要进行的是插入insert的操作,那么我就把你这个请求发给slave,当如果有多个slave的时候,我就通过slave的权重,轮循的发给每一个slave,这样我们就实现了读写分离操作,以及简单的负载均衡。

实现读写分离的工具有很多,我介绍几个,阿里巴巴的cobar,360的atlas,以及用golang写的kingshard,在很早之前,mysql官方提供了一个mysql-proxy,也是360的atlas的"爸爸",但是这个一直没有正式发布,在oracle收购sun公司之后,这个工具也彻底的消失了。最后一个就是mysql-router,它是mysql官方提供的,但是需要注意的是,这个工具不支持读写分离,它实现了失败转移和失败切换,而且这个工具有自己的ip和端口,实现了高可用。

  • 学习和安装使用kingshard实现读写分离

前面学习了golang,那我肯定是要讲kingshard了,首先说明几点,kingshard只支持一个master多个slave,不能同时存在两个master(当然你学习了后面的mysql-router,可以结合kingshard使用),这里我默认选择一个master和一个slave,kingshard的原理很简单,我们作为客户端要连接到kingshard,然后kingshard也要连接到master,这就要求有两组不同的用户密码,下面是初始要求:

1.master和slave实现主从双向复制。

2.golang环境配置好。

现在开始安装kingshard,github上有详细的安装方式,网址:https://github.com/flike/kingshard

《第28天》MySql读写分离,及数据库高可用负载均衡的实现1.下载好了,然后开始编译
《第28天》MySql读写分离,及数据库高可用负载均衡的实现2.编译make,然后修改配置文件vim etc/unshard.yaml,注意路径,是在当前目录中的。

主要修改的内容有一下几个:

<1>设置ip和监听的端口,我们的kingshard和客户端可以安装在一个机子上,也可以安装在不同的机子上,端口尽量不使用3306,防止被占用。ip是监听所有的ip,端口我设置为3307,用户密码我设置默认。

《第28天》MySql读写分离,及数据库高可用负载均衡的实现<2>开启日志

《第28天》MySql读写分离,及数据库高可用负载均衡的实现<3>配置节点,我们可以认为master和slave组成一个节点,节点名称为node1,在master上添加一个用户,这个用户密码是kingshard连接mysql用的。设置master和slave的ip端口,我这里用的是master为主机,slave为虚拟机,所以要注意同一网段。

《第28天》MySql读写分离,及数据库高可用负载均衡的实现3.在master上创建一个用户kingshard,密码为123456,记住下面这个ip地址,是你在哪个机子上安装了kingshard就写哪个机子的ip。

《第28天》MySql读写分离,及数据库高可用负载均衡的实现4.启动kingshard, ./bin/kingshard --config etc/unshard.yaml,--config指定了配置文件,这样就算启动成功了。

《第28天》MySql读写分离,及数据库高可用负载均衡的实现5.客户端连接到kingshard,然后进行读写测试。

《第28天》MySql读写分离,及数据库高可用负载均衡的实现读的测试(select),理论上说是slave(172.16.65.129)返回数据:成功,数据返回的ip是129,使用的命令是select * from toutiao;

《第28天》MySql读写分离,及数据库高可用负载均衡的实现写的操作(insert),理论上说是master(172.16.65.1)返回数据:成功,数据返回的ip是1,使用的命令是insert into toutiao values(5,"toutiao5");

《第28天》MySql读写分离,及数据库高可用负载均衡的实现

  • mysql的高可用负载均衡机制

其实我们的kingshard已经实现了基本的负载均衡了,但是我们现在的场景变化了,假设我们现在有两台服务器,互为主从,我们如何实现这两台服务器的高可用功能呢,意思就是其中一台服务器宕机,另一台还是能够继续提供服务。这里我们就应该使用mysql-router来实现了,它的作用跟kingshard有点类似,不过它有自己的ip地址,同时呢,官方建议客户端和mysql-router安装在一台服务器上,客户端通过连接mysql-router,然后mysql-router管理两台服务器,默认是从其中一台进行读写操作,但是如果默认的宕机了,另一台会继续提供服务。mysql-router有两种模式,read-write和read-only.

准备:

1.两台服务器,配置mysql主从双向复制

2.安装好mysql-router。使用模式为read-only。

mysql主从双向复制,前面的课程已经讲过了,我就不再演示,不懂的朋友可以去看看我之前的教程,然后就开始安装mysql-router,过程很简单,装包,改配置文件,启服务,监控,ok了。

1.安装mysql-router,官方有,直接下载,rpm的,安装方法我就不用说了吧。最基础了。

2.修改配置文件,vim /etc/mysqlrouter/mysqlrouter.ini,在末尾添加上这样几行,由于我mysql-router和master是一台机子,所以我监控mysql-router的端口设置成3307,防止冲突。另外为了使得后面测试过程中显示的日志多一点,我们可以把日志类型改成debug类型的。

《第28天》MySql读写分离,及数据库高可用负载均衡的实现4.重启mysqlrouter服务,service mysqlrouter restart。

5.在其中一个master上创建一个用户可以连接mysql-router,这里我创建的用户是mysqlrouter,密码是mysqlrouter。

《第28天》MySql读写分离,及数据库高可用负载均衡的实现6.使用mysqlrouter这个用户通过本地连接到mysql-router,然后进行测试。

《第28天》MySql读写分离,及数据库高可用负载均衡的实现

日志显示登录的信息:可以很明显的看出来现在是ip地址为172.16.65.1的master正在提供服务

《第28天》MySql读写分离,及数据库高可用负载均衡的实现现在模拟172.16.65.1这台服务器宕机,然后重新连接mysql-router,看看是那一台服务器提供服务。

《第28天》MySql读写分离,及数据库高可用负载均衡的实现

宕机之后,现在提供服务的master变成了172.16.65.129了。《第28天》MySql读写分离,及数据库高可用负载均衡的实现所有的都测试成功了,大家动手试一试吧!

总结:

今天主要讲了mysql读写分离的原理和实现,以及对mysql高可用负载均衡的初步认识和初步实现,大家赶紧动手试一试吧,成功之后确实还是挺开心的。

分享到:
评论

相关推荐

    spring 异步编程样例

    spring 异步编程样例

    带有 python 3 和 opencv 4.1 的 Docker 映像.zip

    带有 python 3.7 和 opencv 4.1.0 的 Docker 映像用法docker run -it jjanzic/docker-python3-opencv python>>> import cv2带有标签的图像包含使用contrib 模块:contrib构建的 docker 镜像可用的docker标签列表opencv-4.1.0(latest分支)contrib-opencv-4.1.0(opencv_contrib分支)opencv-4.0.1contrib-opencv-4.0.1opencv-4.0.0contrib-opencv-4.0.0opencv-3.4.2contrib-opencv-3.4.2opencv-3.4.1contrib-opencv-3.4.1opencv-3.4.0contrib-opencv-3.4.0opencv-3.3.0contrib-opencv-3.3.0opencv-3.2.0contrib-opencv-3.2.0

    原生js鼠标滑过文字淡入淡出效果.zip

    原生js鼠标滑过文字淡入淡出效果.zip

    1-中国各省、市、区、县距离港口和海岸线的距离计算代码+计算结果-社科数据.zip

    中国各城市、区、县距离港口和海岸线的距离数据集提供了全国各城市及区、县的坐标信息,以及各个港口和海岸线的坐标信息。通过R语言计算,得出了各城市、区县与港口和海岸线之间的距离。该数据集包含了各港口的经纬度、各城市与港口之间的距离、各区县与港口之间的距离、中国各城市质心与港口的最近距离、中国各城市质心与海岸线的距离、中国各区县质心与港口的最近距离以及中国各区县质心与海岸线的距离等指标。此外,还涉及中国各省距离海岸线的距离数据。港口等级划分参考了《全国沿海港口布局规划》,包括上海港、大连港等45个港口。数据集覆盖了全国31个省及直辖市,是研究地理、经济和规划等领域的宝贵资源。

    为 Spring Web 应用提供 OAuth1 (a) 和 OAuth2 功能支持.zip

    1、资源项目源码均已通过严格测试验证,保证能够正常运行; 2、项目问题、技术讨论,可以给博主私信或留言,博主看到后会第一时间与您进行沟通; 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用,尤其对于人工智能、计算机科学与技术等相关专业,更为适合; 4、下载使用后,可先查看README.md文件(如有),本项目仅用作交流学习参考,请切勿用于商业用途。

    信号处理和通信系统模型中的模拟电路效应simulink.rar

    1.版本:matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点:参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象:计算机,电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 替换数据可以直接使用,注释清楚,适合新手

    Python错误集合.doc

    Python错误集合.doc

    1-中国全球投资追踪相关数据(2005-2023年)-社科数据.zip

    《中国全球投资追踪》数据库提供了2005至2023年间中国在全球范围内的投资和合同的详细记录,不包括债券。该数据库由中国海外直接投资(ODI)和建筑合同两大部分组成,覆盖全球多个国家和地区,涉及能源、交通、通信等多个行业领域。这份追踪数据集包含4142条样本,以面板数据格式呈现,主要指标包括年份、月份、投资方、投资量(单位:百万美元)、交易类型、行业、子行业、国家、地区、是否为“一带一路”倡议相关项目、绿地投资等。这份追踪数据是政策制定者、学者、企业和公众理解中国在全球经济中角色的重要资源,有助于分析中国的全球战略和经济目标。

    原生js广告代码制作可展开关闭的页面上固定的图片对联广告代码.rar

    原生js广告代码制作可展开关闭的页面上固定的图片对联广告代码.rar

    1-中国各地区普通小学毕业生数(1999-2020年)-社科数据.zip

    这组数据涵盖了1999至2020年间中国各地区普通小学毕业生的数量。它为我们提供了一个深入了解中国教育领域中普通小学阶段教育水平和教育资源分配情况的窗口。通过分析这些数据,可以为制定科学合理的教育政策提供依据,同时,通过比较不同城市的普通小学毕业生数,也能为城市规划和劳动力市场调查提供参考。数据来源于中国区域统计年鉴和中国各省市统计年鉴,包含了8472个样本,以面板数据的形式呈现。这些数据对于掌握中国教育态势具有重要的参考价值。

    用于模拟三角模糊隶属度的 Simulink 函数.rar

    1.版本:matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点:参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象:计算机,电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 替换数据可以直接使用,注释清楚,适合新手

    生产单元数字化改造24国赛仓库

    自写程序

    成熟草莓检测 草莓照片 - 物体检测数据集

    该数据集由草莓照片组成,用于识别成熟的草莓。 图像上标注有边界框,可以准确标出图像中成熟草莓的位置。 该数据集可用于促进草莓生产、质量控制和农业实践的进步以及提高精确度。 数据集结构 图像- 包含草莓的原始图像 框- 包括原始图像的边界框标签 annotations.xml - 包含为原始照片创建的边界框和标签的坐标 数据格式 文件夹中的每张图片都images附有 XML 注释,annotations.xml指示用于检测成熟草莓的边界框的坐标。对于每个点,都提供了 x 和 y 坐标。成熟草莓的可见性也由属性occluded (0, 1) 提供。

    雷达信号分选仿真数据产生程序以及信号分选的PRI变换算法仿真程序 matlab代码.rar

    1.版本:matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点:参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象:计算机,电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 替换数据可以直接使用,注释清楚,适合新手

    jmw网址导航网站简洁源码.zip

    jmw网址导航网站简洁源码.zip

    微信小程序开发项目教程:从前端到后端全方位解析与实战

    内容概要:本文档旨在带领初学者了解和掌握小程序开发全流程。首先介绍了小程序的特点及其广泛应用场景。随后详细讲解了小程序的项目准备、前端与后端开发、API调用技巧以及测试发布等关键环节。特别是针对微信小程序的特性,给出了许多实用的技术指南。 适用人群:对于想要学习小程序开发的新手开发者尤其有用。 使用场景及目标:帮助读者从零开始构建一个完整的餐饮类微信小程序,涵盖需求分析、功能设计、技术选型、页面搭建、交互逻辑实现、后台服务对接、测试上线等一系列步骤。 其他说明:文中还特别强调了代码调试的重要性,并提供了关于常见错误排查的具体指导,有助于新手解决实际开发过程中遇到的问题。另外,文档末尾附有项目总结和后续维护要点,提醒开发者注意项目完成后的工作事项。

    用于数据区分的自适应多项式 (Savitzky-Golay) 滤波器Matlab代码.rar

    1.版本:matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点:参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象:计算机,电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 替换数据可以直接使用,注释清楚,适合新手

    SiC模块取代IGBT模块的PCS-基本半导体产品在125KW工商业PCS中的应用-241028-Rev.1.1

    SiC模块取代IGBT模块的PCS

    原生js微信分享到朋友圈浮动层代码.zip

    原生js微信分享到朋友圈浮动层代码.zip

    ECharts柱状图-极坐标系下的堆叠柱状图2.rar

    图表效果及代码实现讲解链接:https://blog.csdn.net/zhangjiujiu/article/details/143997013

Global site tag (gtag.js) - Google Analytics