当系统数据量发展到一定程度后,往往需要进行数据库的垂直切分和水平切分,以实现负载均衡和性能提升,而数据切分后随之会带来多数据源整合等等问题。如果仅仅从应用程序的角度去解决这类问题,无疑会加重应用程度的复杂度,因此需要一个成熟的第三方解决方案。
Amoeba正是解决此类问题的一个开源方案,Amoeba位于应用程序和数据库服务器之间,相当于提供了一个代理,使得应用程序只要连接一个Amoeba,相当于只是在操作一个单独的数据库服务器,而实际上却是在操作多个数据库服务器,这中间的工作全部交由Amoeba去完成。
本文针对基于MySQL的水平切分的实现机制,讲解Amoeba For MySQL的简单应用。
一、背景介绍
使用数据库:MySQL
数据库节点1:127.0.0.1
数据库节点2:10.167.157.176
数据库名:yunzhu
切分的表:用户表(user_info)
切分的参数:用户ID(USERID)
切分规则:
用户ID小于等于100的数据存到数据库节点1,
用户ID大于100的数据存到数据库节点2
user_info表结构如下:
CREATE TABLE `user_info` ( `USERID` INT(10) NOT NULL DEFAULT '0', `USERNAME` VARCHAR(50) NULL DEFAULT NULL, PRIMARY KEY (`USERID`) )
数据库节点1中user_info表中的数据:
+--------+-----------+
| USERID | USERNAME |
+--------+-----------+
| 73 | Chen Feng |
| 88 | China |
+--------+-----------+
数据库节点1中user_info表中的数据:
+--------+----------+
| USERID | USERNAME |
+--------+----------+
| 108 | Jiang Su |
| 200 | NanJing |
+--------+----------+
Amoeba版本:
amoeba-mysql-binary-2.2.0
下载地址:
下载后直接解压即可使用
二、配置Amoeba
配置文件全部位于conf目录下
1、amoeba.xml
配置连接Amoeba程序的用户名和密码:
<property name="user">root</property> <property name="password">chenfeng123</property>
2、dbServers.xml
先配置一个抽象的父节点,定义多个数据库节点的共通的信息,包括数据库节点的端口、schema、用户名和密码:
<dbServer name="abstractServer" abstractive="true"> <factoryConfig class="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory"> ...... <!-- mysql port --> <property name="port">3306</property> <!-- mysql schema --> <property name="schema">yunzhu</property> <!-- mysql user --> <property name="user">root</property> <!-- mysql password --> <property name="password">chenfeng</property> </factoryConfig> ...... </dbServer>
再配置两个数据库节点,继承上面的父节点,然后配置各自的IP地址即可:
<dbServer name="server1" parent="abstractServer"> <factoryConfig> <!-- mysql ip --> <property name="ipAddress">127.0.0.1</property> </factoryConfig> </dbServer> <dbServer name="server2" parent="abstractServer"> <factoryConfig> <!-- mysql ip --> <property name="ipAddress">10.167.157.176</property> </factoryConfig> </dbServer>
3、rule.xml
配置切分规则:
1、schema指定数据库名,name指定表名,defaultPools指定关联的数据库节点(指定哪几个节点就从哪几个节点里面查数据)
2、切分规则:
1)用户ID小于100的数据存到数据库节点1
2)用户ID大于100的数据存到数据库节点2
<amoeba:rule xmlns:amoeba="http://amoeba.meidusa.com/"> <tableRule name="user_info" schema="yunzhu" defaultPools="server1,server2"> <rule name="rule1"> <parameters>USERID</parameters> <expression><![CDATA[ USERID <= 100]]></expression> <defaultPools>server1</defaultPools> <readPools>server1</readPools> <writePools>server1</writePools> </rule> <rule name="rule2"> <parameters>USERID</parameters> <expression><![CDATA[ USERID > 100 ]]></expression> <defaultPools>server2</defaultPools> <writePools>server2</writePools> <readPools>server2</readPools> </rule> </tableRule> </amoeba:rule>
三、运行及验证
1、启动Amoeba
通过bin目录下的amoeba.bat启动:
amoeba start
启动后控制台打印如下信息,可以看到:
log4j:WARN log4j config load completed from file:D:\JavaTools\amoeba-mysql-binar y-2.2.0\bin\..\conf\log4j.xml 2013-01-08 09:32:27,765 INFO context.MysqlRuntimeContext - Amoeba for Mysql cur rent versoin=5.1.45-mysql-amoeba-proxy-2.2.0 log4j:WARN ip access config load completed from file:D:\JavaTools\amoeba-mysql-b inary-2.2.0\bin\../conf/access_list.conf 2013-01-08 09:32:27,921 INFO net.ServerableConnectionManager - Amoeba for Mysql listening on 0.0.0.0/0.0.0.0:8066. 2013-01-08 09:32:27,921 INFO net.ServerableConnectionManager - Amoeba Monitor S erver listening on /127.0.0.1:40170.
2、连接Amoeba
通过mysql客户端连接Amoeba,端口指定为8066,然后还像以前操作MySQL一样进行操作:
D:\>mysql -P8066 -uroot -pchenfeng123 Welcome to the MySQL monitor. Commands end with ; or \g. Your MySQL connection id is 21616774 to server version: 5.1.45-mysql-amoeba-prox y-2.2.0 Type 'help;' or '\h' for help. Type '\c' to clear the buffer. mysql>
3、验证数据的查询
查询yunzhu库下的user_info表的数据,如下:
mysql> select * from yunzhu.user_info; +--------+-----------+ | USERID | USERNAME | +--------+-----------+ | 108 | Jiang Su | | 200 | NanJing | | 73 | Chen Feng | | 88 | China | +--------+-----------+ 4 rows in set (0.02 sec)
可以看到,现在查到了两个数据库节点中的user_info表中的所有记录。
4、验证数据的插入
这里插入两条数据,一条USERID为55,另一条USERID为155,如下:
mysql> insert into yunzhu.user_info(USERID,USERNAME) values(55,'test55'); Query OK, 1 row affected (0.13 sec) mysql> insert into yunzhu.user_info(USERID,USERNAME) values(155,'test155'); Query OK, 1 row affected (0.05 sec)
查询数据库节点1:
D:\>mysql -uroot -pchenfeng Welcome to the MySQL monitor. Commands end with ; or \g. Your MySQL connection id is 33 to server version: 5.0.18-nt Type 'help;' or '\h' for help. Type '\c' to clear the buffer. mysql> select * from yunzhu.user_info; +--------+-----------+ | USERID | USERNAME | +--------+-----------+ | 55 | test55 | | 73 | Chen Feng | | 88 | China | +--------+-----------+ 3 rows in set (0.00 sec)
查询数据库节点2:
D:\>mysql -uroot -pchenfeng -h10.167.157.176 Welcome to the MySQL monitor. Commands end with ; or \g. Your MySQL connection id is 34 to server version: 5.0.18-nt Type 'help;' or '\h' for help. Type '\c' to clear the buffer. mysql> select * from yunzhu.user_info; +--------+----------+ | USERID | USERNAME | +--------+----------+ | 108 | Jiang Su | | 155 | test155 | | 200 | NanJing | +--------+----------+ 3 rows in set (0.00 sec)
可以发现USERID为55的记录插入到了数据库节点1中,USERID为155的记录插入到了数据库节点2中。
因为根据rule.xml中的切分规则,USERID小于等于100的的记录存在数据库节点1中,而大于100的则存在数据库节点2中。
四、注意一些限制
这是我在实践中发现的,刚开始不知道存在这样的限制,以致于浪费了很多时间,以为配置有问题,搞了很久才发现原来是因为这些限制才导致没有出现预期的结果,所以必须要注意:
1、不管是查询和插入,每条都必须显式地指定数据库名(yunzhu),否则只会从一个数据库节点中查询数据,或者所有数据全部会插入一个数据库节点中。
2、插入数据时,必须显式地指定列名,如“insert into yunzhu.user_info(USERID,USERNAME)”,否则切分规则不会生效,所有记录都会插入到一个数据库节点中。
相关推荐
3. **易于扩展**:分布式数据库系统可以通过简单地添加更多节点来实现水平扩展,而不必停机或大幅修改现有架构,使得系统的扩展变得更加灵活且经济。 #### 三、Amoeba在分布式数据库中的角色 Amoeba是一款专注于...
** Amoeba是一个数据库中间件,它可以在多个MySQL实例之间透明地分发查询,实现数据的水平和垂直切分,提高系统的可扩展性和并发处理能力。 - **为何使用Amoeba?** 主要原因是它能够解决单个数据库实例性能瓶颈...
- Amoeba 是一个专注于 MySQL 数据库的分布式代理层框架,旨在实现数据库层面的负载均衡、高可用性等功能。 2. **为何选择 Amoeba?** - 支持多种数据分片策略,如水平切分和垂直切分; - 提供读写分离能力,优化...
轴类零件加工工艺设计.zip
资源内项目源码是来自个人的毕业设计,代码都测试ok,包含源码、数据集、可视化页面和部署说明,可产生核心指标曲线图、混淆矩阵、F1分数曲线、精确率-召回率曲线、验证集预测结果、标签分布图。都是运行成功后才上传资源,毕设答辩评审绝对信服的保底85分以上,放心下载使用,拿来就能用。包含源码、数据集、可视化页面和部署说明一站式服务,拿来就能用的绝对好资源!!! 项目备注 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用! 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习,也适合小白学习进阶,当然也可作为毕设项目、课程设计、大作业、项目初期立项演示等。 3、如果基础还行,也可在此代码基础上进行修改,以实现其他功能,也可用于毕设、课设、作业等。 下载后请首先打开README.txt文件,仅供学习参考, 切勿用于商业用途。
seaborn基本绘图人力资源数据集
移动机器人(sw三维)
自制html网页源代码查看器
3吨叉车的液压系统设计().zip
1_实验三 扰码、卷积编码及交织.ppt
北京交通大学软件学院自命题科目考试大纲.pdf
雅鲁藏布江流域 shp矢量数据 (范围+DEM).zip
基于RUST的数据结构代码示例,栈、队列、图等
NIFD:2024Q1房地产金融报告
详细介绍及样例数据:https://blog.csdn.net/li514006030/article/details/146916652
内容概要:本文档详细介绍了Java虚拟机(JVM)的相关知识点,涵盖Java内存模型、垃圾回收机制及算法、垃圾收集器、内存分配策略、虚拟机类加载机制和JVM调优等内容。首先阐述了Java代码的编译和运行过程,以及JVM的基本组成部分及其运行流程。接着深入探讨了JVM的各个运行时数据区,如程序计数器、Java虚拟机栈、本地方法栈、Java堆、方法区等的作用和特点。随后,文档详细解析了垃圾回收机制,包括GC的概念、工作原理、优点和缺点,并介绍了几种常见的垃圾回收算法。此外,文档还讲解了JVM的分代收集策略,新生代和老年代的区别,以及不同垃圾收集器的工作方式。最后,文档介绍了类加载机制、JVM调优的方法和工具,以及常用的JVM调优参数。 适合人群:具备一定Java编程基础的研发人员,尤其是希望深入了解JVM内部机制、优化程序性能的技术人员。 使用场景及目标:①帮助开发人员理解Java代码的编译和执行过程;②掌握JVM内存管理机制,包括内存分配、垃圾回收等;③熟悉类加载机制,了解类加载器的工作原理;④学会使用JVM调优工具,掌握常用调优参数,提升应用程序性能。 其他说明:本文档内容详尽,适合用作面试准备材料和技术学习资料,有助于提高开发人员对JVM的理解和应用能力。
Android项目原生java语言课程设计,包含LW+ppt
戴德梁行&中国房地产协会:2021亚洲房地产投资信托基金研究报告
Android项目原生java语言课程设计,包含LW+ppt