`
yunzhu
  • 浏览: 1149783 次
  • 性别: Icon_minigender_1
  • 来自: 南京
博客专栏
B2b19957-cda7-3a9e-83a0-418743feb0ca
监控应用服务器
浏览量:110659
2e8be8be-e51f-346c-bcdd-12623c9aa820
Web前端开发
浏览量:120151
Bfa5df64-a623-34b9-85b8-ef3ce2aed758
经典异常的解决
浏览量:205153
社区版块
存档分类
最新评论

Amoeba For MySQL入门:实现数据库水平切分

阅读更多

当系统数据量发展到一定程度后,往往需要进行数据库的垂直切分和水平切分,以实现负载均衡和性能提升,而数据切分后随之会带来多数据源整合等等问题。如果仅仅从应用程序的角度去解决这类问题,无疑会加重应用程度的复杂度,因此需要一个成熟的第三方解决方案。

Amoeba正是解决此类问题的一个开源方案,Amoeba位于应用程序和数据库服务器之间,相当于提供了一个代理,使得应用程序只要连接一个Amoeba,相当于只是在操作一个单独的数据库服务器,而实际上却是在操作多个数据库服务器,这中间的工作全部交由Amoeba去完成。

本文针对基于MySQL的水平切分的实现机制,讲解Amoeba For MySQL的简单应用。

 

一、背景介绍

使用数据库:MySQL

数据库节点1:127.0.0.1

数据库节点2:10.167.157.176

 

数据库名:yunzhu

切分的表:用户表(user_info)

切分的参数:用户ID(USERID)

 

切分规则:

用户ID小于等于100的数据存到数据库节点1,

用户ID大于100的数据存到数据库节点2

 

user_info表结构如下:

CREATE TABLE `user_info` (
	`USERID` INT(10) NOT NULL DEFAULT '0',
	`USERNAME` VARCHAR(50) NULL DEFAULT NULL,
	PRIMARY KEY (`USERID`)
)

数据库节点1中user_info表中的数据:

+--------+-----------+
| USERID | USERNAME  |
+--------+-----------+
|     73 | Chen Feng |
|     88 | China     |
+--------+-----------+

数据库节点1中user_info表中的数据:

+--------+----------+
| USERID | USERNAME |
+--------+----------+
|    108 | Jiang Su |
|    200 | NanJing  |
+--------+----------+

 

Amoeba版本:

amoeba-mysql-binary-2.2.0

 

下载地址:

http://nchc.dl.sourceforge.net/project/amoeba/Amoeba%20for%20mysql/2.2.x/amoeba-mysql-binary-2.2.0.tar.gz

下载后直接解压即可使用

 

二、配置Amoeba

配置文件全部位于conf目录下

1、amoeba.xml

配置连接Amoeba程序的用户名和密码:

<property name="user">root</property>
<property name="password">chenfeng123</property>

2、dbServers.xml

先配置一个抽象的父节点,定义多个数据库节点的共通的信息,包括数据库节点的端口、schema、用户名和密码:

<dbServer name="abstractServer" abstractive="true">
	<factoryConfig class="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory">
		......
			
		<!-- mysql port -->
		<property name="port">3306</property>
		
		<!-- mysql schema -->
		<property name="schema">yunzhu</property>
		
		<!-- mysql user -->
		<property name="user">root</property>
		
		<!--  mysql password -->
		<property name="password">chenfeng</property>
	</factoryConfig>
      ......
</dbServer>

  再配置两个数据库节点,继承上面的父节点,然后配置各自的IP地址即可:

<dbServer name="server1"  parent="abstractServer">
	<factoryConfig>
		<!-- mysql ip -->
		<property name="ipAddress">127.0.0.1</property>
	</factoryConfig>
</dbServer>

<dbServer name="server2"  parent="abstractServer">
	<factoryConfig>
		<!-- mysql ip -->
		<property name="ipAddress">10.167.157.176</property>
	</factoryConfig>
</dbServer>

3、rule.xml

  配置切分规则:

     1、schema指定数据库名,name指定表名,defaultPools指定关联的数据库节点(指定哪几个节点就从哪几个节点里面查数据)

     2、切分规则:

         1)用户ID小于100的数据存到数据库节点1

         2)用户ID大于100的数据存到数据库节点2

<amoeba:rule xmlns:amoeba="http://amoeba.meidusa.com/">
	<tableRule name="user_info" schema="yunzhu" defaultPools="server1,server2">
		<rule name="rule1">
			<parameters>USERID</parameters>
			<expression><![CDATA[ USERID <= 100]]></expression>
			<defaultPools>server1</defaultPools>
			<readPools>server1</readPools>
			<writePools>server1</writePools>
		</rule>
		<rule name="rule2">
			<parameters>USERID</parameters>
			<expression><![CDATA[ USERID > 100 ]]></expression>
			<defaultPools>server2</defaultPools>
			<writePools>server2</writePools>
			<readPools>server2</readPools>
		</rule>
	</tableRule>		
</amoeba:rule>

 

三、运行及验证

1、启动Amoeba

通过bin目录下的amoeba.bat启动:

 

amoeba start

 

启动后控制台打印如下信息,可以看到:

log4j:WARN log4j config load completed from file:D:\JavaTools\amoeba-mysql-binar
y-2.2.0\bin\..\conf\log4j.xml
2013-01-08 09:32:27,765 INFO  context.MysqlRuntimeContext - Amoeba for Mysql cur
rent versoin=5.1.45-mysql-amoeba-proxy-2.2.0
log4j:WARN ip access config load completed from file:D:\JavaTools\amoeba-mysql-b
inary-2.2.0\bin\../conf/access_list.conf
2013-01-08 09:32:27,921 INFO  net.ServerableConnectionManager - Amoeba for Mysql
 listening on 0.0.0.0/0.0.0.0:8066.
2013-01-08 09:32:27,921 INFO  net.ServerableConnectionManager - Amoeba Monitor S
erver listening on /127.0.0.1:40170.

2、连接Amoeba

通过mysql客户端连接Amoeba,端口指定为8066,然后还像以前操作MySQL一样进行操作:

D:\>mysql -P8066 -uroot -pchenfeng123
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 21616774 to server version: 5.1.45-mysql-amoeba-prox
y-2.2.0

Type 'help;' or '\h' for help. Type '\c' to clear the buffer.

mysql>

3、验证数据的查询

查询yunzhu库下的user_info表的数据,如下:

mysql> select * from yunzhu.user_info;
+--------+-----------+
| USERID | USERNAME  |
+--------+-----------+
|    108 | Jiang Su  |
|    200 | NanJing   |
|     73 | Chen Feng |
|     88 | China     |
+--------+-----------+
4 rows in set (0.02 sec)

可以看到,现在查到了两个数据库节点中的user_info表中的所有记录。

 

4、验证数据的插入

这里插入两条数据,一条USERID为55,另一条USERID为155,如下:

mysql> insert into yunzhu.user_info(USERID,USERNAME) values(55,'test55');
Query OK, 1 row affected (0.13 sec)

mysql> insert into yunzhu.user_info(USERID,USERNAME) values(155,'test155');
Query OK, 1 row affected (0.05 sec)

 

查询数据库节点1:

D:\>mysql -uroot -pchenfeng
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 33 to server version: 5.0.18-nt

Type 'help;' or '\h' for help. Type '\c' to clear the buffer.

mysql> select * from yunzhu.user_info;
+--------+-----------+
| USERID | USERNAME  |
+--------+-----------+
|     55 | test55    |
|     73 | Chen Feng |
|     88 | China     |
+--------+-----------+
3 rows in set (0.00 sec)

 

查询数据库节点2:

D:\>mysql -uroot -pchenfeng -h10.167.157.176
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 34 to server version: 5.0.18-nt

Type 'help;' or '\h' for help. Type '\c' to clear the buffer.

mysql> select * from yunzhu.user_info;
+--------+----------+
| USERID | USERNAME |
+--------+----------+
|    108 | Jiang Su |
|    155 | test155  |
|    200 | NanJing  |
+--------+----------+
3 rows in set (0.00 sec)

可以发现USERID为55的记录插入到了数据库节点1中,USERID为155的记录插入到了数据库节点2中。

因为根据rule.xml中的切分规则,USERID小于等于100的的记录存在数据库节点1中,而大于100的则存在数据库节点2中。

 

四、注意一些限制

这是我在实践中发现的,刚开始不知道存在这样的限制,以致于浪费了很多时间,以为配置有问题,搞了很久才发现原来是因为这些限制才导致没有出现预期的结果,所以必须要注意:

1、不管是查询和插入,每条都必须显式地指定数据库名(yunzhu),否则只会从一个数据库节点中查询数据,或者所有数据全部会插入一个数据库节点中。

2、插入数据时,必须显式地指定列名,如“insert into yunzhu.user_info(USERID,USERNAME)”,否则切分规则不会生效,所有记录都会插入到一个数据库节点中。

 

分享到:
评论

相关推荐

    amoeba分布式数据库解决方案

    3. **易于扩展**:分布式数据库系统可以通过简单地添加更多节点来实现水平扩展,而不必停机或大幅修改现有架构,使得系统的扩展变得更加灵活且经济。 #### 三、Amoeba在分布式数据库中的角色 Amoeba是一款专注于...

    amoeba 详细配置文档

    ** Amoeba是一个数据库中间件,它可以在多个MySQL实例之间透明地分发查询,实现数据的水平和垂直切分,提高系统的可扩展性和并发处理能力。 - **为何使用Amoeba?** 主要原因是它能够解决单个数据库实例性能瓶颈...

    amoeba使用指南.pdf

    - Amoeba 是一个专注于 MySQL 数据库的分布式代理层框架,旨在实现数据库层面的负载均衡、高可用性等功能。 2. **为何选择 Amoeba?** - 支持多种数据分片策略,如水平切分和垂直切分; - 提供读写分离能力,优化...

    win7修复本地系统工具

    win7修复本地系统工具

    《自动化专业英语》04-Automatic-Detection-Block(自动检测模块).ppt

    《自动化专业英语》04-Automatic-Detection-Block(自动检测模块).ppt

    《计算机专业英语》chapter12-Intelligent-Transportation.ppt

    《计算机专业英语》chapter12-Intelligent-Transportation.ppt

    西门子S7-1200博图平台下3轴伺服螺丝机程序解析与应用

    内容概要:本文详细介绍了基于西门子S7-1200博图平台的3轴伺服螺丝机程序。该程序使用SCL语言编写,结合KTP700组态和TIA V14及以上版本,实现了对X、Y、Z三个轴的精密控制。文章首先概述了程序的整体架构,强调了其在自动化控制领域的高参考价值。接着深入探讨了关键代码片段,如轴初始化、运动控制以及主程序的设计思路。此外,还展示了如何通过KTP700组态实现人机交互,并分享了一些实用的操作技巧和技术细节,如状态机设计、HMI交互、异常处理等。 适用人群:从事自动化控制系统开发的技术人员,尤其是对西门子PLC编程感兴趣的工程师。 使用场景及目标:适用于希望深入了解西门子S7-1200博图平台及其SCL语言编程特点的学习者;旨在帮助读者掌握3轴伺服系统的具体实现方法,提高实际项目中的编程能力。 其他说明:文中提供的代码示例和设计理念不仅有助于理解和学习,还能直接应用于类似的实际工程项目中。

    MATLAB仿真:非线性滤波器在水下长基线定位(LBL)系统的应用与比较

    内容概要:本文详细探讨了五种非线性滤波器(卡尔曼滤波(KF)、扩展卡尔曼滤波(EKF)、无迹卡尔曼滤波(UKF)、粒子滤波(PF)和变维卡尔曼滤波(VDKF))在水下长基线定位(LBL)系统中的应用。通过对每种滤波器的具体实现进行MATLAB代码展示,分析了它们在不同条件下的优缺点。例如,KF适用于线性系统但在非线性环境中失效;EKF通过雅可比矩阵线性化处理非线性问题,但在剧烈机动时表现不佳;UKF利用sigma点处理非线性,精度较高但计算量大;PF采用蒙特卡罗方法,鲁棒性强但计算耗时;VDKF能够动态调整状态维度,适合信标数量变化的场景。 适合人群:从事水下机器人(AUV)导航研究的技术人员、研究生以及对非线性滤波感兴趣的科研工作者。 使用场景及目标:①理解各种非线性滤波器的工作原理及其在水下定位中的具体应用;②评估不同滤波器在特定条件下的性能,以便为实际项目选择合适的滤波器;③掌握MATLAB实现非线性滤波器的方法和技术。 其他说明:文中提供了详细的MATLAB代码片段,帮助读者更好地理解和实现这些滤波器。此外,还讨论了数值稳定性问题和一些实用技巧,如Cholesky分解失败的处理方法。

    VMware-workstation-full-14.1.3-9474260

    VMware-workstation-full-14.1.3-9474260

    DeepSeek系列-提示词工程和落地场景.pdf

    DeepSeek系列-提示词工程和落地场景.pdf

    javaSE阶段面试题

    javaSE阶段面试题

    《综合布线施工技术》第5章-综合布线工程测试.ppt

    《综合布线施工技术》第5章-综合布线工程测试.ppt

    安川机器人NX100使用说明书.pdf

    安川机器人NX100使用说明书.pdf

    S7-1200 PLC改造M7120平面磨床电气控制系统:IO分配、梯形图设计及组态画面实现

    内容概要:本文详细介绍了将M7120型平面磨床的传统继电器控制系统升级为基于西门子S7-1200 PLC的自动化控制系统的过程。主要内容涵盖IO分配、梯形图设计和组态画面实现。通过合理的IO分配,确保了系统的可靠性和可维护性;梯形图设计实现了主控制逻辑、砂轮升降控制和报警逻辑等功能;组态画面则提供了友好的人机交互界面,便于操作和监控。此次改造显著提高了设备的自动化水平、运行效率和可靠性,降低了维护成本。 适合人群:从事工业自动化领域的工程师和技术人员,尤其是熟悉PLC编程和控制系统设计的专业人士。 使用场景及目标:适用于需要进行老旧设备升级改造的企业,旨在提高生产设备的自动化水平和可靠性,降低故障率和维护成本。具体应用场景包括但不限于金属加工行业中的平面磨床等设备的控制系统改造。 其他说明:文中还分享了一些实际调试中的经验和技巧,如急停逻辑的设计、信号抖动的处理方法等,有助于读者在类似项目中借鉴和应用。

    chromedriver-linux64-136.0.7103.48.zip

    chromedriver-linux64-136.0.7103.48.zip

    IMG_20250421_180507.jpg

    IMG_20250421_180507.jpg

    《网络营销策划实务》项目一-网络营销策划认知.ppt

    《网络营销策划实务》项目一-网络营销策划认知.ppt

    Lianantech_Security-Vulnerabil_1744433229.zip

    Lianantech_Security-Vulnerabil_1744433229

    MybatisCodeHelperNew2019.1-2023.1-3.4.1.zip

    MybatisCodeHelperNew2019.1-2023.1-3.4.1

    《Approaching(Almost)any machine learning problem》中文版第13章(最后一章)

    【深度学习部署】基于Docker的BERT模型训练与API服务部署:实现代码复用与模型共享

Global site tag (gtag.js) - Google Analytics