`
yunzhu
  • 浏览: 1149793 次
  • 性别: Icon_minigender_1
  • 来自: 南京
博客专栏
B2b19957-cda7-3a9e-83a0-418743feb0ca
监控应用服务器
浏览量:110660
2e8be8be-e51f-346c-bcdd-12623c9aa820
Web前端开发
浏览量:120152
Bfa5df64-a623-34b9-85b8-ef3ce2aed758
经典异常的解决
浏览量:205154
社区版块
存档分类
最新评论

Amoeba For MySQL入门:实现数据库水平切分

阅读更多

当系统数据量发展到一定程度后,往往需要进行数据库的垂直切分和水平切分,以实现负载均衡和性能提升,而数据切分后随之会带来多数据源整合等等问题。如果仅仅从应用程序的角度去解决这类问题,无疑会加重应用程度的复杂度,因此需要一个成熟的第三方解决方案。

Amoeba正是解决此类问题的一个开源方案,Amoeba位于应用程序和数据库服务器之间,相当于提供了一个代理,使得应用程序只要连接一个Amoeba,相当于只是在操作一个单独的数据库服务器,而实际上却是在操作多个数据库服务器,这中间的工作全部交由Amoeba去完成。

本文针对基于MySQL的水平切分的实现机制,讲解Amoeba For MySQL的简单应用。

 

一、背景介绍

使用数据库:MySQL

数据库节点1:127.0.0.1

数据库节点2:10.167.157.176

 

数据库名:yunzhu

切分的表:用户表(user_info)

切分的参数:用户ID(USERID)

 

切分规则:

用户ID小于等于100的数据存到数据库节点1,

用户ID大于100的数据存到数据库节点2

 

user_info表结构如下:

CREATE TABLE `user_info` (
	`USERID` INT(10) NOT NULL DEFAULT '0',
	`USERNAME` VARCHAR(50) NULL DEFAULT NULL,
	PRIMARY KEY (`USERID`)
)

数据库节点1中user_info表中的数据:

+--------+-----------+
| USERID | USERNAME  |
+--------+-----------+
|     73 | Chen Feng |
|     88 | China     |
+--------+-----------+

数据库节点1中user_info表中的数据:

+--------+----------+
| USERID | USERNAME |
+--------+----------+
|    108 | Jiang Su |
|    200 | NanJing  |
+--------+----------+

 

Amoeba版本:

amoeba-mysql-binary-2.2.0

 

下载地址:

http://nchc.dl.sourceforge.net/project/amoeba/Amoeba%20for%20mysql/2.2.x/amoeba-mysql-binary-2.2.0.tar.gz

下载后直接解压即可使用

 

二、配置Amoeba

配置文件全部位于conf目录下

1、amoeba.xml

配置连接Amoeba程序的用户名和密码:

<property name="user">root</property>
<property name="password">chenfeng123</property>

2、dbServers.xml

先配置一个抽象的父节点,定义多个数据库节点的共通的信息,包括数据库节点的端口、schema、用户名和密码:

<dbServer name="abstractServer" abstractive="true">
	<factoryConfig class="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory">
		......
			
		<!-- mysql port -->
		<property name="port">3306</property>
		
		<!-- mysql schema -->
		<property name="schema">yunzhu</property>
		
		<!-- mysql user -->
		<property name="user">root</property>
		
		<!--  mysql password -->
		<property name="password">chenfeng</property>
	</factoryConfig>
      ......
</dbServer>

  再配置两个数据库节点,继承上面的父节点,然后配置各自的IP地址即可:

<dbServer name="server1"  parent="abstractServer">
	<factoryConfig>
		<!-- mysql ip -->
		<property name="ipAddress">127.0.0.1</property>
	</factoryConfig>
</dbServer>

<dbServer name="server2"  parent="abstractServer">
	<factoryConfig>
		<!-- mysql ip -->
		<property name="ipAddress">10.167.157.176</property>
	</factoryConfig>
</dbServer>

3、rule.xml

  配置切分规则:

     1、schema指定数据库名,name指定表名,defaultPools指定关联的数据库节点(指定哪几个节点就从哪几个节点里面查数据)

     2、切分规则:

         1)用户ID小于100的数据存到数据库节点1

         2)用户ID大于100的数据存到数据库节点2

<amoeba:rule xmlns:amoeba="http://amoeba.meidusa.com/">
	<tableRule name="user_info" schema="yunzhu" defaultPools="server1,server2">
		<rule name="rule1">
			<parameters>USERID</parameters>
			<expression><![CDATA[ USERID <= 100]]></expression>
			<defaultPools>server1</defaultPools>
			<readPools>server1</readPools>
			<writePools>server1</writePools>
		</rule>
		<rule name="rule2">
			<parameters>USERID</parameters>
			<expression><![CDATA[ USERID > 100 ]]></expression>
			<defaultPools>server2</defaultPools>
			<writePools>server2</writePools>
			<readPools>server2</readPools>
		</rule>
	</tableRule>		
</amoeba:rule>

 

三、运行及验证

1、启动Amoeba

通过bin目录下的amoeba.bat启动:

 

amoeba start

 

启动后控制台打印如下信息,可以看到:

log4j:WARN log4j config load completed from file:D:\JavaTools\amoeba-mysql-binar
y-2.2.0\bin\..\conf\log4j.xml
2013-01-08 09:32:27,765 INFO  context.MysqlRuntimeContext - Amoeba for Mysql cur
rent versoin=5.1.45-mysql-amoeba-proxy-2.2.0
log4j:WARN ip access config load completed from file:D:\JavaTools\amoeba-mysql-b
inary-2.2.0\bin\../conf/access_list.conf
2013-01-08 09:32:27,921 INFO  net.ServerableConnectionManager - Amoeba for Mysql
 listening on 0.0.0.0/0.0.0.0:8066.
2013-01-08 09:32:27,921 INFO  net.ServerableConnectionManager - Amoeba Monitor S
erver listening on /127.0.0.1:40170.

2、连接Amoeba

通过mysql客户端连接Amoeba,端口指定为8066,然后还像以前操作MySQL一样进行操作:

D:\>mysql -P8066 -uroot -pchenfeng123
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 21616774 to server version: 5.1.45-mysql-amoeba-prox
y-2.2.0

Type 'help;' or '\h' for help. Type '\c' to clear the buffer.

mysql>

3、验证数据的查询

查询yunzhu库下的user_info表的数据,如下:

mysql> select * from yunzhu.user_info;
+--------+-----------+
| USERID | USERNAME  |
+--------+-----------+
|    108 | Jiang Su  |
|    200 | NanJing   |
|     73 | Chen Feng |
|     88 | China     |
+--------+-----------+
4 rows in set (0.02 sec)

可以看到,现在查到了两个数据库节点中的user_info表中的所有记录。

 

4、验证数据的插入

这里插入两条数据,一条USERID为55,另一条USERID为155,如下:

mysql> insert into yunzhu.user_info(USERID,USERNAME) values(55,'test55');
Query OK, 1 row affected (0.13 sec)

mysql> insert into yunzhu.user_info(USERID,USERNAME) values(155,'test155');
Query OK, 1 row affected (0.05 sec)

 

查询数据库节点1:

D:\>mysql -uroot -pchenfeng
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 33 to server version: 5.0.18-nt

Type 'help;' or '\h' for help. Type '\c' to clear the buffer.

mysql> select * from yunzhu.user_info;
+--------+-----------+
| USERID | USERNAME  |
+--------+-----------+
|     55 | test55    |
|     73 | Chen Feng |
|     88 | China     |
+--------+-----------+
3 rows in set (0.00 sec)

 

查询数据库节点2:

D:\>mysql -uroot -pchenfeng -h10.167.157.176
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 34 to server version: 5.0.18-nt

Type 'help;' or '\h' for help. Type '\c' to clear the buffer.

mysql> select * from yunzhu.user_info;
+--------+----------+
| USERID | USERNAME |
+--------+----------+
|    108 | Jiang Su |
|    155 | test155  |
|    200 | NanJing  |
+--------+----------+
3 rows in set (0.00 sec)

可以发现USERID为55的记录插入到了数据库节点1中,USERID为155的记录插入到了数据库节点2中。

因为根据rule.xml中的切分规则,USERID小于等于100的的记录存在数据库节点1中,而大于100的则存在数据库节点2中。

 

四、注意一些限制

这是我在实践中发现的,刚开始不知道存在这样的限制,以致于浪费了很多时间,以为配置有问题,搞了很久才发现原来是因为这些限制才导致没有出现预期的结果,所以必须要注意:

1、不管是查询和插入,每条都必须显式地指定数据库名(yunzhu),否则只会从一个数据库节点中查询数据,或者所有数据全部会插入一个数据库节点中。

2、插入数据时,必须显式地指定列名,如“insert into yunzhu.user_info(USERID,USERNAME)”,否则切分规则不会生效,所有记录都会插入到一个数据库节点中。

 

分享到:
评论

相关推荐

    amoeba分布式数据库解决方案

    3. **易于扩展**:分布式数据库系统可以通过简单地添加更多节点来实现水平扩展,而不必停机或大幅修改现有架构,使得系统的扩展变得更加灵活且经济。 #### 三、Amoeba在分布式数据库中的角色 Amoeba是一款专注于...

    amoeba 详细配置文档

    ** Amoeba是一个数据库中间件,它可以在多个MySQL实例之间透明地分发查询,实现数据的水平和垂直切分,提高系统的可扩展性和并发处理能力。 - **为何使用Amoeba?** 主要原因是它能够解决单个数据库实例性能瓶颈...

    amoeba使用指南.pdf

    - Amoeba 是一个专注于 MySQL 数据库的分布式代理层框架,旨在实现数据库层面的负载均衡、高可用性等功能。 2. **为何选择 Amoeba?** - 支持多种数据分片策略,如水平切分和垂直切分; - 提供读写分离能力,优化...

    Matlab环境下决策分类树的构建、优化与应用

    内容概要:本文详细介绍了如何利用Matlab构建、优化和应用决策分类树。首先,讲解了数据准备阶段,将数据与程序分离,确保灵活性。接着,通过具体实例展示了如何使用Matlab内置函数如fitctree快速构建决策树模型,并通过可视化工具直观呈现决策树结构。针对可能出现的过拟合问题,提出了基于成本复杂度的剪枝方法,以提高模型的泛化能力。此外,还分享了一些实用技巧,如处理连续特征、保存模型、并行计算等,帮助用户更好地理解和应用决策树。 适合人群:具有一定编程基础的数据分析师、机器学习爱好者及科研工作者。 使用场景及目标:适用于需要进行数据分类任务的场景,特别是当需要解释性强的模型时。主要目标是教会读者如何在Matlab环境中高效地构建和优化决策分类树,从而应用于实际项目中。 其他说明:文中不仅提供了完整的代码示例,还强调了代码模块化的重要性,便于后续维护和扩展。同时,对于初学者来说,建议从简单的鸢尾花数据集开始练习,逐步掌握决策树的各项技能。

    《营销调研》第7章-探索性调研数据采集.pptx

    《营销调研》第7章-探索性调研数据采集.pptx

    Assignment1_search_final(1).ipynb

    Assignment1_search_final(1).ipynb

    美团外卖优惠券小程序 美团优惠券微信小程序 自带流量主模式 带教程.zip

    美团优惠券小程序带举牌小人带菜谱+流量主模式,挺多外卖小程序的,但是都没有搭建教程 搭建: 1、下载源码,去微信公众平台注册自己的账号 2、解压到桌面 3、打开微信开发者工具添加小程序-把解压的源码添加进去-appid改成自己小程序的 4、在pages/index/index.js文件搜流量主广告改成自己的广告ID 5、到微信公众平台登陆自己的小程序-开发管理-开发设置-服务器域名修改成

    《计算机录入技术》第十八章-常用外文输入法.pptx

    《计算机录入技术》第十八章-常用外文输入法.pptx

    基于Andorid的跨屏拖动应用设计.zip

    基于Andorid的跨屏拖动应用设计实现源码,主要针对计算机相关专业的正在做毕设的学生和需要项目实战练习的学习者,也可作为课程设计、期末大作业。

    《网站建设与维护》项目4-在线购物商城用户管理功能.pptx

    《网站建设与维护》项目4-在线购物商城用户管理功能.pptx

    区块链_房屋转租系统_去中心化存储_数据防篡改_智能合约_S_1744435730.zip

    区块链_房屋转租系统_去中心化存储_数据防篡改_智能合约_S_1744435730

    《计算机应用基础实训指导》实训五-Word-2010的文字编辑操作.pptx

    《计算机应用基础实训指导》实训五-Word-2010的文字编辑操作.pptx

    《移动通信(第4版)》第5章-组网技术.ppt

    《移动通信(第4版)》第5章-组网技术.ppt

    ABB机器人基础.pdf

    ABB机器人基础.pdf

    《综合布线施工技术》第9章-综合布线实训指导.ppt

    《综合布线施工技术》第9章-综合布线实训指导.ppt

    最新修复版万能镜像系统源码-最终版站群利器持续更新升级

    很不错的一套站群系统源码,后台配置采集节点,输入目标站地址即可全自动智能转换自动全站采集!支持 https、支持 POST 获取、支持搜索、支持 cookie、支持代理、支持破解防盗链、支持破解防采集 全自动分析,内外链接自动转换、图片地址、css、js,自动分析 CSS 内的图片使得页面风格不丢失: 广告标签,方便在规则里直接替换广告代码 支持自定义标签,标签可自定义内容、自由截取、内容正则截取。可以放在模板里,也可以在规则里替换 支持自定义模板,可使用标签 diy 个性模板,真正做到内容上移花接木 调试模式,可观察采集性能,便于发现和解决各种错误 多条采集规则一键切换,支持导入导出 内置强大替换和过滤功能,标签过滤、站内外过滤、字符串替换、等等 IP 屏蔽功能,屏蔽想要屏蔽 IP 地址让它无法访问 ****高级功能*****· url 过滤功能,可过滤屏蔽不采集指定链接· 伪原创,近义词替换有利于 seo· 伪静态,url 伪静态化,有利于 seo· 自动缓存自动更新,可设置缓存时间达到自动更新,css 缓存· 支持演示有阿三源码简繁体互转· 代理 IP、伪造 IP、随机 IP、伪造 user-agent、伪造 referer 来路、自定义 cookie,以便应对防采集措施· url 地址加密转换,个性化 url,让你的 url 地址与众不同· 关键词内链功能· 还有更多功能等你发现…… 程序使用非常简单,仅需在后台输入一个域名即可建站,不限子域名,站群利器,无授权,无绑定限制,使用后台功能可对页面进行自定义修改,在程序后台开启生 成功能,只要访问页面就会生成一个本地文件。当用户再次访问的时候就直接访问网站本地的页面,所以目标站点无法访问了也没关系,我们的站点依然可以访问, 支持伪静态、伪原创、生成静态文件、自定义替换、广告管理、友情链接管理、自动下载 CSS 内的图。

    《Approaching(Almost)any machine learning problem》中文版第11章

    【自然语言处理】文本分类方法综述:从基础模型到深度学习的情感分析系统设计

    基于Andorid的下拉浏览应用设计.zip

    基于Andorid的下拉浏览应用设计实现源码,主要针对计算机相关专业的正在做毕设的学生和需要项目实战练习的学习者,也可作为课程设计、期末大作业。

    P2插电式混合动力系统Simulink模型:基于逻辑门限值控制策略的混动汽车仿真

    内容概要:本文详细介绍了一个原创的P2插电式混合动力系统Simulink模型,该模型基于逻辑门限值控制策略,涵盖了多个关键模块如工况输入、驾驶员模型、发动机模型、电机模型、制动能量回收模型、转矩分配模型、运行模式切换模型、档位切换模型以及纵向动力学模型。模型支持多种标准工况(WLTC、UDDS、EUDC、NEDC)和自定义工况,并展示了丰富的仿真结果,包括发动机和电机转矩变化、工作模式切换、档位变化、电池SOC变化、燃油消耗量、速度跟随和最大爬坡度等。此外,文章还深入探讨了逻辑门限值控制策略的具体实现及其效果,提供了详细的代码示例和技术细节。 适合人群:汽车工程专业学生、研究人员、混动汽车开发者及爱好者。 使用场景及目标:①用于教学和科研,帮助理解和掌握P2混动系统的原理和控制策略;②作为开发工具,辅助设计和优化混动汽车控制系统;③提供仿真平台,评估不同工况下的混动系统性能。 其他说明:文中不仅介绍了模型的整体架构和各模块的功能,还分享了许多实用的调试技巧和优化方法,使读者能够更好地理解和应用该模型。

    电力系统分布式调度中ADMM算法的MATLAB实现及其应用

    内容概要:本文详细介绍了基于ADMM(交替方向乘子法)算法在电力系统分布式调度中的应用,特别是并行(Jacobi)和串行(Gauss-Seidel)两种不同更新模式的实现。文中通过MATLAB代码展示了这两种模式的具体实现方法,并比较了它们的优劣。并行模式适用于多核计算环境,能够充分利用硬件资源,尽管迭代次数较多,但总体计算时间较短;串行模式则由于“接力式”更新机制,通常收敛更快,但在计算资源有限的情况下可能会形成瓶颈。此外,文章还讨论了惩罚系数rho的自适应调整策略以及在电-气耦合系统优化中的应用实例。 适合人群:从事电力系统优化、分布式计算研究的专业人士,尤其是有一定MATLAB编程基础的研究人员和技术人员。 使用场景及目标:①理解和实现ADMM算法在电力系统分布式调度中的应用;②评估并行和串行模式在不同应用场景下的性能表现;③掌握惩罚系数rho的自适应调整技巧,提高算法收敛速度和稳定性。 其他说明:文章提供了详细的MATLAB代码示例,帮助读者更好地理解和实践ADMM算法。同时,强调了在实际工程应用中需要注意的关键技术和优化策略。

Global site tag (gtag.js) - Google Analytics