Amoeba for mysql 0.31发布（读写分离、负载均衡、Failover、数据切分）

Amoeba 座落与Client、Database Server(s)之间。 具有负载均衡、高可用性、sql过滤、可承受高并发、读写分离、Query Route（解析sql query语句，并且根据条件与预先设定的规则，请求到指定的目标数据库。可并发请求多台数据库合并结果）、对客户端透明。 

主要降低 数据切分带来的复杂多数据库结构、数据切分规则 给应用带来的影响。



能够轻易实现读写分离
Failover
负载均衡。 
能够帮助解决数据切分问题 

目前amoeba 实现了 mysql 数据库的相关技术。


适用：
mysql 4.1或者以上版本（mysql 协议版本：10）
暂时不支持事务、DDL语句目前只会分配给默认的数据库执行

运行环境：

至少需要运行 mysql 4.1以上 服务一个；
Java 1.5或 以上版本



中文文档地址： http://amoeba.sourceforge.net/amoeba.pdf
amoeba 未来发展方向： http://amoeba.sourceforge.net/amoeba-big-picture.pdf

文件下载： http://www.sourceforge.net/projects/amoeba
amoeba 开发者博客: http://amoeba.meidusa.com

评论

13 楼 ztka 2008-05-05  

csrcom 写道

数据同步还是由后端的数据库结构来完成的。amoeba只是充当proxy 跟 query router、负载均衡等。它不能完成数据库自身的数据同步。
假设A是master b是slave。那么 如果A挂了..那么这个系统里面就无法写入了
假设A、B都是slave. 那么A/B就可以做成虚拟的dbserver。即使挂了一台也没有关系，这儿amoeba就象类似的f5 bigIP设备。会做心跳检测、故障恢复功能。
A恢复以后，A与master之间的同步还是需要mysql 的Master-slave结构来完成复制的。


但是在amoeba里面可以同时更新、插入、删除 多台数据库（作为数据备份的一种手段,但个人不提倡这种做法，有风险，如果需要数据完整性方面更多需要应用‘回滚机制’,这种做法在其他分布式系统里面也比较典型的做法），也就是同时将一条sql给多台数据库执行。

Master slave也可以自动切换的， A是master，B是slave， A挂了以后，可以自动切换到B，B作为Master。

楼主的类似产品可以去看看continuent

http://www.continuent.org/

12 楼 10010059 2008-05-05  

csrcom高手
多发点自己的心得啊，多帮助中国的同僚。

11 楼 csrcom 2008-05-05  

数据同步还是由后端的数据库结构来完成的。amoeba只是充当proxy 跟 query router、负载均衡等。它不能完成数据库自身的数据同步。
假设A是master b是slave。那么 如果A挂了..那么这个系统里面就无法写入了
假设A、B都是slave. 那么A/B就可以做成虚拟的dbserver。即使挂了一台也没有关系，这儿amoeba就象类似的f5 bigIP设备。会做心跳检测、故障恢复功能。
A恢复以后，A与master之间的同步还是需要mysql 的Master-slave结构来完成复制的。


但是在amoeba里面可以同时更新、插入、删除 多台数据库（作为数据备份的一种手段,但个人不提倡这种做法，有风险，如果需要数据完整性方面更多需要应用‘回滚机制’,这种做法在其他分布式系统里面也比较典型的做法），也就是同时将一条sql给多台数据库执行。

10 楼 ztka 2008-05-04  

问一下，如果用这个后面是 A B两台数据库服务器，如果A坏了，或者当机，等A恢复以后，怎么保持数据同步？ 在不离线的情况下。

9 楼 csrcom 2008-05-04  

airport 对这些比较看重嘛。

性能：

这方面可能是大家最关注的了，比官方的mysql proxy性能大致低10%~20%左右（在一次请求数据量比较大的情况下比如好几千条数据，性能有所下降,这个原因是由于解析了mysql与客户端之间交互的所有数据包，而mysql proxy在没有使用lua特定脚本的时候是不会解析mysql数据包），并发能力来说比mysql proxy会更强劲,还有稳定性方面都比mysql proxy强。从使用的连接数来看，在相同的客户端并发连接情况下，与mysql数据库的连接数将比mysql proxy少一半。

数据的安全性：

对amoeba来说后端使用的数据库决定了数据安全指数。amoeba本身不存储任何数据，只是充当路由、proxy功能。
如果是理解成应用的安全性方面，除了需要配置相关的数据库帐号密码方面有待改进（比如加密这些数据库密码）其他也没什么问题。整个应用都是采用相关数据库协议进行通讯。

数据完整性：

这个跟上面也差不多都只是依赖后端使用的数据库。

目前amoeba暂时不支持事务。因此目前来说不存在数据完整性问题。

8 楼 airport 2008-05-04  

性能？
数据安全性？
数据完整性？

这些有没有具体的测试

7 楼 csrcom 2008-05-04  

amoeba没有复制功能. 上面的例子只是讲述了 在mysql 在 master-slave结构下，通常做法是读写分离，master充当写 slave充当读 。

master-slave之间的复制还是mysql之间的内部协议完成的。

传统的做法可能需要在客户端配置多个mysql datasource。
可能会在指定的sql用指定的datasource(比如select 开头的语句用slave机器做datasource )。 这种大大增加了客户端的复杂度。并且连接数也相当多.

而引入amoeba就不用关心后面连接的是否是多台的mysql还是amoeba，对客户端完全透明。而且会帮助解决读写分离、负载均衡。这个跟mysql 官方开发的proxy目的是一致的。

6 楼 nickcen 2008-05-04  

如果只是Replication的话，为什么不直接使用MySQL内建的支持，而要另外在上层做了？

5 楼 jian'shang 2008-05-04  

太棒了，学习了

4 楼 csrcom 2008-05-02  

多谢楼上的朋友，如果有什么好的意见跟 建议 就回这个帖子 或者直接写问题到 [url]http://amoeba.meidusa.com [/url]论坛上面、或者email给我

3 楼 dingyuan 2008-05-02  

感谢lz的辛勤劳动。。期待楼主坚持一下。。。

2 楼 csrcom 2008-05-02  

Amoeba 跟 mysql proxy有区别。
主要是针对数据切分方面。
在 mysql proxy 上面如果想要读写分离并且 读集群、写集群 机器比较多情况下，用mysql proxy 需要相当大的工作量，目前mysql proxy没有现成的 lua脚本。mysql proxy根本没有配置文件，lua脚本就是它的全部，当然可以是相当方便的。那么同样这种东西需要编写大量的lua脚本才能完成一个复杂的配置。amoeba目标是走产品化这条路。只需要进行相关的配置就可以满足需求。


一、Mysql Master/Slave 结构之下的读写分离：
Master： server1 （可读写）
slaves：server2、server3、server4（3个平等的数据库。只读/负载均衡）

amoeba提供读写分离pool相关配置。并且提供负载均衡配置。
可配置server2、server3、server4形成一个虚拟的 virtualSlave,该配置提供负载均衡、failOver、故障恢复功能

<dbServer name="virtualSlave" virtual="true">
	<poolConfig>
		<className>com.meidusa.amoeba.server.MultipleServerPool</className>
		<!-- 负载均衡参数 1=ROUNDROBIN , 2=WEIGHTBASED -->
		<property name="loadbalance">1</property>
				
		<!-- 参与该pool负载均衡的poolName列表以逗号分割 -->
		<property name="poolNames">server2,server3,server4</property>
	</poolConfig>
</dbServer>

如果不启用数据切分，那么只需要配置QueryRouter属性
wirtePool=server1
readPool=virtualSlave

	<queryRouter>
		<className>com.meidusa.amoeba.mysql.parser.MysqlQueryRouter</className>
		<property name="LRUMapSize">1500</property>
		<property name="defaultPool">server1</property>

		<property name="writePool">server1</property>
		<property name="readPool">virtualSlave</property>

		<property name="needParse">true</property>
	</queryRouter>

那么遇到update/insert/delete将 query语句发送到 wirtePool，将 select发送到 readPool机器中执行。

二、数据切分：
这方面amoeba显然更加容易了。

举个数据切分例子：

select * from user_event where user_id='test' and  gmt_create between Sysdate() -1 and Sysdate()

如果根据gmt_create 时间进行数据切分，比如 6个月进行切分一次

amoeba提供利用类似sql表达式进行数据切分：

规则1：GMT_CREATE > to_date('2008-01-01','yyyy-mm-dd') and GMT_CREATE < to_date('2008-05-31','yyyy-mm-dd')

规则1对应服务器1

规则2：GMT_CREATE > to_date('2008-06-01','yyyy-mm-dd') and GMT_CREATE < to_date('2008-12-31','yyyy-mm-dd')

规则2对应服务器2


上面的sql的条件 gmt_create 与规则里面的的gmt_create 进行 交集判断，如果存在交集则表示符合规则。

则会将sql转移到 规则1 的相应的服务器上面执行。

利用amoeba写出这种类似规则很容易，但是要想做到数据切分以后可线性扩容，那么这样的规则需要自己根据业务实际情况进行设置。

amoeba可同时将sql 并发分发到多台服务器、然后将结果合并再反馈给客户端，而且amoeba内部现成采用无阻塞模式，工作线程是不会等待的,并发请求多台 database server情况下，客户端等待的时间基本上面是性能最差的那台 database server＋amoeba内部解析协议的时间

1 楼 Arden 2008-05-02  

这跟mysql proxy比有什么优势？