Amoeba for mysql 0.31发布（读写分离、负载均衡、Failover、数据切分）

Amoeba 座落与Client、Database Server(s)之间。 具有负载均衡、高可用性、sql过滤、可承受高并发、读写分离、Query Route（解析sql query语句，并且根据条件与预先设定的规则，请求到指定的目标数据库。可并发请求多台数据库合并结果）、对客户端透明。 

主要降低 数据切分带来的复杂多数据库结构、数据切分规则 给应用带来的影响。



能够轻易实现读写分离
Failover
负载均衡。 
能够帮助解决数据切分问题 

目前amoeba 实现了 mysql 数据库的相关技术。


适用：
mysql 4.1或者以上版本（mysql 协议版本：10）
暂时不支持事务、DDL语句目前只会分配给默认的数据库执行

运行环境：

至少需要运行 mysql 4.1以上 服务一个；
Java 1.5或 以上版本



中文文档地址： http://amoeba.sourceforge.net/amoeba.pdf
amoeba 未来发展方向： http://amoeba.sourceforge.net/amoeba-big-picture.pdf

文件下载： http://www.sourceforge.net/projects/amoeba
amoeba 开发者博客: http://amoeba.meidusa.com

评论

33 楼 ztka 2008-05-05  

continuent是两台mysql自己作为独立的服务运行，相互没有master，他是通过本身自己进行负载均衡，并且做到数据真正的同步。

32 楼 ztka 2008-05-05  

csrcom 写道

为什么非要自身实现呢？

其实你想要表达的是amoeba它应该提供一个driver，而这个driver他是为了多台amoeba 负载均衡、failover的。

为什么我还需要实现这种机制呢？ mysql connector-j已经提供了这种机制。

我的前提是数据保持同步，不丢失，你的前提是建立在数据可以丢失的基础上。所以你采用mysql自己的master/slave机制。我没有说好坏，只是说应用方面。

31 楼 ztka 2008-05-05  

csrcom 写道

我知道你的需求， 你知道google是如何做这些事情嘛？

对于普通的服务一台机器就够了，为了备份，需要将数据额外存放到另外一台设备。这2台全部成功以后才告知客户端这次交易是ok的,否则将失败。

企业数据丢失情况肯定存在，除了软件提供了一些故障恢复功能以外。一些非人力无法解决的问题是需要工程师手工进行修复。

对于企业数据丢失，绝对不允许出现的，所以很多企业用oracle的rac，确保数据不丢失，服务可以停止，但是数据不能丢失。

30 楼 csrcom 2008-05-05  

为什么非要自身实现呢？

其实你想要表达的是amoeba它应该提供一个driver，而这个driver他是为了多台amoeba 负载均衡、failover的。

为什么我还需要实现这种机制呢？ mysql connector-j已经提供了这种机制。

29 楼 csrcom 2008-05-05  

我知道你的需求， 你知道google是如何做这些事情嘛？

对于普通的服务一台机器就够了，为了备份，需要将数据额外存放到另外一台设备。这2台全部成功以后才告知客户端这次交易是ok的,否则将失败。

企业数据丢失情况肯定存在，除了软件提供了一些故障恢复功能以外。一些非人力无法解决的问题是需要工程师手工进行修复。

28 楼 ztka 2008-05-05  

csrcom 写道

自身的failover是无论如何是无法做到的..没有外部的力量你怎么去做呢？

起码需要告知客户端有多少个东西你可以使用。

因此failover机制需要靠近使用端才能完成的.当然每一层都需要有一个failover机制

我说的是amebo自身，2者之间不能实现fail over，要通过第三方，amebo自己应该可以做到这点。不然就失去意义了。你可以说所有的fail over都可以通过lvs进行实现。

27 楼 csrcom 2008-05-05  

自身的failover是无论如何是无法做到的..没有外部的力量你怎么去做呢？

起码需要告知客户端有多少个东西你可以使用。

因此failover机制需要靠近使用端才能完成的.当然每一层都需要有一个failover机制

26 楼 csrcom 2008-05-05  

任何软件实现一种功能都有它的目的。 比如异步的数据同步不愧是一种好的选择。
如果是同步那么这种性能是难以让人接受的。

何况在大型企业里面可能会有一种树状的db 比如 想类似sun的 ldap。它提供了可以是N层的db结构，master->hub->hub....->slave（master可读写、hub可读可用于数据复制、slave只读）这种结构你能让它同步复制嘛？

无疑异步复制会更让人接受。

软件不代表一种方案，一种方案可能需要多种软件的协助来完成。

25 楼 ztka 2008-05-05  

csrcom 写道

每一层都需要有这种机制，在amoeba内部也具有负载均衡。
amoeba提供一个抽象的dbServer，在那个里面就具有这种负载均衡，故障转移。

那么如果我不用connect-j驱动或者connect j的版本太低，是不是amoeba就不能提供负载均衡和fail over的机制，是不是这样？

我对于这个东西基本了解了，你们是通过connect-J本身来做load balance的，没有connectJ，你们这个产品就不能做了，所以正确的理解是你们这个产品优势在于数据切分或者说sql切分，其他的例如数据同步，fail over需要mysql自己的同步，还有connect J的load balance。

24 楼 csrcom 2008-05-05  

每一层都需要有这种机制，在amoeba内部也具有负载均衡。
amoeba提供一个抽象的dbServer，在那个里面就具有这种负载均衡，故障转移。

23 楼 ztka 2008-05-05  

csrcom 写道

对于我们的应用是否健康稳定都需要在任何一层有一个备份、故障转移。

这些其实很多产品都具备这一点的，amoeba它的亮点是在于数据切分。一个可以在上面寻找一种可线性扩展的数据切分方式。这个在目前的我所见到的产品都没有这种便利功能的。有些需要写自己的sql。或者通过客户端来实现，给客户端带来相当的复杂度。

amoeba内部除了解析mysql协议，还需要解析sql，收集有用的where条件 与规则进行交集运算。

也就是说其实负载均衡什么是幌子，真真的在于一个sql切分功能？我看到你的描述，你的负载均衡其实是connect-j提供的，不是amoeba自己的。而且amoeba自己不能做到数据同步，同步还需要mysql自己的master slave机制，并且mysql自己的master/slave其实是异步的。

22 楼 csrcom 2008-05-05  

对于我们的应用是否健康稳定都需要在任何一层有一个备份、故障转移。

这些其实很多产品都具备这一点的，amoeba它的亮点是在于数据切分。一个可以在上面寻找一种可线性扩展的数据切分方式。这个在目前的我所见到的产品都没有这种便利功能的。有些需要写自己的sql。或者通过客户端来实现，给客户端带来相当的复杂度。

amoeba内部除了解析mysql协议，还需要解析sql，收集有用的where条件 与规则进行交集运算。

21 楼 ztka 2008-05-05  

你的意思就是client 通过jdbc 链接 2台amoeba，通过jdbc进行负载均衡(connect-j)？amoeba本身没有负载均衡的机制？2个amoeba链接2个db，他们之间的数据同步还需要mysql自己的master slave，那么需要amoeba这个干嘛呢？你要确保2台服务器确实同步，就不能利用master、slave，master、slave也是异步的。

20 楼 csrcom 2008-05-05  

ztka你没明白我的意思....

client端使用mysql jdbc driver，通过配置jdbc:mysql://192.168.1.2:8066,192.168.1.3:8066/test （可支持多台mysql或者amoeba）

客户端连接的是2台amoeba。即使挂了1台amoeba，那么客户端来会自动连接到另外一台amoeba/mysql。

对应用来说它不知道后面是否是真实的mysql server。因为amoeba是解析mysql协议的。

19 楼 ztka 2008-05-05  

csrcom 写道

你启动2台配置一样amoeba 服务

挂掉一台，还有一台可以继续提供服务。amoeba没有数据没有任何状态，只是中间节点而已。

故障转移通过mysql jdbc driver来转移

2个配置一样的服务在两台服务器还是一台？如果是1台，那么这台服务器死掉了，怎么处理？如果是两台，那么两台之间怎么进行切换？故障转移通过mysql jdbc driver，那么这个链接驱动程序是放在和amoeba相同的服务器还是另外再配置一台？

18 楼 csrcom 2008-05-05  

你启动2台配置一样amoeba 服务

挂掉一台，还有一台可以继续提供服务。amoeba没有数据没有任何状态，只是中间节点而已。

故障转移通过mysql jdbc driver来转移

17 楼 ztka 2008-05-05  

你没懂我的意思，我的意思是如果amoeba这台机器死掉了，你怎么办。

16 楼 csrcom 2008-05-05  

负载均衡算法目前有2种实现方式：1、轮询、2、根据目前的活动连接数、活动连接少的则优先（活动连接：当前正在执行sql的连接）

目前没有备份机制。唯一需要备份的就是配置文件。可以启动多个amoeba for mysql 服务。并且利用mysql 的conenctor-j的故障转移机制。类似这种解决方法一般需要通过驱动实现。或者通过 F5硬件来实现，
当然负载均衡设备也会有挂的时候。

自从connector-j 3.17以后版本。mysql jdbc提供了一个负载均衡配置 或者 是故障转移。

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.util.Properties;

import com.mysql.jdbc.Driver;

public class PreparedStatmentTest {

	/**
	 * @param args
	 * @throws Exception 
	 */
	public static void main(String[] args) throws Exception {
		
		Properties props = new Properties(); 

		// 是否启用 自动连接
		props.put("autoReconnect", "false"); 

		//是否启用负载均衡
		props.put("roundRobinLoadBalance", "false"); 

		props.put("user", "root"); 
		//props.put("password", "...."); 
		
		java.sql.DriverManager.registerDriver(new Driver());
		
		for(int i=0;i<10000;i++){
			Connection conn = null;
			PreparedStatement statment = null;
			ResultSet result = null;
			try{
				conn = DriverManager.getConnection("jdbc:mysql://localhost:8066,localhost:3306/test",props);
				statment = conn.prepareStatement("select * from account where id = ?");
				statment.setInt(1,1);
				
				result = statment.executeQuery();
				System.out.println(result);
				
			}catch(Exception e){
				e.printStackTrace();
			}finally{
				if(result != null){
					try{
						result.close();
					}catch(Exception e){}
				}
				
				if(statment != null){
					try{
						statment.close();
					}catch(Exception e){}
				}
				
				if(conn != null){
					try{
						conn.close();
					}catch(Exception e){}
				}
			}
		}
	}

}

15 楼 ztka 2008-05-05  

另外，他的负载均衡几种算法？还有这个东西本身可不可以进行备份，如果运行这个东西的机器死掉了，怎么处理？

14 楼 csrcom 2008-05-05  

恩，如果A、B是互为备份的话是没什么问题的。
可以将A、B作为一个虚拟的dbserver

Continuent 的产品在中间是充当负载均衡、故障转移的（高可用性方面），不过需要配上Continuent 提供的驱动