`
zhuliyy1983
  • 浏览: 63958 次
  • 来自: ...
社区版块
存档分类
最新评论

Amoeba for mysql 0.12(读写分离、负载均衡、Failover、数据切分)

阅读更多
Amoeba 座落与Client、Database Server(s)之间。 具有负载均衡、高可用性、sql过滤、可承受高并发、读写分离、Query Route(解析sql query语句,并且根据条件与预先设定的规则,请求到指定的目标数据库。可并发请求多台数据库合并结果)、对客户端透明。

主要降低 数据切分带来的复杂多数据库结构、数据切分规则 给应用带来的影响。



能够轻易实现读写分离
Failover
负载均衡。
能够帮助解决数据切分问题

目前amoeba 实现了 mysql 数据库的相关技术。


适用:
mysql 4.1或者以上版本(mysql 协议版本:10)
暂时不支持事务、DDL语句目前只会分配给默认的数据库执行

运行环境:

至少需要运行 mysql 4.1以上 服务一个;
Java 1.5或 以上版本



中文文档地址: http://amoeba.sourceforge.net/doc
文件下载: http://www.sourceforge.net/projects/amoeba



Amoeba 跟 mysql proxy有区别。
主要是针对数据切分方面。
在 mysql proxy 上面如果想要读写分离并且 读集群、写集群 机器比较多情况下,用mysql proxy 需要相当大的工作量,目前mysql proxy没有现成的 lua脚本。mysql proxy根本没有配置文件,lua脚本就是它的全部,当然可以是相当方便的。那么同样这种东西需要编写大量的lua脚本才能完成一个复杂的配置。amoeba目标是走产品化这条路。只需要进行相关的配置就可以满足需求。


一、Master/Slave 结构读写分离
Master: server1 (可读写)
slaves:server2、server3、server4(3个平等的数据库。只读/负载均衡)

amoeba提供读写分离pool相关配置。并且提供负载均衡配置。
可配置server2、server3、server4形成一个虚拟的 virtualSlave,该配置提供负载均衡、failOver、故障恢复功能


<dbServer name="virtualSlave" virtual="true">
	<poolConfig>
		<className>com.meidusa.amoeba.server.MultipleServerPool</className>
		<!-- 负载均衡参数 1=ROUNDROBIN , 2=WEIGHTBASED -->
		<property name="loadbalance">1</property>
				
		<!-- 参与该pool负载均衡的poolName列表以逗号分割 -->
		<property name="poolNames">server2,server3,server4</property>
	</poolConfig>
</dbServer>



如果不启用数据切分,那么只需要配置QueryRouter属性
wirtePool=server1
readPool=virtualSlave

	<queryRouter>
		<className>com.meidusa.amoeba.mysql.parser.MysqlQueryRouter</className>
		<property name="LRUMapSize">1500</property>
		<property name="defaultPool">server1</property>

		<property name="writePool">server1</property>
		<property name="readPool">virtualSlave</property>

		<property name="needParse">true</property>
	</queryRouter>


那么遇到update/insert/delete将 query语句发送到 wirtePool,将 select发送到 readPool机器中执行。

二、数据切分
这方面amoeba显然更加容易了。

举个数据切分例子:

select * from user_event where user_id='test' and  gmt_create between Sysdate() -1 and Sysdate()

如果根据gmt_create 时间进行数据切分,比如 6个月进行切分一次

amoeba提供利用类似sql表达式进行数据切分:

规则1:GMT_CREATE > to_date('2008-01-01','yyyy-mm-dd') and GMT_CREATE < to_date('2008-05-31','yyyy-mm-dd')

规则1对应服务器1

规则2:GMT_CREATE > to_date('2008-06-01','yyyy-mm-dd') and GMT_CREATE < to_date('2008-12-31','yyyy-mm-dd')

规则2对应服务器2


上面的sql的条件 gmt_create 与规则里面的的gmt_create 进行 交集判断,如果存在交集则表示符合规则。

则会将sql转移到 规则1 的相应的服务器上面执行。

利用amoeba写出这种类似规则很容易,但是要想做到数据切分以后可线性扩容,那么这样的规则需要自己根据业务实际情况进行设置。

amoeba可同时将sql 并发分发到多台服务器、然后将结果合并再反馈给客户端,而且amoeba内部现成采用无阻塞模式,工作线程是不会等待的,并发请求多台 database server情况下,客户端等待的时间基本上面是性能最差的那台 database server+amoeba内部解析协议的时间
分享到:
评论

相关推荐

    Amoeba搞定mysql主从读写分离

    Amoeba是一款开源的MySQL中间件,专为实现主从读写分离而设计。在Java开发环境中,Amoeba的使用能够帮助开发者构建出高效、稳定的分布式数据库系统。 首先,了解Amoeba的工作原理至关重要。Amoeba作为透明的数据分...

    Amoeba+mysql 读写分离 Keepalived+mysql

    在构建高可用和高性能的数据库系统中,读写分离和负载均衡是常用的技术手段。这里我们主要探讨的是如何使用Amoeba与MySQL实现读写分离,以及如何利用Keepalived来构建MySQL的高可用集群。这两部分内容对于保障数据库...

    MySQL搭建Amoeba_读写分离.docx

    Amoeba 是一个基于 MySQL 的 proxy,能够集中地响应应用的请求,并根据用户事先设置的规则,将 SQL 请求发送到特定的数据库上执行,从而实现负载均衡、读写分离、高可用性等需求。 一、Amoeba 简介 Amoeba 是一个...

    amoeba同时做读写分离和水平切分

    这是针对amoeba for mysql的一个具体案例,实现水平切分和读写分离

    amoeba_mysql读写分离部署说明.docx

    Amoeba 是一款专为 MySQL 设计的中间件,用于实现数据库的读写分离和负载均衡。它的主要功能是接收应用程序的 SQL 请求,根据预设规则将这些请求转发到合适的 MySQL 实例上执行,从而提高系统的可扩展性和可用性。...

    linux下mysql amoeba读写分离配置

    在Linux环境下,MySQL数据库的读写分离和数据同步是提高数据库性能和可用性的关键策略。MySQL的主从复制(Master-Slave Replication)和读写分离(Read-Write Separation)是实现这一目标的常用方法。这里我们将探讨...

    使用amoeba实现mysql读写分离.md

    使用amoeba实现mysql读写分离.md

    mysql读写分离amoeba配置文件

    mysql读写分离 中间件amoeba配置文件配置号的改几个参数就可以直接用https://blog.csdn.net/z13615480737/article/details/79951505 参考这个改2个文件就可直接用

    amoeba-mysql-binary-2.2.0.tar.gz

    amoeba-mysql-binary-2.2.0.tar.gz amoeba-mysql-binary-2.2.0.tar.gz amoeba-mysql-binary-2.2.0.tar.gz amoeba-mysql-binary-2.2.0.tar.gzamoeba-mysql-binary-2.2.0.tar.gz amoeba-mysql-binary-2.2.0.tar.gz ...

    amoeba-mysql-binary-2.2.0.tar

    Amoeba是一个分布式数据库中间件,它能够将一个MySQL实例透明地扩展到多个节点,实现数据的高可用性和负载均衡。这个tar文件可能包含了Amoeba运行所需的全部文件,如配置文件、库文件和可执行文件等。 描述中提到了...

    Amoeba(amoeba-mysql-3.0.5-RC-distribution.zip)

    可以实现数据库负载均衡、读写分离、高可用性等功能。 amoeba-mysql.zip压缩包内容: amoeba-mysql-3.0.5-RC-distribution.zip amoeba-mysql-binary-2.2.0.tar.gz amoeba-mysql-binary-2.1.0-RC5.tar.gz amoeba-...

    使用amoeba搭建mysql读写分离

    配合docker_mn.sh 主从复制和jdk1.8.sh jdk安装脚本 可以搭建mysql数据库的读写分离

    mysql读写分离实现

    在搭建MySQL读写分离环境中,首先需要创建一个Master-Slave复制环境,这样可以从Master节点实时同步数据到Slave节点,从而实现数据的冗余备份,并为后续的读写分离打下基础。 **2.1.1 配置Master** 1. **安装MySQL...

    使用mysql-proxy实现mysql读写分离

    ### 使用mysql-proxy实现MySQL读写分离 随着业务规模的不断扩大,数据库系统往往成为整个系统中的瓶颈之一。为了提高系统的响应速度以及数据处理能力,一种常用的技术手段就是采用**读写分离**的方式。读写分离的...

Global site tag (gtag.js) - Google Analytics