使用mysql federated
引擎构建
MySQL
分布式数据库访问层
前言:随着应用复杂度的增加,数据库不断细化切分,导致应用程序中数据库应用就得复杂,凌乱。绝大部分程序人员可能都遇到这种情况,应用程序中需要连接多台数据库服务器,进行相应的操作。随着时间积累,太多的数据库服务器的连接逻辑出现在程序之中,这给程序的维护扩展,数据库维护工作带来极大的工作量。
于是一些分布式数据库代理层应运而生,如常见
MySQL
代理层
:
mysql proxy : 主要实现读写分离和负载均衡
MySQL Amoeba : 由陈思儒主导开发 功能比较完善,用深入应用的价值,参考网站
http://docs.hexnova.com/amoeba/
HiveDB : HiveDB是一个用来横向切分
mysql
数据库的开源框架,构建一个高性能和可扩展的基于
mysql
的系统,但目前仅支持
Java
客户端。
http://www.hivedb.org/
我认为mysql proxy, MySQL Amoeba
都是极好的实用价值,应该多深入了解之。
而本文所描述的
federated属于
MySQL的一种特殊引擎,利用它可将本地数据表映射至远程
MySQL
数据表,从而就可以解决应用程序中繁多的跨机器连接数据库问题,拓扑图如下:
如此就可以构造出一个统一的数据访问入口,就大大提高了整个数据库系统的可维护性。
Federated引擎是基于表级别的,只能将本地数据表定义为
Federated
引擎并映射至远程实体表,无法实现基于库级别的整体映射。
在本文中,我们将启用Federated
引擎的数据库访问入口服务器称为本地数据库,而将本地数据表对应的远程数据表,称之为实体表。
本地数据库需要启用Federated
引擎支持,而远程数据表无须
Federated
引擎支持。
Federated
引擎表使用标准的
MySQL
客户端协议与远程数据库建立
TCP
连接。
创建Federated
表的过程:
1.
以root
登录远程
MySQL
,上创建合适的访问账号
grant all on DB1.* to 'federated'@'%' identified by 'federated';
flush privileges;
2.
在远程MySQL
找到对应实体表的创建命令(如果是新表,请先建立好数据表,再执行此命令)
假设在远程mysql
上有库名
DB1,
表名
tag,
执行以下命令找到远程表的结构:
show create table DB1.tag
输出:
CREATE TABLE `tag` (
`id` int(10) unsigned NOT NULL AUTO_INCREMENT,
`name` varchar(128) NOT NULL,
`frequency` int(10) unsigned NOT NULL DEFAULT '1',
PRIMARY KEY (`id`)
) ENGINE=MyISAM AUTO_INCREMENT=6 DEFAULT CHARSET=utf8
3.
假设我们要将远程的DB1.tag
映射至本地
DB.TableA
表上。那么我们应该保持本地虚拟表与远程实体表结构一致(结构可以有所差异,但会造成使用,管理上的麻烦)。根据远程实体表的创建命令,创建本地虚拟表
(
结构部分完全一样,创建表选项有所差异
)
:
登录本地Mysql
服务器,创建相应的数据库及表:
create database DB;
use DB;
CREATE TABLE `TableA` (
`id` int(10) unsigned NOT NULL AUTO_INCREMENT,
`name` varchar(128) NOT NULL,
`frequency` int(10) unsigned NOT NULL DEFAULT '1',
PRIMARY KEY (`id`)
) ENGINE=federated connection="mysql://federated:federated@127.0.0.1:3306/DB1/tag";
这时,即建立好了federated
虚拟表,实际上本地
MySQL
只创建了表定义文件
,
而没有数据文件。我们对本地虚拟表的数据修改,均会发送到远程机器上执行。
本地虚拟表名与远程表名,可不相同。
经过测试,这个引擎的一些额外特点:
1. 本地虚拟表与远程实体表之间是
TCP
长连接,并且是多个客户端利用的。所以不用担心因频繁建立连接带来的网络开销。
2. 本虚拟表表与远程实体表之间的网络连接断开后,当对虚拟表发起查询时,它会尝试重新连接远程实体表,所以我们不用担心网络连接断开造成的永久中断问题。
3. 如果无时间未对本地虚拟表作任何操作,虚拟表与实体表之间的连接将在远程主机的
wait_timeout
秒后自动断开,当对虚拟表发起查询时,连接又会重新建立。
一些注意事项:
1. 对本地虚拟表的结构修改,并不会修改远程表的结构
2.
truncate
命令,会清除远程表数据
3. drop命令只会删除虚拟表,并不会删除远程表
4. 不支持
alter table
命令
目前使用federated
最大的缺点:
1. select count(*), select * from limit M, N 等语句执行效率非常低,数据量较大时存在很严重的问题,但是按主键或索引列查询,则很快,如以下查询就非常慢(假设
id
为主索引)
select id from db.tablea where id >100 limit 10 ;
而以下查询就很快:
select id from db.tablea where id >100 and id<150
2.
如果虚拟虚拟表中字段未建立索引,而实体表中为此字段建立了索引,此种情况下,性能也相当差。但是当给虚拟表建立索引后,性能恢复正常。
3. 类似
where name like "str%" limit 1
的查询,即使在
name
列上创建了索引,也会导致查询过慢,是因为
federated引擎会将所有满足条件的记录读取到本,再进行
limit
处理。
这几个问题已经严重影响了federated
在实际环境中的应用。
相关推荐
MySQL联邦(Federated)引擎是一种特殊的存储引擎,它的设计目标是允许MySQL数据库跨越不同的服务器进行数据集成,类似于Oracle数据库中的DBLINK功能。这个引擎使得用户可以在本地数据库中查询和操作远程MySQL服务器...
FEDERATED引擎是MySQL中的一种存储引擎,用于实现分布式数据库系统中的数据同步。下面是使用FEDERATED引擎实现数据库用户表同步的详细知识点: 什么是FEDERATED引擎 FEDERATED引擎是一种插件式存储引擎,用于实现...
此外,FEDERATED引擎并不支持事务,所以在并发操作较多或者对数据一致性要求极高的情况下,可能需要考虑其他更复杂的同步方案,如主从复制或者分布式数据库系统。 总的来说,FEDERATED引擎是一种简单易用的数据库...
总的来说,MySQL的Federated引擎提供了一种简单的方法来实现跨数据库的访问,但其局限性在于事务处理和性能,因此在设计系统时需要根据具体需求权衡使用。在互联网环境中,这种跨数据库的集成技术对于构建分布式、高...
MySQL存储引擎是数据库管理系统的核心组件,它决定了数据如何在MySQL中存储、检索和管理。不同的存储引擎具有不同的特性和用途,以适应各种应用场景。在MySQL中,存储引擎主要负责数据的物理存储方式、事务处理、...
- **Federated Storage Engine改进**:允许跨多个MySQL服务器的数据连接和查询,支持分布式数据库环境。 - **并行复制**:提高了主从复制的性能,可以同时处理多个二进制日志事件,使得数据同步更快。 - **优化的...
MySQL中的FEDERATED存储引擎是一种特殊的存储引擎,它允许用户在不依赖复制或集群技术的情况下,实现跨数据库服务器和跨实例的数据访问。这个引擎在MySQL中扮演着类似Oracle DB LINK的角色,通过创建一个连接来访问...
MySQL是一种广泛使用的开源关系型数据库管理系统,其灵活性和可扩展性的一个重要方面是它支持多种存储引擎。存储引擎是MySQL处理数据的方式,每种引擎都有其特定的功能和适用场景。以下是一些主要的MySQL存储引擎...
如NDBCluster适用于分布式环境,Maria是对MyISAM的升级版,Falcon是MySQL公司正在研发的事务性存储引擎,Memory引擎用于存储在内存中的临时表,Archive用于压缩存储日志,Merge用于合并多个表,Federated则用于远程...
MySQL是世界上最流行的关系型数据库管理系统之一,其强大的功能和灵活性主要得益于它支持多种存储引擎。在MySQL课程中,深入理解存储引擎是至关重要的,因为不同的存储引擎有着不同的特性和适用场景,这直接影响到...
5. **Federated**:允许访问远程MySQL服务器上的数据,适合于分布式数据存储和查询。 #### 五、示例代码 为了更好地理解如何在MySQL中使用不同的存储引擎,下面提供几个示例: 1. **创建 InnoDB 表** ```sql ...
3. **MySQL数据库同步**:数据库同步是为了保持多个数据库实例间的数据一致性,这在分布式系统、灾备恢复、多数据中心部署等场景下尤为重要。MySQL提供了如Replication、Federated Engine等技术实现数据同步。 4. *...
MySQL数据库系统支持多种存储引擎,每种引擎都有其特定的功能和适用场景,下面将详细介绍其中几个常见的存储引擎。 1. **MyISAM**:MyISAM是MySQL的默认存储引擎,适用于读取频繁的场景。它提供了高速的存储和检索...
* FEDERATED:是一种基于分布式数据库的存储引擎,适合分布式数据库环境。 3. 设置系统默认的存储引擎 可以使用 `show variables like '%storage_engine%';` 或 `SELECT @@default_storage_engine;` 语句来查看...
- Federated存储引擎:允许在不同MySQL服务器之间透明地访问数据,实现分布式数据库的联合。 - Full-text search:提供了更强大的全文索引和搜索功能,支持更灵活的查询语法。 - 支持更多的字符集:MySQL 5.5增强了...
1. **Federated Storage Engine增强**:支持更大规模的分布式查询,允许用户从不同地理位置的MySQL服务器上聚合数据。 2. **InnoDB存储引擎优化**:提高了InnoDB表的性能,支持更多的并发事务处理,并引入了InnoDB ...
4. **其他存储引擎**如Merge、Archive、Federated、CSV、Blackhole等,分别适用于合并表、归档数据、分布式存储、文本数据和黑洞表(不存储任何数据)等特定需求。 在选择存储引擎时,应根据应用的需求进行评估。...
5. **Federated**:允许跨多个MySQL服务器整合数据,构建逻辑上的单一数据库,适用于分布式环境或数据集市。 6. **Merge**:合并一系列等效的MyISAM表,适合大数据仓库和需要快速访问历史数据的环境。 7. **Memory...
除了InnoDB和MyISAM之外,MySQL还支持多种其他的存储引擎,如Memory、Archive、Federated等,这些引擎各有特色,可以满足不同的业务需求。 #### 四、存储引擎选择 选择合适的存储引擎对于保证数据库性能和稳定性至...
2. Federated存储引擎:允许跨服务器的数据连接,实现分布式数据库系统的功能。 3.分区功能:通过分区,可以将大型表分成更易管理的部分,提高查询效率。 4. 支持更多的SQL标准:如窗口函数、GROUPING SETS、ROLLUP...