`
月影无痕
  • 浏览: 1008838 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

使用mysql federated引擎构建MySQL分布式数据库访问层

 
阅读更多

使用mysql federated 引擎构建 MySQL 分布式数据库访问层

 

 

前言:随着应用复杂度的增加,数据库不断细化切分,导致应用程序中数据库应用就得复杂,凌乱。绝大部分程序人员可能都遇到这种情况,应用程序中需要连接多台数据库服务器,进行相应的操作。随着时间积累,太多的数据库服务器的连接逻辑出现在程序之中,这给程序的维护扩展,数据库维护工作带来极大的工作量。

 

于是一些分布式数据库代理层应运而生,如常见 MySQL 代理层 :

mysql proxy : 主要实现读写分离和负载均衡

MySQL Amoeba : 由陈思儒主导开发 功能比较完善,用深入应用的价值,参考网站 http://docs.hexnova.com/amoeba/ 

HiveDB : HiveDB是一个用来横向切分 mysql 数据库的开源框架,构建一个高性能和可扩展的基于 mysql 的系统,但目前仅支持 Java 客户端。 http://www.hivedb.org/

 

我认为mysql proxy, MySQL Amoeba 都是极好的实用价值,应该多深入了解之。

 

而本文所描述的 federated属于 MySQL的一种特殊引擎,利用它可将本地数据表映射至远程 MySQL 数据表,从而就可以解决应用程序中繁多的跨机器连接数据库问题,拓扑图如下:



 

如此就可以构造出一个统一的数据访问入口,就大大提高了整个数据库系统的可维护性。

Federated引擎是基于表级别的,只能将本地数据表定义为 Federated 引擎并映射至远程实体表,无法实现基于库级别的整体映射。

 

在本文中,我们将启用Federated 引擎的数据库访问入口服务器称为本地数据库,而将本地数据表对应的远程数据表,称之为实体表。

 

本地数据库需要启用Federated 引擎支持,而远程数据表无须 Federated 引擎支持。 Federated 引擎表使用标准的 MySQL 客户端协议与远程数据库建立 TCP 连接。

 

创建Federated 表的过程:

 

1.  以root 登录远程 MySQL ,上创建合适的访问账号
  grant all on DB1.* to 'federated'@'%' identified by 'federated';

flush privileges;

2.   在远程MySQL 找到对应实体表的创建命令(如果是新表,请先建立好数据表,再执行此命令)
假设在远程mysql 上有库名 DB1,  表名 tag,  执行以下命令找到远程表的结构:
show create table DB1.tag

输出:
CREATE TABLE `tag` (

  `id` int(10) unsigned NOT NULL AUTO_INCREMENT,

  `name` varchar(128) NOT NULL,

  `frequency` int(10) unsigned NOT NULL DEFAULT '1',

  PRIMARY KEY (`id`)

) ENGINE=MyISAM AUTO_INCREMENT=6 DEFAULT CHARSET=utf8

 

3.  假设我们要将远程的DB1.tag 映射至本地 DB.TableA 表上。那么我们应该保持本地虚拟表与远程实体表结构一致(结构可以有所差异,但会造成使用,管理上的麻烦)。根据远程实体表的创建命令,创建本地虚拟表 ( 结构部分完全一样,创建表选项有所差异 )

 

登录本地Mysql 服务器,创建相应的数据库及表:
create database DB;

use DB;
CREATE TABLE `TableA` (

  `id` int(10) unsigned NOT NULL AUTO_INCREMENT,

  `name` varchar(128) NOT NULL,

  `frequency` int(10) unsigned NOT NULL DEFAULT '1',

  PRIMARY KEY (`id`)

) ENGINE=federated connection="mysql://federated:federated@127.0.0.1:3306/DB1/tag";

 

这时,即建立好了federated 虚拟表,实际上本地 MySQL 只创建了表定义文件 , 而没有数据文件。我们对本地虚拟表的数据修改,均会发送到远程机器上执行。

 

本地虚拟表名与远程表名,可不相同。

 

经过测试,这个引擎的一些额外特点:
1. 本地虚拟表与远程实体表之间是 TCP 长连接,并且是多个客户端利用的。所以不用担心因频繁建立连接带来的网络开销。
2.  本虚拟表表与远程实体表之间的网络连接断开后,当对虚拟表发起查询时,它会尝试重新连接远程实体表,所以我们不用担心网络连接断开造成的永久中断问题。
3.   如果无时间未对本地虚拟表作任何操作,虚拟表与实体表之间的连接将在远程主机的 wait_timeout 秒后自动断开,当对虚拟表发起查询时,连接又会重新建立。

 

一些注意事项:
1. 对本地虚拟表的结构修改,并不会修改远程表的结构
2.  truncate 命令,会清除远程表数据
3.  drop命令只会删除虚拟表,并不会删除远程表

4.  不支持 alter table 命令

目前使用federated 最大的缺点:
1. select count(*), select * from limit M, N 等语句执行效率非常低,数据量较大时存在很严重的问题,但是按主键或索引列查询,则很快,如以下查询就非常慢(假设 id 为主索引)
select id from db.tablea where id >100 limit 10 ;

而以下查询就很快:
select id from db.tablea where id >100 and id<150

 

2.  如果虚拟虚拟表中字段未建立索引,而实体表中为此字段建立了索引,此种情况下,性能也相当差。但是当给虚拟表建立索引后,性能恢复正常。

 

3. 类似 where name like "str%" limit 1 的查询,即使在 name 列上创建了索引,也会导致查询过慢,是因为

federated引擎会将所有满足条件的记录读取到本,再进行 limit 处理。

 

这几个问题已经严重影响了federated 在实际环境中的应用。

  • 大小: 57.3 KB
4
3
分享到:
评论
2 楼 lizuodu 2018-01-15  
非常不错
1 楼 wl6179 2015-01-18  
写的好!谢谢!!~

相关推荐

    MySQL federated引擎 实现类似oracle dblink功能

    MySQL联邦(Federated)引擎是一种特殊的存储引擎,它的设计目标是允许MySQL数据库跨越不同的服务器进行数据集成,类似于Oracle数据库中的DBLINK功能。这个引擎使得用户可以在本地数据库中查询和操作远程MySQL服务器...

    使用FEDERATED引擎,实现数据库,用户表同步.docx

    FEDERATED引擎是MySQL中的一种存储引擎,用于实现分布式数据库系统中的数据同步。下面是使用FEDERATED引擎实现数据库用户表同步的详细知识点: 什么是FEDERATED引擎 FEDERATED引擎是一种插件式存储引擎,用于实现...

    使用FEDERATED引擎,实现数据库,用户表同步.pdf

    此外,FEDERATED引擎并不支持事务,所以在并发操作较多或者对数据一致性要求极高的情况下,可能需要考虑其他更复杂的同步方案,如主从复制或者分布式数据库系统。 总的来说,FEDERATED引擎是一种简单易用的数据库...

    「mysql使用federated实现类似oracle的dblink的功能」.pdf

    总的来说,MySQL的Federated引擎提供了一种简单的方法来实现跨数据库的访问,但其局限性在于事务处理和性能,因此在设计系统时需要根据具体需求权衡使用。在互联网环境中,这种跨数据库的集成技术对于构建分布式、高...

    第6章MySQL存储引擎与数据库.docx

    MySQL存储引擎是数据库管理系统的核心组件,它决定了数据如何在MySQL中存储、检索和管理。不同的存储引擎具有不同的特性和用途,以适应各种应用场景。在MySQL中,存储引擎主要负责数据的物理存储方式、事务处理、...

    mysql-5.5.36-win32数据库安装.zip

    - **Federated Storage Engine改进**:允许跨多个MySQL服务器的数据连接和查询,支持分布式数据库环境。 - **并行复制**:提高了主从复制的性能,可以同时处理多个二进制日志事件,使得数据同步更快。 - **优化的...

    MySQL中使用FREDATED引擎实现跨数据库服务器、跨实例访问

    MySQL中的FEDERATED存储引擎是一种特殊的存储引擎,它允许用户在不依赖复制或集群技术的情况下,实现跨数据库服务器和跨实例的数据访问。这个引擎在MySQL中扮演着类似Oracle DB LINK的角色,通过创建一个连接来访问...

    如何选择合适的MySQL存储引擎.doc

    MySQL是一种广泛使用的开源关系型数据库管理系统,其灵活性和可扩展性的一个重要方面是它支持多种存储引擎。存储引擎是MySQL处理数据的方式,每种引擎都有其特定的功能和适用场景。以下是一些主要的MySQL存储引擎...

    MySQL数据库存储引擎探析.pdf

    如NDBCluster适用于分布式环境,Maria是对MyISAM的升级版,Falcon是MySQL公司正在研发的事务性存储引擎,Memory引擎用于存储在内存中的临时表,Archive用于压缩存储日志,Merge用于合并多个表,Federated则用于远程...

    MySQL课程之MySQL存储引擎入门

    MySQL是世界上最流行的关系型数据库管理系统之一,其强大的功能和灵活性主要得益于它支持多种存储引擎。在MySQL课程中,深入理解存储引擎是至关重要的,因为不同的存储引擎有着不同的特性和适用场景,这直接影响到...

    深入解析:MySQL存储引擎的奥秘

    5. **Federated**:允许访问远程MySQL服务器上的数据,适合于分布式数据存储和查询。 #### 五、示例代码 为了更好地理解如何在MySQL中使用不同的存储引擎,下面提供几个示例: 1. **创建 InnoDB 表** ```sql ...

    mysql数据库互相转换及同步工具-MySQL_MySQL字符集互转

    3. **MySQL数据库同步**:数据库同步是为了保持多个数据库实例间的数据一致性,这在分布式系统、灾备恢复、多数据中心部署等场景下尤为重要。MySQL提供了如Replication、Federated Engine等技术实现数据同步。 4. *...

    mysql 存储引擎和表类型

    MySQL数据库系统支持多种存储引擎,每种引擎都有其特定的功能和适用场景,下面将详细介绍其中几个常见的存储引擎。 1. **MyISAM**:MyISAM是MySQL的默认存储引擎,适用于读取频繁的场景。它提供了高速的存储和检索...

    第22章_存储引擎.pdf

    * FEDERATED:是一种基于分布式数据库的存储引擎,适合分布式数据库环境。 3. 设置系统默认的存储引擎 可以使用 `show variables like '%storage_engine%';` 或 `SELECT @@default_storage_engine;` 语句来查看...

    mysql-5.5.62-winx64.zip

    - Federated存储引擎:允许在不同MySQL服务器之间透明地访问数据,实现分布式数据库的联合。 - Full-text search:提供了更强大的全文索引和搜索功能,支持更灵活的查询语法。 - 支持更多的字符集:MySQL 5.5增强了...

    mysql5.5.36及mysql-font安装包

    1. **Federated Storage Engine增强**:支持更大规模的分布式查询,允许用户从不同地理位置的MySQL服务器上聚合数据。 2. **InnoDB存储引擎优化**:提高了InnoDB表的性能,支持更多的并发事务处理,并引入了InnoDB ...

    完整精品数据库课件 MySQL从入门到精通 第03章 数据库的基本操作(共11页).ppt

    4. **其他存储引擎**如Merge、Archive、Federated、CSV、Blackhole等,分别适用于合并表、归档数据、分布式存储、文本数据和黑洞表(不存储任何数据)等特定需求。 在选择存储引擎时,应根据应用的需求进行评估。...

    可插式存储引擎MySQL走向企业级保障

    5. **Federated**:允许跨多个MySQL服务器整合数据,构建逻辑上的单一数据库,适用于分布式环境或数据集市。 6. **Merge**:合并一系列等效的MyISAM表,适合大数据仓库和需要快速访问历史数据的环境。 7. **Memory...

    mysql架构与存储引擎(MySQL逻辑架构、InnoDB引擎、MyISAM引擎、存储引擎选择).docx

    除了InnoDB和MyISAM之外,MySQL还支持多种其他的存储引擎,如Memory、Archive、Federated等,这些引擎各有特色,可以满足不同的业务需求。 #### 四、存储引擎选择 选择合适的存储引擎对于保证数据库性能和稳定性至...

    mysql5.5.27

    2. Federated存储引擎:允许跨服务器的数据连接,实现分布式数据库系统的功能。 3.分区功能:通过分区,可以将大型表分成更易管理的部分,提高查询效率。 4. 支持更多的SQL标准:如窗口函数、GROUPING SETS、ROLLUP...

Global site tag (gtag.js) - Google Analytics