`

mysql分库分表中间件Heisenberg

mysql分库分表中间件Heisenberg 
阅读更多

代码地址：

https://github.com/brucexx/heisenberg

其优点： 分库分表与应用脱离，分库表如同使用单库表一样
减少db 连接数压力 
热重启配置
可水平扩容
遵守Mysql原生协议
无语言限制，mysqlclient,c,java等都可以使用
Heisenberg服务器通过管理命令可以查看，如连接数，线程池，结点等，并可以调整
采用velocity的分库分表脚本进行自定义分库表，相当的灵活

 

之前在组里有做过简单的分享，这段时间稍微轻松了点，先分享出来，看有没有更好的idea在这块有所提升

 

 下面开始介绍heisenberg

 

1.heisenberg总体架构

      首先这块架构：

      

      
 
 

应用对于heisenberg集群来说就是mysql客户端，

而heisenberg也是集成了mysql的原生协议，所以对于应用来说，就相当于单库单表的数据源

无论是mysql客户端，c,jdbc驱动等都可以访问heisenberg服务器，由服务器把分库分表的工作给做掉了

 

访问heisenberg集群可以通过像lvs,F5等负载软件/设备解决，

其实一台heisenberg的性能是相当的赞了，我压力到2320TPS load 都还只有0.1-0.3左右（CPU 8core,16G），由于找不到mysql物理机器了，只得做罢

 

服务端内部结构：


 

其中FrontConnectionFactory为面向应用的连接管理，ManagerConnectionFactory为面向heisenberg服务器内部管理的一些连接管理，比如更改配置后热重启，关闭 某个连接等功能

mysql协议贯穿于应用程序与mysql服务器，最终解析为相关的mysql数据包, 授权包，注册包等

 

当heisenberg服务器接收到SQL语句后，通过AST语法解析 解析成 DML,DCL,DDL类型以及相关列名的值等等，然后通过ServerRouter这一层，经过分库分表的切分，最终将切分好的语句放入对应数据结点进行执行

 

分库分表的切分，为了满足各种通用性灵活性，使用了velocity和groovy 2种语法来支持，其中groovy是初始化表和库和映射关系的，只在加载时初始化一次；而velocity是用来渲染对应的分库和分表规则的。

 

OK，知道了原理，那么开始说明如何使用分库分表吧

 

2.heisenberg开发

Maven +JDK 部署好

 https://github.com/brucexx/heisenberg 

下载到本地后，

Mvn package 之

 

在本地target里会生成一个heisenberg-server-1.0.0.zip 文件

 

解压之 unzip  heisenberg-server-1.0.0.zip  

进入conf目录

有下面几个目录 

     conf

      ---log4j.xml

      ---rule.xml

      ---schema.xml

      ---server.xml

log4j.xml就不介绍了

  sql_route.log就是分库表切分的时间

  sql_execute.log 为sql总执行时间

 

server.xml 

 

    "serverPort">8166

    "managerPort">8266

    "initExecutor">16

    "timerExecutor">4

    "managerExecutor">4

    "processors">4

    "processorHandler">8

    "processorExecutor">8

    "clusterHeartbeatUser">_HEARTBEAT_USER_

    "clusterHeartbeatPass">_HEARTBEAT_PASS_

 

 

serverPort为服务端口，即对上层应用的端口

managerPort为管理端口，即管理的监听端口，用于操作服务器一些配置等

initExecutor 为初始化的线程个数

timerExecutor 心跳执行线程个数

managerExecutor管理执行线程个数

processors应用接收处理器核数

processorHandler 应用接收处理类个数

processorExecutor 应用接收处理线程个数

 

clusterHeartbeatUser和clusterHeartbeatPass 不必改，用于集群的认证方式使用

 

 "brucexx">

    "password">st0078

    "schemas">trans_shard

 

Brucexx为自定义应用用户名，st0078为自定义应用密码

Schemas为自定义schema,具体见schema.xml中，

 

这里的schemas可为多个，以逗号分隔

 

白名单限制：

 

  

   

      test

   

 

 

                

schema.xml配置

mysql数据源

 

    "transDS" type="mysql">

        "location">

            10.58.49.14:8701/db$0-9

   

        "user">root

        "password">st0078

        "sqlMode">STRICT_TRANS_TABLES

   

 

这里指定的mysql的数据源，后面$0-9是一种自定义的缩略写法

也可以在property里面定义多个location，比如：

"location">

            10.58.49.14:8701/db0

10.58.49.14:8701/db1

10.58.49.14:8701/db2

   

 

 

 

效果是一样的

 

Shard结点配置

Shard结点相当于一个逻辑结点，提供给外部相关的schema，对应于数据源有

主/备/灾，

"transDN">

        "dataSource">

           

            transDS$0-9

           

            transSlaveDS$0-9

           

            transSlaveDS$0-9

           

           

       

        "rwRule">m:0,s:1

        "poolSize">256

        "heartbeatSQL">select user()

   

 

属性dataSource 第一个是主库，第二个备库，第三个灾库，需要多少配置多少个

 

读写分离规则rwRule，m和s代表读取的比例，表示主库读取为0,从库读取1，这样直接读写分离，如果是1:1的话相当读取各1：1的比例

 

池大小poolSize为到mysqlDB的连接数和心跳sql heartbeatSQL，无特殊需求保持不变

 

Schema配置

"trans_shard">

 

       

"trans_online, trans_content, trans_tb "dataNode="transDN$0-9"rule="rule1"/>

   

 trans_shard 提供的schema,对应于server.xml中的名字

下面会有多个需要分库的表，

 

"trans_online"dataNode="transDN$0-9"rule="rule1"/>

这里必须要把需要分库分表的内容写出来，当然，如果不分库表也是可以的

 

 

”tbxxx"dataNode="transDN0" ruleRequired=”false”/

 

rule.xml 

分库分表规则配置，其中columns,dbRuleList,tbRuleList里面的列名要保持大写

 

首先先上一个整体配置

 

    "rule1">

        TRANS_ID

   

            #set($start=$TRANS_ID.length() - 2)##

            #set($end=$TRANS_ID.length() - 1)##

            $stringUtil.substring($TRANS_ID,$start,$end)

           

       

       

            #set($start=$TRANS_ID.length() - 2)##

             $stringUtil.substring($TRANS_ID,$start)

       

       

       

                 

                        def map = [:];

                        for (int i=0; i<10; i++) {

                           def list = [];

                            for (int j=0; j<10; j++) {

                                list.add(i+""+j);

                            }

                             map.put(i,list);

                        };

                        return map;

               

       

   

 

 

其中dbRuleList 为分库规则

 

 

            #set($start=$TRANS_ID.length() - 2)##

            #set($end=$TRANS_ID.length() - 1)##

            $stringUtil.substring($TRANS_ID,$start,$end)

           

       

 分库规则dbRuleList可以有多个dbRule，当第一个不满足时，可以用第二个，当然这个效率不好，如果有规则区分，尽量再写一个rule，

dbRule 最后的结果是表的前缀

比如分库分表 库名为db0-db9,那么这个dbRule渲染时

 

取到TRANS_ID 这个为后，在脚本里计算出取倒数第2位为库后缀

比如上图的分库为


 
 

分表规则配置

 

            #set($start=$TRANS_ID.length() - 2)##

             $stringUtil.substring($TRANS_ID,$start)

       

这个和上面分库一样了，以倒数1，2位为库的后缀

如下图：


 
 

 

 有个潜规则就是

需要保证全局的表名不能重复

比如db0有个trans_tb00,db1就不能有叫trans_tb00的表

 

表初始化

       

       

                 

                        def map = [:];

                        for (int i=0; i<10; i++) {

                           def list = [];

                            for (int j=0; j<10; j++) {

                                list.add(i+""+j);

                            }

                             map.put(i,list);

                        };

                        return map;

               

       

 

需要初始化个表，其中key为db的下标索引，比如db0 的下标为0,

list为每个库里的表后缀名

 

 

目录是为了初始化定义这些库表

 

如何使用呢？

通过命令行


 

这里就不用讲了，wms_shard就是在server.xml里面配置的逻辑分库分表的数据源schema,应用只要访问这个就好了


 
 

show tables;也可以看到自己的一些表信息


 
 

ok.

 

mysql> select * from t_user_id_map;

+-----------+---------------------------+-----------+------------+---------------------+---------------------+

| F_uid     | F_uname                   | F_enabled | F_user_id  | F_create_time       | F_modify_time       |

+-----------+---------------------------+-----------+------------+---------------------+---------------------+

| 105001050 | @8230762802717b6a723fe9cd |         1 | 1287824017 | 2014-03-10 15:38:44 | 2014-03-10 15:38:44 |

|     62000 |                           |         1 |  533885000 | 2014-03-26 23:02:31 | 2014-03-26 23:02:31 |

|     86000 |                           |         1 |  237406000 | 2014-03-27 01:04:23 | 2014-03-27 01:04:23 |

|     96000 |                           |         1 |  767684000 | 2014-03-27 00:30:32 | 2014-03-27 00:30:32 |

|    130000 |                           |         1 |  506552000 | 2014-03-27 15:57:31 | 2014-03-27 15:57:31 |

|    149000 |                           |         1 |  868483000 | 2014-03-27 15:50:09 | 2014-03-27 15:50:09 |

|    179000 |                           |         1 |  245626000 | 2014-03-26 21:33:46 | 2014-03-26 21:33:46 |

当没有指定分库分表规则时，是进行的全表扫描，当然我们可以通过学习

mysql> explain select * from t_user_id_map;

+-----------+-----------------------------------

| DATA_NODE | SQL

+-----------+-----------------------------------

| wmsDN[0]  |  select * from t_user_id_map_00_0

| wmsDN[0]  |  select * from t_user_id_map_00_1

| wmsDN[0]  |  select * from t_user_id_map_00_2

| wmsDN[0]  |  select * from t_user_id_map_00_3

| wmsDN[0]  |  select * from t_user_id_map_00_4

| wmsDN[0]  |  select * from t_user_id_map_00_5

| wmsDN[0]  |  select * from t_user_id_map_00_6

| wmsDN[0]  |  select * from t_user_id_map_00_7

| wmsDN[0]  |  select * from t_user_id_map_00_8

| wmsDN[0]  |  select * from t_user_id_map_00_9

| wmsDN[1]  |  select * from t_user_id_map_01_0

| wmsDN[1]  |  select * from t_user_id_map_01_1

| wmsDN[1]  |  select * from t_user_id_map_01_2

| wmsDN[1]  |  select * from t_user_id_map_01_3

| wmsDN[1]  |  select * from t_user_id_map_01_4

| wmsDN[1]  |  select * from t_user_id_map_01_5

| wmsDN[1]  |  select * from t_user_id_map_01_6

| wmsDN[1]  |  select * from t_user_id_map_01_7

| wmsDN[1]  |  select * from t_user_id_map_01_8

| wmsDN[1]  |  select * from t_user_id_map_01_9

| wmsDN[2]  |  select * from t_user_id_map_02_0

....

这边表很多，其中dataNode是我们里面对应的结点

 

mysql> select * from t_user_id_map where f_uid=196606999;

+-----------+---------+-----------+-----------+---------------------+---------------------+

| F_uid     | F_uname | F_enabled | F_user_id | F_create_time       | F_modify_time       |

+-----------+---------+-----------+-----------+---------------------+---------------------+

| 196606999 |         |         1 | 749331999 | 2014-04-04 14:46:58 | 2014-04-04 14:46:58 |

+-----------+---------+-----------+-----------+---------------------+---------------------+

1 row in set (0.04 sec)

这边配置的是按F_uid最后三位分库分表的，dbRuleList配置的是倒数2，3位，

tbRuleList配置的是最后1位

 

我们看下是怎么路由的

 

mysql> explain select * from t_user_id_map where f_uid=196606999;

+-----------+---------------------------------------------------------+

| DATA_NODE | SQL                                                     |

+-----------+---------------------------------------------------------+

| wmsDN[99] |  select * from t_user_id_map_99_9 where f_uid=196606999 |

+-----------+---------------------------------------------------------+

1 row in set (0.03 sec)

 

可以看到data_node --> wmsDN[99] ,分库位

t_user_id_map_99_9 对应的表

 

 

http://blog.sina.com.cn/s/blog_56d988430102vdfo.html

分享到：
| 数据库水平切分的实现原理解析——分库，分 ...
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    去年底写的mysql分库分表中间件heisenberg

    **MySQL分库分表中间件Heisenberg详解** 在数据库设计中，随着业务的发展和数据量的增加，单个数据库往往难以承受高并发和大数据量的处理压力，这时就需要引入分库分表策略来优化系统性能。Heisenberg是一款开源的...

    linux运维学习笔记：Mysql中间件Atlas读写分离原理与实战.pdf

    Linux运维学习笔记：Mysql中间件Atlas读写分离原理与实战知识点总结： 1. Atlas项目简介 Atlas是由奇虎360公司Web平台部基础架构团队开发的一个基于MySQL协议的数据中间层项目。它是基于MySQL官方推出的MySQL-Proxy...

    Python库 | heisenberg_drugwars-0.1.0.tar.gz

    标题中的“Python库 | heisenberg_drugwars-0.1.0.tar.gz”表明这是一个基于Python的软件库，其版本为0.1.0，并且已经打包成tar.gz格式的压缩文件。这种格式是Linux和Unix系统中常见的归档和压缩方式，通常用于分发...

    Heisenberg Lie群H 4的WZW模型中的Poisson Lie对称性和D球

    我们证明，只有当双重李群为A2⊕2A1时，Heisenberg Lie群H4上的WZW模型才具有Poisson-Lie对称性。 这样，我们以Heisenberg Lie群H4及其对对A2⊕2A1生成的Drinfeld double为目标空间，构造互为T对偶sigma模型，以使...

    Heisenberg-Euler有效拉格朗日强磁场极限的全圈结果

    我们为标量和自旋量子电动力学的Heisenberg-Euler有效Lagrangian的强磁场极限提供了明确的表达式。 为此，我们表明强磁场行为完全由最近才发现的单粒子可还原贡献确定。 后者可以通过本质上的代数过程，从低阶一粒子...

    Heisenberg代数作为类似于Chern–Simons引力理论的黑花解的水平对称性

    在本文中，我们研究了类Chern-Simons引力理论的非极端黑洞解的近地平线对称代数，它们是平稳的，但不一定是球对称的。 我们定义了扩展的脱壳ADT电流，它是广义ADT电流的扩展。 我们使用扩展的脱壳ADT电流来定义准...

    具有自然界的Bargmann-Fock空间中的Heisenberg代数

    在物理学中，Heisenberg代数是量子力学中描述粒子状态的基本代数结构，与Heisenberg不确定性原理密切相关。Bargmann-Fock空间是一种复数希尔伯特空间，常用于量子场论和量子光学中的相干态表示。最小长度、最小动量...

    A restriction theorem for the quaternion Heisenberg group

    四元数Heisenberg群上的限制性定理，刘和平，王迎占，本文中，我们证明了在四元数Heisenberg群上，如果1&lt;=p=&lt;3/4，那么相对于sublaplacian 的限制性算子是Lp到Lp'有界的。这不同于我们已知的Heisenbe

    大数据-算法-Heisenberg李代数的自同省略oody代数与可积模的完全可约性.pdf

    这篇论文主要探讨了两个主题，分别是Heisenberg李代数的自同构群和标准Kac-Moody代数及其可积模的完全可约性，这些都是大数据和算法领域中的重要数学工具。以下是对这两个部分的详细解释： **Part I - Heisenberg李...

    On critical cases of Sobolev's inequalities for Heisenberg groups

    Heisenberg上临界情形的Sobolev不等式，杨乔华，，本文主要考虑在临界情形的Sobolev嵌入问题。我们证明了在整个Heisenberg群上存在一类 Trudinger型不等式，这一点推广了由T. Ozawa所证明的欧�

    Heisenberg ED.py_Heisenbergmodel；_严格对角化_

    在量子力学领域，海森堡模型（Heisenberg model）是研究多体量子系统相互作用的重要理论模型，尤其在磁学和固体物理中占据核心地位。这个模型由维尔纳·海森堡于1928年提出，用来描述电子自旋间的相互作用。本文将...

    论文研究 - 具有交替D项的一维Heisenberg链的基态能量和熵

    在讨论具有交替D项的一维Heisenberg链的基态能量和熵时，我们首先需要明确几个重要的物理概念。 Heisenberg链，又称为海森堡模型，是一种描述量子磁性物质中自旋间相互作用的模型。在一维Heisenberg模型中，自旋链...

Magicbox
Global site tag (gtag.js) - Google Analytics