`

Mysql分库分表:基于DangDang-Sharding-Jdbc的介绍

 
阅读更多

【大数据】每秒十万笔交易的数据架构解读

 基于官网介绍,学习把

http://dangdangdotcom.github.io/sharding-jdbc/00-overview/

 

Sharding-JDBC能和不能实现的功能

http://blog.csdn.net/Farrell_zeng/article/details/52958181

 

阿里的分库框架cobar-client,是基于ibatis的SqlMapClientTemplate进行了一层薄薄的封装,分装成CobarSqlMapClientTemplate,在用户在CRUD的时候可以透明的进行操作,算是现在大多公司分库的一个成熟解决方案,不过现在面临的一些问题:
(1)不支持分表
(2)基于ibatis,而且2013年后基本没有再维护了,没有进行升级,所以大多公司都基于该思想进行了自己的重写

当当开源的sharding-jdbc,官方网址:https://github.com/dangdangdotcom/sharding-jdbc
解读分库分表中间件Sharding-JDBC 参考:http://blog.csdn.net/u4110122855/article/details/50670503作者:当当网架构师 张亮

数据库分库分表从互联网时代开启至今,一直是热门话题。在NoSQL横行的今天,关系型数据库凭借其稳定、查询灵活、兼容等特性,仍被大多数公司作为首选数据库。因此,合理采用分库分表技术应对海量数据和高并发对数据库的冲击,是各大互联网公司不可避免的问题。

虽然很多公司都致力于开发自己的分库分表中间件,但截止目前,仍无完美的开源解决方案覆盖此领域;


【分库分表适用场景】
分库分表用于应对当前互联网常见的两个场景:"大数据量和高并发。通常分为垂直拆分和水平拆分两种"

(1)垂直拆分是根据业务将一个库(表)拆分为多个库(表)。如:将经常和不常访问的字段拆分至不同的库或表中。由于与业务关系密切,目前的分库分表产品均使用水平拆分方式。

(2)水平拆分则是根据分片算法将一个库(表)拆分为多个库(表)。如:按照ID的最后一位以3取余,尾数是1的放入第1个库(表),尾数是2的放入第2个库(表)等。

关系型数据库在大于一定数据量的情况下检索性能会急剧下降。在面对互联网海量数据情况时,所有数据都存于一张表,显然会轻易超过数据库表可承受的数据量阀值。这个单表可承受的数据量阀值,需根据数据库和并发量的差异,通过实际测试获得。

(1)"单纯的分表":虽然可以解决数据量过大导致检索变慢的问题,但无法解决过多并发请求访问同一个库,导致数据库响应变慢的问题。所以通常水平拆分都至少要"采用分库"的方式,用于一并解决大数据量和高并发的问题。这也是部分开源的分片数据库中间件只支持分库的原因。

(2)"单纯分表"也有不可替代的适用场景。最常见的分表需求是事务问题。同在一个库则不需考虑分布式事务,善于使用同库不同表可有效避免分布式事务带来的麻烦。目前强一致性的分布式事务由于性能问题,导致使用起来并不一定比不分库分表快。目前采用最终一致性的柔性事务居多。
分表的另一个存在的理由是,过多的数据库实例不利于运维管理。

综上所述,最佳实践是合理地配合使用分库+分表。


【Sharding-JDBC简介】
Sharding-JDBC是当当应用框架ddframe中,从关系型数据库模块dd-rdb中分离出来的数据库水平分片框架,实现透明化数据库分库分表访问。
Sharding-JDBC是继dubbox和elastic-job之后,ddframe系列开源的第3个项目。

Sharding-JDBC直接封装JDBC API,可以理解为增强版的JDBC驱动,旧代码迁移成本几乎为零:
可适用于任何基于Java的ORM框架,如JPA、Hibernate、Mybatis、Spring JDBC Template或直接使用JDBC。
可基于任何第三方的数据库连接池,如DBCP、C3P0、 BoneCP、Druid等。
理论上可支持任意实现JDBC规范的数据库。虽然目前仅支持MySQL,但已有支持Oracle、SQLServer等数据库的计划。
Sharding-JDBC定位为轻量Java框架,使用客户端直连数据库,以jar包形式提供服务,无proxy代理层,无需额外部署,无其他依赖,DBA也无需改变原有的运维方式。

Sharding-JDBC分片策略灵活,可支持等号、between、in等多维度分片,也可支持多分片键。

SQL解析功能完善,支持聚合、分组、排序、limit、or等查询,并支持Binding Table以及笛卡尔积表查询。

与常见开源产品对比
为了对其他开源项目表示尊重,我们无意评论目前仍在更新中的项目。这里仅列出目前停止更新,但仍然在数据库分片领域非常有影响力的几个项目,请参见表1。

图片描述
表1 数据库分片工具对比
通过以上表格可以看出,Cobar属于中间层方案,在应用程序和MySQL之间搭建一层Proxy。中间层介于应用程序与数据库间,需要做一次转发,而基于JDBC协议并无额外转发,直接由应用程序连接数据库,性能上有些许优势。这里并非说明中间层一定不如客户端直连,除了性能,需要考虑的因素还有很多,中间层更便于实现监控、数据迁移、连接管理等功能。

Cobar-Client、TDDL和Sharding-JDBC均属于客户端直连方案。此方案的优势在于轻便、兼容性、性能以及对DBA影响小。其中Cobar-Client的实现方式基于ORM(Mybatis)框架,其兼容性与扩展性不如基于JDBC协议的后两者。

实现原理
前文已介绍了Sharding-JDBC是实现了JDBC协议的jar文件。基于JDBC协议的实现与基于MySQL等数据库协议实现的中间层略有差别。

无论使用哪种架构,核心逻辑均极为相似,除了协议实现层不同(JDBC或数据库协议),都会分为分片规则配置、SQL解析、SQL改写、SQL路由、SQL执行以及结果归并等模块。

Sharding-JDBC的整体架构图参见图1。
图片描述
图1 Sharding-JDBC的整体架构图

分片规则配置
Sharding-JDBC的分片逻辑非常灵活,支持分片策略自定义、复数分片键、多运算符分片等功能。
如:根据用户ID分库,根据订单ID分表这种分库分表结合的分片策略;或根据年分库,月份+用户区域ID分表这样的多片键分片。

Sharding-JDBC除了支持等号运算符进行分片,还支持in/between运算符分片,提供了更加强大的分片功能。

Sharding-JDBC提供了spring命名空间用于简化配置,以及规则引擎用于简化策略编写。由于目前刚开源分片核心逻辑,这两个模块暂未开源,待核心稳定后将会开源其他模块。

JDBC规范重写
Sharding-JDBC对JDBC规范的重写思路是针对DataSource、Connection、Statement、PreparedStatement和ResultSet五个核心接口封装,将多个真实JDBC实现类集合(如:MySQL JDBC实现/DBCP JDBC实现等)纳入Sharding-JDBC实现类管理。

Sharding-JDBC尽量最大化实现JDBC协议,包括addBatch这种在JPA中会使用的批量更新功能。但分片JDBC毕竟与原生JDBC不同,所以目前仍有未实现的接口,包括Connection游标,存储过程和savePoint相关、ResultSet向前遍历和修改等不太常用的功能。此外,为了保证兼容性,并未实现JDBC 4.1及其后发布的接口(如:DBCP 1.x版本不支持JDBC 4.1)。

"==SQL解析=="
SQL解析作为分库分表类产品的核心,性能和兼容性是最重要的衡量指标。目前常见的SQL解析器主要有fdb/jsqlparser和Druid。Sharding-JDBC使用Druid作为SQL解析器,经实际测试,Druid解析速度是另外两个解析器的几十倍。

目前Sharding-JDBC支持join、aggregation(包括avg)、order by、 group by、limit、甚至or查询等复杂SQL的解析。目前不支持union、部分子查询、函数内分片等不太应在分片场景中出现的SQL解析。

"==SQL改写=="
SQL改写分为两部分,一部分是将分表的逻辑表名称替换为真实表名称。另一部分是根据SQL解析结果替换一些在分片环境中不正确的功能。这里具两个例子:

第1个例子是avg计算。在分片的环境中,以avg1 +avg2+avg3/3计算平均值并不正确,需要改写为(sum1+sum2+sum3)/(count1+count2+ count3)。这就需要将包含avg的SQL改写为sum和count,然后再结果归并时重新计算平均值。

第2个例子是分页。假设每10条数据为一页,取第2页数据。在分片环境下获取limit 10, 10,归并之后再根据排序条件取出前10条数据是不正确的结果。正确的做法是将分条件改写为limit 0, 20,取出所有前2页数据,再结合排序条件算出正确的数据。可以看到越是靠后的Limit分页效率就会越低,也越浪费内存。有很多方法可避免使用limit进行分页,比如构建记录行记录数和行偏移量的二级索引,或使用上次分页数据结尾ID作为下次查询条件的分页方式。

"SQL路由"
SQL路由是根据分片规则配置,将SQL定位至真正的数据源。主要分为单表路由、Binding表路由和笛卡尔积路由。

单表路由最为简单,但路由结果不一定落入唯一库(表),因为支持根据between和in这样的操作符进行分片,所以最终结果仍然可能落入多个库(表)。

Binding表可理解为分库分表规则完全一致的主从表。举例说明:订单表和订单详情表都根据订单ID作为分片键,任意时刻分片逻辑均相同。这样的关联查询和单表查询难度和性能相当。

笛卡尔积查询最为复杂,因为无法根据Binding关系定位分片规则的一致性,所以非Binding表的关联查询需要拆解为笛卡尔积组合执行。查询性能较低,而且数据库连接数较高,需谨慎使用。

"SQL执行"
路由至真实数据源后,Sharding-JDBC将采用多线程并发执行SQL,并完成对addBatch等批量方法的处理。

"结果归并"
结果归并包括4类:普通遍历类、排序类、聚合类和分组类。每种类型都会先根据分页结果跳过不需要的数据。

普通遍历类最为简单,只需按顺序遍历ResultSet的集合即可。

排序类结果将结果先排序再输出,因为各分片结果均按照各自条件完成排序,所以采用归并排序算法整合最终结果。

聚合类分为3种类型,比较型、累加型和平均值型。比较型包括max和min,只返回最大(小)结果。累加型包括sum和count,需要将结果累加后返回。平均值则是通过SQL改写的sum和count计算,相关内容已在SQL改写涵盖,不再赘述。

分组类最为复杂,需要将所有的ResultSet结果放入内存,使用map-reduce算法分组,最后根据排序和聚合条件做相关处理。最消耗内存,最损失性能的部分即是此,可以考虑使用limit合理的限制分组数据大小。

结果归并部分目前并未采用管道解析的方式,之后会针对这里做更多改进。

【性能】
路由结果在单库单表的性能测试报告:
查询操作:Sharding-JDBC的TPS为JDBC的TPS的99.8%;
插入操作:Sharding-JDBC的TPS为JDBC的TPS的90.2%;
更新操作:Sharding-JDBC的TPS为JDBC的TPS的93.1%;
可以看到,Sharding-JDBC性能损失非常低。

路由结果在多库多表的性能测试报告:

查询操作:TPS双库比单库可以增加大约94%的性能;
插入操作:TPS双库比单库可以增加大约60%的性能;
更新操作:TPS双库比单库可以增加大约89%的性能;
结果表明,Sharding-JDBC可有效利用多线程与分布式资源大幅度提升性能;
更多详细情况可查看Sharding-JDBC的性能测试报告。

Roadmap
目前Sharding-JDBC集中于分库分表核心逻辑开发,在功能稳定之后将会按照如下线路持续更新:
读写分离;
柔性分布式事务;
分布式主键生成策略;
SQL重写优化,进一步提升性能;
SQL Hint,可指定某SQL在某具体库表执行,基于业务规则而非SQL解析路由;
小表广播;
HA相关;
流量控制;
数据库建表工具;
数据迁移;
复杂SQL解析支持,如子查询、存储过程等;
Oracle, SQLServer支持;
配置中心;

开源理念
目前国内很多开源产品都在公司内部经受过时间的考验,然后剥离业务逻辑和敏感代码,再开源贡献给社区。这样做的优点是开源的产品相对成熟。但缺点也不可避免,主要有:
(1)后续支持匮乏。产品已经满足了该公司的业务场景需求,缺乏后续提升的动力。文档、支持也会相对较少,甚至出现文档和代码不同步的状况。
(2)与该公司业务场景耦合较为严重。大部分框架产品都是为了解决特定的问题。比如:有的公司可能并不需要分表;有的公司只需支持几种分片策略就好。
(3)开源不完整。和公司业务耦合紧密的部分不会开源。
(4)缺乏粘度。较为成型的项目由于功能繁多、代码结构复杂,社区志愿者难于扩展或修改核心逻辑。如果测试覆盖率不够,难以保证修改后的代码质量。以上一系列问题会导致项目对社区的粘度不高,难于找寻可合作开发的志愿者。
(5)分支众多难于维护。由于开源之后公司缺乏持续提升的动力,和本公司关系不大的需求功能得不到重视,导致各公司都开发自己的分支。开源项目虽然一开始给社区注入了新鲜思想,但最终并没有吸取社区精华。如:Dubbo一出现即引起了相当多的关注,而各公司都有自己的版本,如当当的DubboX,但最终Dubbo并未能持续发展。
我们考虑全新的开源策略,在Sharding-JDBC刚完成初版的时候,即向社区和当当内部同时推广。这样做的好处有:

后续支持完善。Sharding-JDBC与当当内部落地绑定,将会在当当内部和社区同时提供支持。虽然无法提供社区需求的优先级高于当当内部的承诺,但我们会综合考虑社区与内部的需求,以更高的视角,尽量整合与优化升级路线。
完整开源。代码的snapshot版本都会首先出现在GitHub上。
共同发展。Sharding-JDBC目前代码较为简单。使社区开源爱好者能更加轻松地理解代码核心,为以后的持续发展奠定基础。并且Sharding-JDBC也会吸纳社区精华,让更多地爱好者参与代码贡献。
最后需要澄清,未经时间考证的Sharding-JDBC并非Bug成堆,完全不可用的项目。目前测试覆盖率超过90%,详细功能以及不支持项都明确地罗列在GitHub的文档中,希望让使用者心中有数。

 

---------------------------------------------------------------------------------

 

 






***********************读写分离***********************
实践:

1.创建新库并且配置给用户,设置主从复制

在主库上122:
dbtbl_0_master
dbtbl_1_master
建库:
create database dbtbl_0_master;
create database dbtbl_1_master;
授权主库xmtest用户拥有 dbtbl_0_master / dbtbl_1_master 数据库的所有权限
grant all privileges on dbtbl_0_master.* to 'xmtest'@'%' identified by '123456' WITH GRANT OPTION;
grant all privileges on dbtbl_1_master.* to 'xmtest'@'%' identified by '123456' WITH GRANT OPTION;
刷新系统权限表
flush privileges;

在从库上123:
dbtbl_0_slave_0
dbtbl_1_slave_0
建库:
create database dbtbl_0_slave_0;
create database dbtbl_1_slave_0;
授权从库xmtest用户拥有 dbtbl_0_slave_0 / dbtbl_1_slave_0 数据库的读的权限
grant select on dbtbl_0_slave_0.* to xmtest@localhost identified by '123456';
grant select on dbtbl_1_slave_0.* to xmtest@localhost identified by '123456';
刷新系统权限表。
flush privileges;

因为在配置主从时设置的是除mysql库都主从复制,只需要建库,授权用户就行了
参考: MYSQL安装配置.txt


这里主库和从库设置成一样的,所以按照如下版本:
在主库上122创建库授权即可:
dbtbl_0
dbtbl_1
建库:
create database dbtbl_0;
create database dbtbl_1;
授权主库xmtest用户拥有 dbtbl_0 / dbtbl_1 数据库的所有权限
grant all privileges on dbtbl_0.* to 'xmtest'@'%' identified by '123456' WITH GRANT OPTION;
grant all privileges on dbtbl_1.* to 'xmtest'@'%' identified by '123456' WITH GRANT OPTION;
刷新系统权限表
flush privileges;

因为在配置主从时设置的是除mysql库都主从复制,只需要建库,授权用户就行了
参考: MYSQL安装配置.txt
















 

分享到:
评论

相关推荐

    当当开源sharding-jdbc-轻量级数据库分库分表中间件

    ### 当当开源Sharding-JDBC:轻量级数据库分库分表中间件 #### 概述 当当网近期开源了一款名为Sharding-JDBC的轻量级数据库分库分表中间件。作为一款高性能、易用性高的数据库水平分片框架,Sharding-JDBC在设计上...

    轻量级当当数据库中间件Sharding-JDBC深度解析

    为了应对这些挑战,分库分表、读写分离、分布式主键、柔性事务以及数据治理等技术应运而生,而Sharding-JDBC正是这样一个集上述功能于一体的轻量级数据库中间件解决方案。 Sharding-JDBC是由当当网开源的一个分布式...

    spring+mybatis+sharding-jdbc 整合

    2. **引入依赖**:在你的项目中,你需要引入Spring、MyBatis和Sharding-JDBC的相关依赖库。这通常通过Maven或Gradle的依赖管理来完成。例如,在Maven的pom.xml文件中,添加如下依赖: ```xml <groupId>org....

    一.dubbox(dangdang V2.8.4)+springBoot(1.4.2.RELEASE)+dubbo-monitor-web 监控项目源码

    版本“dangdang V2.8.4”是当当网对dubbox的一个定制版,它在原生dubbox的基础上增加了一些功能和优化。而“springBoot”是Spring框架的简化版,用于快速开发基于Spring的应用,这里的“1.4.2.RELEASE”是其特定版本...

    dangdang------当当网

    【标题】"dangdang------当当网" 指的是一个与当当网相关的软件项目,这个项目包含了实现当当网业务功能的所有代码。作为一个知名的电子商务平台,当当网涉及的技术领域广泛,可能涵盖了在线购物、库存管理、订单...

    当当网实现源码超好dangdang_struts2_jdbc

    【标题】"当当网实现源码超好dangdang_struts2_jdbc" 提供的是一款基于Struts2框架和JDBC数据库访问技术的项目源码,它可能展示了如何在实际应用中构建一个类似于当当网的在线图书销售或购物平台。这个项目的核心...

    dangdang-ssh.zip_Dangdang mail_ssh_ssh商城

    在压缩包文件名称列表中,只提到了“dangdang-ssh”,这可能是指项目的主要代码库或源码文件夹,里面应该包含了所有相关的Java类、配置文件、资源文件等。为了深入学习和运行这个项目,你需要解压这个文件,根据项目...

    Java工具:定时任务工具Elastic-job的简单使用

    - **基本概念**:Elastic-job-Lite基于Zookeeper或Redis进行分布式协调,实现任务的分布式执行和故障转移。 - **主要组件**:包括Job、Executor和Registry。Job是具体执行的任务,Executor是任务执行器,Registry...

    当当网elasticjob分布式调度示例

    **分布式调度系统 ElasticJob** ElasticJob 是一个由当当网开源的分布式任务调度框架,...在实际开发中,我们可以结合当当网提供的 dangdang-elasticjob 示例代码,深入理解和学习如何在项目中有效地使用 ElasticJob。

    JAVA+JDBC+mysql网上商城.rar

    2. **JDBC**:JDBC是Java访问数据库的标准API,它允许Java程序连接到各种类型的数据库,包括MySQL。JDBC提供了连接、查询、更新和关闭数据库的基本方法,项目中可能使用PreparedStatement和ResultSet等类进行SQL操作...

    dangdang-dubbo-admin-2.8.4.war

    刚刚打包好的admin试过可以使用,如果遇到不能使用的话请告知

    elastic-job-dangdang

    Elastic-Job是基于 Quartz 和 ZooKeeper 的分布式作业调度框架,由两个子项目组成:Elastic-Job-Lite 和 Elastic-Job-Cloud。Elastic-Job-Lite 适用于微服务架构,而 Elastic-Job-Cloud 更适合大规模云计算环境。...

    当当网sdk,dangdang-open-sdk.jar

    当当网sdk,java版本,自测可用,获取单笔订单详情有出路,需要自己仔细看jar包源码再做更改。

    tomcat5中配置mysql数据源

    1. **放置MySQL驱动程序**:将MySQL的JDBC驱动程序(`.jar`文件)放置到Tomcat的`common\lib`目录下。 2. **修改server.xml文件**:使用文本编辑器打开`D:\myweb\Tomcat5\conf\server.xml`文件,在`</Host>`标签之前...

    elastic-job-1.0.5相关源码

    - **Sharding**:分片是Elastic-Job处理分布式任务的关键,通过将Job拆分成多个分片,每个分片在不同的节点上执行,实现任务的分布式处理。 - **Registry**:注册中心是Elastic-Job中用于协调各个节点的重要组件,...

    小型电子商务系统

    为了满足市场的需求,本项目旨在开发一个基于B/S模式的小型电子商务系统,该系统将为用户提供一个便捷、高效的在线购物平台。 **1.3 范围** 本系统主要包括以下功能模块: - 商品浏览控制 - 商品及其分类管理 - ...

    shardingsphere-elasticjob_docs_cn.pdf

    - 作业分片:支持作业的分片,每个分片可以在不同的服务器上并行执行,提高处理效率。 - 作业容错:具备故障转移和失败重试机制,保证作业的高可用性。 - 作业监控:提供丰富的监控指标,方便用户了解作业状态和...

    dangdang-dubbox:dubbox 源码解析

    Dubbox,作为一款基于Spring的RPC框架,由当当网开源,是Java开发者们在构建分布式系统时常常选用的工具。它不仅集成了Apache的Dubbo,还包含了更多的扩展功能,如RESTful支持、Hessian2协议等。本文将深入探讨...

    struts1项目代码

    Struts1是一个经典的Java Web开发框架,由Apache软件基金会维护,它基于Model-View-Controller(MVC)设计模式,极大地简化了Java Servlet和JSP的开发。在本项目中,“struts1项目代码”提供了从头到尾的实现,包括...

    dangdang网_html

    7. **数据清洗与存储**:对抓取的数据进行清洗(去除无关字符、统一格式等),然后存储到数据库(如MySQL、MongoDB)或文件系统(如CSV、JSON)。 8. **并发处理**:为了提高效率,可能需要并行抓取多个网页,可以...

Global site tag (gtag.js) - Google Analytics