`
gao_xianglong
  • 浏览: 467753 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
社区版块
存档分类
最新评论

轻量级Mysql分库分表(Sharding)中间件——Kratos

阅读更多

Github:https://github.com/gaoxianglong/kratos

 

kratos简介

轻量级Mysql分库分表(Sharding)中间件,丰富的Sharding算法支持(2类4种分片算法),能够方便DBA实现库的水平扩容和降低数据迁移成本。Kratos站在巨人的肩膀上(SpringJdbc),采用与应用集成架构,放弃通用性,只为换取更好的执行性能与降低分布式环境下外围系统的宕机风险。

kratos的优点

  • 动态数据源的无缝切换;
  • master/slave一主一从读写分离;
  • 单线程读重试(取决于的数据库连接池是否支持,推荐使用淘宝Druid);
  • 单独且友好支持Mysql数据库,不支持其它RDBMS库;
  • 非Proxy架构,与应用集成,应用直连数据库,降低外围系统依赖带来的宕机风险;
  • 使用简单,侵入型低,站在巨人的肩膀上,依赖于Spring JDBC;
  • 不做真正意义上的Sql解析任务,规避Sql解析过程中由词法解析、语法解析、语义解析等操作所带来的性能延迟,仅用正则表达式解析片名和Route条件,解析过程仅耗时约<=1ms;
  • 分库分表路由算法支持2类4种分片模式,库内分片/一库一片;
  • 提供自动生成全局唯一的sequenceId的API支持;
  • 提供自动生成配置文件的支持,降低配置出错率;
  • 提供内置验证页面,方便开发、测试以及运维对执行后的sql进行验证;
  • 目标和职责定位明确,仅专注于Sharding,不支持其它多余或鸡肋功能、无需兼容通用性,因此核心代码量少、易读易维护;

kratos的分片模型

kratos支持2类4种分片算法:
  • 库内分片类型:
    • 片名连续的库内分片算法;
    • 非片名连续的库内分片算法;
  • 一库一片类型:
    • 片名连续的一库一片算法;
    • 非片名连续的一库一片算法;

kratos的使用注意事项

  • 不支持强一致性的分布式事务,但可以在业务层依赖MQ、异步操作的方式实现事物,保证最终一致性即可;
  • 不支持多表查询,所有多表查询sql,务必全部打散为单条sql逐条执行;
  • 不建议使用一些数据库统计函数、Order by语句等;
  • sql语句的第一个参数务必是路由条件;
  • 不支持sql语句中出现数据库别名;
  • 路由条件必须是整数类型;
  • 在连续分片模式下,子表后缀为符号"_"+4位整型,比如“tb_0001”——"tb_1024";
分享到:
评论
发表评论

文章已被作者锁定,不允许评论。

相关推荐

    分库分表Sharding中间件Kamike.divide.zip

    开源个人参考淘宝的TDDL分库分表思路写的一个分库分表中间件Kamike.divide. 分库分表这个是8月份左右跟淘宝的数据分析部门的架构师离哲交流的时候产生的想法,离哲推荐采用TDDL进行分库分表。 回去一看,却...

    当当开源sharding-jdbc-轻量级数据库分库分表中间件

    ### 当当开源Sharding-JDBC:轻量级数据库分库分表中间件 #### 概述 当当网近期开源了一款名为Sharding-JDBC的轻量级数据库分库分表中间件。作为一款高性能、易用性高的数据库水平分片框架,Sharding-JDBC在设计上...

    mysql分库分表sharding-jdbc-sharding-jdbc-demo.zip

    Sharding-JDBC是阿里巴巴开源的一款轻量级Java框架,它可以在不修改现有业务代码的情况下,实现数据的分布式处理。这个"mysql分库分表sharding-jdbc-sharding-jdbc-demo.zip"压缩包提供的就是一个使用Sharding-JDBC...

    基于Java语言编写的轻量级分库分表(Sharding)中间件,丰富的Sharding算法支持(2类4种分片算法).zip

    Java语言在大数据处理和分布式系统中的应用越来越广泛,特别是在数据库扩展方面,轻量级的分库分表中间件起到了至关重要的作用。本文将详细介绍一款基于Java编写的分库分表中间件,它提供了丰富的Sharding算法,以...

    分库分表 各种mysql中间件 总结(csdn)————程序.pdf

    在IT行业中,数据库扩展是解决高并发、大数据量场景下的重要策略,而“分库分表”正是其中的关键技术之一。本篇文章将对各种MySQL中间件进行总结,重点关注如何使用ShardingSphere进行分库分表以及相关的配置。首先...

    Shark分布式mysql分库分表中间件sharding领域的一站式解决方案

    Shark 分布式mysql分库分表中间件,sharding领域的一站式解决方案。具备丰富、灵活的路由算法支持,能够方便DBA实现库的水平扩容和降低数据迁移成本。shark采用应用集成架构,放弃通用性,只为换取更好的执行性能与...

    MySQL分库分表技术

    在这种背景下,MySQL的分库分表技术应运而生,旨在解决高并发、大数据量场景下的性能挑战。本篇将深入探讨分库分表的原理、应用场景以及实现策略。 **一、为什么要进行分库分表** 1. **性能提升**:当数据库中的...

    Node.js 实现的 MySQL 分表分库中间件,用于海量数据的分布式集群储存管理和高并发访问。.zip

    分表分库(Sharding)是解决大数据量和高并发问题的一种常见策略。通过将单一的大表拆分为多个小表,分散到不同的数据库服务器上,可以显著提升查询效率,降低单个节点的压力,提高系统的整体性能和可用性。在Node....

    mysql分库分表-mysql-sharding-jdbc.zip

    Sharding-JDBC 是 Apache ShardingSphere 项目的一部分,它作为轻量级 Java 框架,无需额外中间件即可接入,主要通过拦截 JDBC 的 SQL 执行流程,实现分库分表的功能。其特点包括: 1. 透明化:对应用程序来说,...

    sharding + mybatis-plus 分库分表

    Sharding-JDBC是一个轻量级的Java框架,它可以在不改变任何数据库语义和业务代码的情况下,实现数据库的水平拆分,从而提高系统的并行处理能力和数据读写性能。 Sharding-JDBC的核心功能包括分片策略、数据路由、...

    Java+Springboot+mybatis+sharding jdbc 实现分库分表

    ShardingJDBC作为一个轻量级的Java库,能够在不修改现有数据库架构和业务代码的情况下,仅通过配置即可实现分库分表。它具备良好的兼容性,可以与任何Java应用无缝集成,包括但不限于Spring、MyBatis等。在本项目中...

    springMvc Mybatis mysql 分库分表-shardingJdbc.zip

    Spring MVC、MyBatis和MySQL是常见的Web开发框架与数据库系统,而ShardingJDBC则是阿里巴巴开源的一款分布式数据库中间件,用于实现数据库的分库分表。本项目结合了这些技术,旨在提供一种高效且可扩展的解决方案。 ...

    sharding-jdbc之——分库分表实例完整源码

    Sharding-JDBC是阿里巴巴开源的轻量级Java框架,它可以在不修改现有数据库的情况下,对数据库进行水平扩展,实现数据的分布式存储。这里的"实例完整源码"意味着提供了实际操作的代码示例,可以帮助读者更好地理解和...

    sharding分库分表demo

    首先,SpringBoot是一个基于Spring框架的轻量级启动器,它简化了初始化和配置过程,使得开发人员可以快速构建微服务或Web应用程序。在本示例中,SpringBoot作为整个系统的基石,提供了一体化的运行环境,包括自动...

    ShardingJDBC分库分表mysql数据库实战小滴新版

    课程内容丰富,涵盖了 MySQL 架构演变升级、分库分表的优缺点、常见策略及中间件介绍等多个方面。 课程首先介绍了分库分表的背景,包括 MySQL 数据库架构演变历史以及业务增长下数据库性能优化思路。接着深入探讨了...

    集成sharding-jdbc实现分库分表.zip

    Sharding-JDBC作为阿里巴巴开源的一款轻量级数据库中间件,它提供了一种无侵入的分库分表解决方案,非常适合于单体项目的数据库扩展。在这个"集成sharding-jdbc实现分库分表.zip"的压缩包中,我们可以深入学习如何将...

    MySQL分库分表-sharding_demo.zip

    MySQL的分库分表是一种常见的数据库扩展策略,用于解决单个数据库系统在处理大量数据和高并发场景下性能瓶颈的问题。本示例"sharding_demo"将深入探讨如何实现这一策略,通过创建分布式数据库环境来提升系统的可扩展...

    基于mybatis插件实现轻量级分库分表方案-亿级数据mysql存储解决方案-mybatis-sharding.zip

    MyBatis-Sharding 是一种基于 MyBatis 的轻量级分库分表解决方案,它可以帮助开发者有效地解决亿级数据量下的 MySQL 存储问题。下面将详细介绍 MyBatis-Sharding 的核心概念、实现原理以及如何在实际项目中进行应用...

    分库分表shardingjdbc

    ### 分库分表shardingjdbc知识点详述 #### 一、简介 Apache ShardingSphere 是一个分布式的数据库中间件项目,旨在提供简单易用、高度可扩展的数据分片解决方案。ShardingSphere 支持多种模式,包括 JDBC 模式、...

Global site tag (gtag.js) - Google Analytics