`
chiyx
  • 浏览: 274817 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

一种分布式系统下的自增主键实现方法

    博客分类:
  • JAVA
阅读更多
在分布式系统中大多数存在着如下的架构形式:



系统的被逻辑分为前台应用和数据库两个部分,前台应用通过统一的数据访问层对数据库进行读写操作,前台应用会部署在多台机器上,数据库系统则采用分库分表的形式进行部署。

由此引发的一个问题是,当需要对一个逻辑上的表TABLE1(物理上被分为多个表,形如:TABLE1_0000,TABLE1_0001)采用统一的自增主键时,则会遇到困难,因为采用了分表的策略将无法采用数据库自带的主键生成机制(采用数据库自增主键将使得每张物理表的主键彼此独立)。

在此提供一个分布式的主键生成方案:

1.使用独立的一张表保存,如ids来保存最小未被使用的id值,该表每条记录对应一个业务表的id使用,该表有两个字段key, value, key对应于每个业务表,value是相应的id值
2.每当前台应用初始化的时候,就从该表中读取出value,同时将value + 100后写回ids表中。(表示从value - value+99(该值可以根据实际情况进行设置,越大值回写数据的操作越少,但是若应用启动频繁则id浪费较多) 这个区间内的id值将由该台应用独自使用)。
3.使用两个变量来辅助ID的生成,nextId:下一个Id的值, maxId:当前允许的最大Id,当有生成Id请求时,首先判断 nextId > maxId,若条件成立,则重新执行2中的步骤从ids表中读取并更新value,然后将value赋值给nextId,将maxId赋值为value+99,将nextId加一,并返回旧的nextId的值。(注:增加nextId值的时候需要进行线程同步)


  • 大小: 71.3 KB
  • 大小: 94.3 KB
分享到:
评论

相关推荐

    分布式数据库唯一主键设计

    1. 自增主键:这是单机数据库常见的主键生成方式,但在分布式环境中,自增可能会导致主键冲突。为解决此问题,可以使用全局自增序列,如Twitter的Snowflake算法,它结合时间戳、工作节点ID和序列号生成全局唯一的64...

    mysql雪花算法生成唯一整型ID主键的实现方法

    雪花算法是一种分布式ID生成策略,由Twitter开源,其设计目标是在分布式系统中生成具有全局唯一性、有序性和高并发性的ID。在MySQL中实现雪花算法,主要是通过自定义函数来模拟这个过程。 首先,我们需要创建一个名...

    Go-GolangMysql实现的分布式ID生成服务

    传统的递增ID在多节点环境下难以满足这个需求,因此需要设计一种能够跨节点生成唯一ID的机制。 ### 2. 数据库自增ID的局限性 MySQL中的自增ID通常适用于单机环境,当数据库扩展到分布式集群时,自增ID的局限性显现...

    分布式系统中唯一ID的生成方法共3页.pdf.zip

    以下是关于分布式系统中唯一ID生成方法的一些详细知识: 1. **时间戳序列化**: - 常见的简单方法是利用时间戳作为ID的基础,比如毫秒级或纳秒级的时间戳。这种方法简单易行,但可能会因为时钟同步问题导致ID重复...

    细聊分布式ID生成方法.pdf

    利用数据库提供的自增功能是一种简单有效的解决方案。例如,MySQL提供了`AUTO_INCREMENT`属性,可以自动为表中的某列生成递增序列号。这种方式适用于单机环境或者小型分布式系统。 - **优点**:实现简单,无需额外...

    java快速ID自增器

    3. **分布式ID生成器**:如Snowflake算法,它是由Twitter开源的一种分布式ID生成方案。通过时间戳、工作机器ID和序列号三部分组合,可以生成全局唯一的ID,而且排序性好。在Java中,可以使用诸如Snowflake或者其变种...

    主键自增功能测试报告1

    主键自增功能是数据库设计中常见的一种特性,它自动为新插入的记录生成唯一的标识符。本测试报告详细描述了对这一功能的全面测试,涵盖了各种可能的场景和异常情况,以确保其稳定性和正确性。 ### 实验环境 测试在...

    应用级自增ID的生成

    1. **Snowflake算法**:这是一种常见的分布式ID生成策略,由Twitter开源。它通过时间戳、工作节点ID和序列号三部分组成,确保全局唯一性。然而,这里的描述并没有明确提及Snowflake,而是暗示了可能有其他自定义实现...

    Python+MongoDB自增键值的简单实现

    本文将详细介绍一种使用Python和MongoDB实现自增键值的简单方法。 首先,我们需要理解问题的背景。在开发一个测试工具箱时,作者遇到了要在MongoDB中创建一个bug记录系统的需求。这个系统需要一个自增的ID字段来...

    分布式系统ID生成器解决方案.docx

    分布式系统中的ID生成是一个至关重要的任务,特别是在大型的复杂分布式环境中,如美团点评的金融、支付、餐饮等产品。随着数据量的不断增长,数据库的分库分表策略需要一个全局唯一的ID来标识每条记录,传统的数据库...

    java 分布式 代码生成器 唯一ID

    传统的单机ID生成方式,如自增主键,无法满足这种需求,因此分布式代码生成器应运而生。 1. **雪花算法(Snowflake)**:这是Twitter开源的一种生成唯一ID的方法。雪花算法将ID分为三部分:时间戳(41位)、工作机器...

    得到自增列的下一个会插入的id

    在数据库管理中,自增列(Identity Column)是一种特殊的字段类型,它会在每次新记录插入时自动递增其值,通常用于创建主键或唯一标识符。标题中的“得到自增列的下一个会插入的id”指的是获取某个特定表中自增列的...

    xsequence-master.zip

    MySQL的自增主键在单机环境下能很好地生成序列号,但在分布式系统中,多台服务器无法共享同一个自增ID。此项目可能利用了MySQL的分布式锁或分布式事务(如两阶段提交)来实现跨服务器的序列号生成一致性。 3. **...

    数据库主键设计原则 设计数据库主健

    ### 数据库主键设计原则详解 #### 一、引言 在数据库设计中,主键的...而对于中小型应用,使用整型自增字段是一种高效、简单的方案。无论哪种方案,都需充分评估其优缺点,确保既能满足当前需求又能适应未来的扩展。

    数据库主键生成资料资源

    4. 雪花算法:一种分布式ID生成策略,如Twitter的Snowflake算法,结合时间戳、工作节点ID和序列号,生成具有足够大的取值范围且有序的ID,适用于大规模分布式系统。 5. 用户自定义:允许用户输入特定值,但这需要...

    全局自增ID设计方案

    因此,如何设计一种高效的全局自增ID生成方案成为了一个重要的技术问题。 #### 方案调研与实践 **一、数据库自增ID方案** ##### Flicker方案解析 Flicker提出的解决方案是利用MySQL自身的auto_increment特性来...

    DataFieldMaxValueIncrementer 管理主键

    在Java开发中,尤其是在分布式系统环境下,如何有效地生成和管理主键是一项挑战。`DataFieldMaxValueIncrementer` 是一个用于管理主键自增策略的工具,它允许我们在多个节点之间协调主键的生成,以避免冲突。本文将...

    beego-self-increment代码.zip

    Go(Golang)是Google推出的一种静态类型、编译型、并发型、垃圾回收的编程语言,强调简洁和高效的性能。Beego框架则是基于Go语言的一个全功能Web开发框架,它包含了路由、中间件、ORM(对象关系映射)、模板渲染等...

    分布式锁原理介绍.pptx

    **分布式锁**是一种用于在分布式系统中控制多个节点对共享资源进行访问的技术。它主要用于解决多节点间并发访问同一资源时产生的竞争问题,确保资源的一致性和完整性。 #### 二、分布式锁的核心概念 1. **互斥特性...

    hibernate主键生成策略

    而对于MySQL和SQLServer,则利用它们的`identity`特性(即自增主键)。这种策略非常常见,因为它将主键生成的工作完全交给数据库处理,简化了应用程序的复杂度。 #### 2. Assigned `Assigned`策略意味着在插入数据...

Global site tag (gtag.js) - Google Analytics