`
y806839048
  • 浏览: 1120921 次
  • 性别: Icon_minigender_1
  • 来自: 上海
文章分类
社区版块
存档分类
最新评论

幂等处理几种方案总结(包括消息总线的幂等处理)

阅读更多

一、背景

1. 前端重复提交选中的数据,应该后台只产生对应这个数据的一个反应结果。
2. 我们发起一笔付款请求,应该只扣用户账户一次钱,当遇到网络重发或系统bug重发,也应该只扣一次钱;
3. 发送消息,也应该只发一次,同样的短信发给用户,用户会哭的;
4. 创建业务订单,一次业务请求只能创建一个,创建多个就会出大问题。

二、什么事幂等

一个操作,不论执行多少次,产生的效果和返回的结果都是一样的

三、实现幂等有哪些思路

1. 查询操作

查询一次和查询多次,在数据不变的情况下,查询结果是一样的。select是天然的幂等操作

2. 删除操作

删除操作也是幂等的,删除一次和多次删除都是把数据删除。(注意可能返回结果不一样,删除的数据不存在,返回0,删除的数据多条,返回结果多个)

3.唯一索引,防止新增脏数据

比如:支付宝的资金账户,支付宝也有用户账户,每个用户只能有一个资金账户,怎么防止给用户创建资金账户多个,那么给资金账户表中的用户ID加唯一索引,所以一个用户新增成功一个资金账户记录

要点:

唯一索引或唯一组合索引来防止新增数据存在脏数据

(当表存在唯一索引,并发时新增报错时,再查询一次就可以了,数据应该已经存在了,返回结果即可)

4. token机制,防止页面重复提交

业务要求:

页面的数据只能被点击提交一次

发生原因:

由于重复点击或者网络重发,或者nginx重发等情况会导致数据被重复提交

解决办法:

集群环境:采用token加redis(redis单线程的,处理需要排队)

单JVM环境:采用token加redis或token加jvm内存

处理流程:

1. 数据提交前要向服务的申请token,token放到redis或jvm内存,token有效时间(页面初始化的时候就请求服务生成token,返回token,请求的时候token作为参数带入,和服务端校验,服务端校验后和删除)

2. 提交后后台校验token,同时删除token,生成新的token返回

token特点:

要申请,一次有效性,可以限流

注意:redis要用删除操作来判断token,删除成功代表token校验通过,如果用select+delete来校验token,存在并发问题,不建议使用

5. 悲观锁

获取数据的时候加锁获取

select * from table_xxx where id='xxx' for update;

注意:id字段一定是主键或者唯一索引,不然是锁表,会死人的

悲观锁使用时一般伴随事务一起使用,数据锁定时间可能会很长,根据实际情况选用

6. 乐观锁

乐观锁只是在更新数据那一刻锁表,其他时间不锁表,所以相对于悲观锁,效率更高。

乐观锁的实现方式多种多样可以通过version或者其他状态条件:

1). 通过版本号实现(增加版本号的查询条件,查得到才操作数据)

update table_xxx set name=#name#,version=version+1 where version=#version#

2). 通过条件限制

update table_xxx set avai_amount=avai_amount-#subAmount# where avai_amount-#subAmount# >= 0

要求:quality-#subQuality# >= ,这个情景适合不用版本号,只更新是做数据安全校验,适合库存模型,扣份额和回滚份额,性能更高

注意:乐观锁的更新操作,最好用主键或者唯一索引来更新,这样是行锁,否则更新时会锁表,上面两个sql改成下面的两个更好

update table_xxx set name=#name#,version=version+1 where id=#id# and version=#version#

update table_xxx set avai_amount=avai_amount-#subAmount# where id=#id# and avai_amount-#subAmount# >= 0

7. 分布式锁

还是拿插入数据的例子,如果是分布是系统,构建全局唯一索引比较困难,例如唯一性的字段没法确定,这时候可以引入分布式锁,通过第三方的系统(redis或zookeeper),在业务系统插入数据或者更新数据,获取分布式锁,然后做操作,之后释放锁,这样其实是把多线程并发的锁的思路,引入多多个系统,也就是分布式系统中得解决思路。

要点:某个长流程处理过程要求不能并发执行,可以在流程执行之前根据某个标志(用户ID+后缀等)获取分布式锁,其他流程执行时获取锁就会失败,也就是同一时间该流程只能有一个能执行成功,执行完成后,释放分布式锁(分布式锁要第三方系统提供)

8. select + insert

并发不高的后台系统,或者一些任务JOB,为了支持幂等,支持重复执行,简单的处理方法是,先查询下一些关键数据,判断是否已经执行过,在进行业务处理,就可以了

注意:核心高并发流程不要用这种方法

9. 状态机幂等

在设计单据相关的业务,或者是任务相关的业务,肯定会涉及到状态机(状态变更图),就是业务单据上面有个状态,状态在不同的情况下会发生变更,一般情况下存在有限状态机,这时候,如果状态机已经处于下一个状态,这时候来了一个上一个状态的变更,理论上是不能够变更的,这样的话,保证了有限状态机的幂等。

注意:订单等单据类业务,存在很长的状态流转,一定要深刻理解状态机,对业务系统设计能力提高有很大帮助

10. 对外提供接口的api如何保证幂等

如银联提供的付款接口:需要接入商户提交付款请求时附带:source来源,seq序列号

source+seq在数据库里面做唯一索引,防止多次付款,(并发时,只能处理一个请求
)---对外的幂等性也是组合几个字段结果存在数据库中做为唯一索引(不用hashcode,不一定正向逆向相等)

 

对比消息总线的幂等处理

https://yuhuiblog695685688425687986842568269.iteye.com/admin/blogs/2432760

分享到:
评论

相关推荐

    消息总线java实现

    在软件开发中,消息总线是一种重要的设计模式,它允许组件之间通过解耦的方式进行通信。消息总线的实现通常涉及消息的生产、传输和消费,以及相应的消息队列和调度策略。本作业将深入探讨如何使用Java语言来实现一个...

    企业服务总线ESB技术设计方案.pdf

    该方案定义了ESB平台的功能性需求,包括消息传输、安全管理、消息处理和服务管理等几个关键功能。消息传输是指在ESB平台上实现的消息交换机制,用于实现应用系统和服务之间的数据交换和共享。安全管理是指对ESB平台...

    消息总线文档管理

    消息总线,也称为消息中间件,是一种软件组件,用于在分布式系统中的不同应用之间传递信息,实现了应用程序之间的解耦。在这个主题中,我们将深入探讨消息总线的工作原理、常见类型、优势及其实现方法。 首先,我们...

    几种ESB(企业服务总线)架构介绍.pdf

    SOA描述了一种IT基础设施的应用集成模型,其中的软构件集是以一种定义清晰的层次化结构相互耦合,其中,一个ESB是一个预先组装的SOA实现,它包含了实现SOA分层目标所必需的基础功能部件。 ESB的出现改变了传统的...

    基于层次消息总线的体系结构

    - **高并发处理系统**:在需要处理大量并发请求的场景中,HMB风格能够通过消息总线高效地分发和处理消息。 - **复杂系统重构**:对于需要进行大规模重构的复杂系统,HMB风格的灵活性和扩展性使其成为理想的选择。 #...

    几种通信总线详尽总结.doc

    "几种通信总线详尽总结" 本文将对嵌入式系统设计的串行总线、驱动器和物理接口进行详细介绍,并为总线最优选择提供指导和性能比对。 1. 串行总线的优点 串行总线相比于并行总线的主要优点是要求的线数较少。例如...

    企业消息总线(ESB)源代码

    在提供的源代码中,"企业消息总线(ESB).sln"可能是一个Visual Studio解决方案文件,包含了项目的所有组成部分。"Publisher"和"Consumer"可能分别代表消息发布者和消息消费者。在消息队列模型中,发布者将消息放入...

    消息系统总线需求模板.docx

    本文档将详细介绍消息系统总线的需求模板,包括其总体需求、功能性需求以及协议要求等。 #### 二、消息总体需求 **1. 总体需求结构图** 在设计消息系统总线时,首先需要明确的是系统的总体需求结构。这一部分通常...

    几种通信总线详尽总结.pdf

    《几种通信总线详尽总结》 通信总线在现代电子设备中扮演着至关重要的角色,它们是设备间数据传输的桥梁。本文主要探讨了几种常见的集成串行总线,包括通用异步接收器传输总线(UART)、串行通信接口(SCI)、同步外设...

    软件体系结构 消息总线风格 文档管理

    消息总线风格的软件体系结构是一种设计模式,它通过一个中心化的消息传递机制连接各个组件,使得组件之间可以松耦合地进行通信。这种模式的核心是消息总线,它充当组件间的中介,处理消息的路由、转换和传递。消息...

    个人总结一下总线的资料

    PCI(Peripheral Component Interconnect)是一种局部总线标准,设计用于高速连接计算机中的各种外围设备与中央处理器。PCI总线具有以下特点: - **低CPU占用率**:通过DMA(Direct Memory Access)技术减少CPU的...

    一种基于VPX总线的数据处理平台设计.pdf

    本文介绍了一种新型航电系统实时数据处理平台的设计方案,该方案基于VPX总线和飞思卡尔PowerPC双核处理器技术构建,并采用RapidIO总线作为数据总线,千兆以太网作为控制总线。这样的数据处理平台具有高速的数据传输...

    ESB企业服务总线解决方案

    作为一种中间件技术,ESB融合了传统中间件的特性与XML、Web服务等新兴技术,致力于实现跨应用的消息和信息的精确、高效及安全传递。不同于传统的点对点通信方式,ESB采用松散耦合的服务架构,通过标准接口促进服务...

    ESB企业服务总线解决方案剖析(2)

    企业服务总线(Enterprise Service Bus,ESB)是一种中间件解决方案,旨在解决企业内部不同系统间集成的复杂性。它以消息传递为核心,通过标准化的消息格式和协议,实现不同应用程序和服务之间的通信。在本文中,...

    2021年现场总线控制系统行业生产五种事故现场处置方案.docx

    10. **后期处理与总结**:事故处理完毕后,预案还包括对事件的调查、总结经验教训、改进措施以及预案的更新等环节。 现场总线控制系统行业通过这样的事故现场处置方案,不仅可以提高企业的安全管理水平,还能有效...

    实用工业自动化现场总线干扰处理方法总结

    ### 实用工业自动化现场总线干扰处理方法总结 在工业自动化领域中,现场总线技术的应用日益广泛。其中,ETHERCAT、CANOPEN等是常见的工业现场总线标准。然而,在实际应用过程中,现场总线系统可能会遇到各种干扰...

Global site tag (gtag.js) - Google Analytics