`
blueyanghualong
  • 浏览: 227774 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

【转】分布式环境中并发问题

 
阅读更多

 

在分布式环境中,处理并发问题就没办法通过操作系统和JVM的工具来解决,那么在分布式环境中,可以采取一下策略和方式来处理:

避免并发
时间戳
串行化
数据库
行锁
统一触发途径
避免并发

在分布式环境中,如果存在并发问题,那么很难通过技术去解决,或者解决的代价很大,所以我们首先要想想是不是可以通过某些策略和业务设计来避免并发。比如通过合理的时间调度,避开共享资源的存取冲突。另外,在并行任务设计上可以通过适当的策略,保证任务与任务之间不存在共享资源,比如在以前博文中提到的例子,我们需要用多线程或分布式集群来计算一堆客户的相关统计值,由于客户的统计值是共享数据,因此会有并发潜在可能。但从业务上我们可以分析出客户与客户之间 数据是不共享的,因此可以设计一个规则来保证一个客户的计算工作和数据访问只会被一个线程或一台工作机完成,而不是把一个客户的计算工作分配给多个线程去 完成。这种规则很容易设计,例如可以采用hash算法。

时间戳

分布式环境中并发是没法保证时序的,无论是通过远程接口的同步调用或异步消息,因此很容易造成某些对时序性有要求的业务在高并发时产生错误。比如系统A需要把某个值的变更同步到系统B,由于通知的时序问题会导致一个过期的值覆盖了有效值。对于这个问题,常用的办法就是采用时间戳的方式,每次系统A发送变更给系统B的时候需要带上一个能标示时序的时间戳,系统B接到通知后会拿时间戳与存在的时间戳比较,只有当通知的时间戳大于存在的时间戳,才做更新。这种方式比较简单,但关键在于调用方一般要保证时间戳的时序有效性。

串行化

有的时候可以通过串行化可能产生并发问题操作,牺牲性能和扩展性,来满足对数据一致性的要求。比如分布式消息系统就没法保证消息的有序性,但可以通过变分布式消息系统为单一系统就可以保证消息的有序性了。另外,当接收方没法处理调用有序性,可以通过一个队列先把调用信息缓存起来,然后再串行地处理这些调用。

数据库

分布式环境中的共享资源不能通过Java里同步方法或加锁来保证线程安全,但数据库是分布式各服务器的共享点,可以通过数据库的高可靠一致性机制来满足需求。比如,可以通过唯一性索引来解决并发过程中重复数据的生产或重复任务的执行;另外有些更新计算操作也尽量通过sql来完成,因为在程序段计算好后再去更新就有可能发生脏复写问题,但通过一条sql来完成计算和更新就可以通过数据库的锁机制来保证update操作的一致性。

行锁

有的事务比较复杂,无法通过一条sql解决问题,并且有存在并发问题,这时就需要通过行锁来解决,一般行锁可以通过以下方式来实现:

对于Oracle数据库,可以采用select ... for update方式。这种方式会有潜在的危险,就是如果没有commit就会造成这行数据被锁住,其他有涉及到这行数据的任务都会被挂起,应该谨慎使用
在表里添加一个标示锁的字段,每次操作前,先通过update这个锁字段来完成类似竞争锁的操作,操作完成后在update锁字段复位,标示已归还锁。这种方式比较安全,不好的地方在于这些update锁字段的操作就是额外的性能消耗
统一触发途径

当一个数据可能会被多个触发点或多个业务涉及到,就有并发问题产生的隐患,因此可以通过前期架构和业务设计,尽量统一触发途径,触发途径少了一是减少并发的可能,也有利于对于并发问题的分析和判断。
分享到:
评论

相关推荐

    分布式事务的并发控制

    在分布式环境中,死锁可能是由多个事务相互等待对方释放资源引起的。监测和解决死锁通常需要全局的信息和额外的协调步骤。 带复制的事物处理是分布式系统中保证数据一致性和可靠性的关键技术。复制数据可以提高系统...

    分布式数据库并发控制

    每个节点上的事务(T1、T2等)可能对不同部分的数据进行操作,这就需要一种机制来确保在分布式环境下的并发控制仍然能够保证数据的一致性和完整性。 为了解决这些问题,我们需要引入一些并发控制技术: 1. **锁定...

    SpringBoot 使用 Redis 分布式锁解决并发问题.docx

    分布式锁是一种确保在分布式环境中的资源互斥访问的方法,使得在同一时刻只有一个服务实例能够执行特定操作。分布式锁的实现方式有多种,包括数据库乐观锁、基于Redis的分布式锁以及基于ZooKeeper的分布式锁。 本文...

    直击面试~分布式锁解决并发安全问题

    总结来说,分布式锁是解决并发安全问题的有效手段,通过使用如Zookeeper这样的分布式协调服务,可以确保在分布式环境中的数据一致性。理解并能灵活运用分布式锁,对于Java程序员特别是从事互联网架构工作的开发者而...

    β-PSML语言在WI的分布式环境中的应用.pdf

    β-PSML语言在WI的分布式环境中的应用涉及到分布式系统、网络计算、Web智能、智慧Web以及分布式问题解决等多个知识点。下面对这些概念进行详细的阐述: 1. 分布式系统: 分布式系统是由多个独立的计算机通过网络...

    基于分布式数据库系统的并发控制方法应用研究.pdf

    分布式数据库系统的并发控制方法是现代信息技术领域中的一个重要研究方向,主要目标是保证在分布式环境下多个用户或进程同时访问数据库时的正确性和一致性。本文详细探讨了这一领域的理论基础和技术实践。 首先,...

    分布式环境下的系统集成

    分布式环境下的系统集成是现代企业IT架构中的重要组成部分,它涉及到多个独立运行的系统通过网络协同工作,以实现数据共享和服务交互。SOA(Service-Oriented Architecture,面向服务架构)是实现这种集成的一种关键...

    java面试题_高并发、高可用、分布式(9题)

    在Java面试中,高并发、高可用和分布式是考察开发者技术深度和广度的...通过深入理解并掌握以上知识点,开发者能够更好地应对Java面试中关于高并发、高可用和分布式的问题,也能在实际项目中构建出高效、稳定的系统。

    18.削峰填谷与应用间解耦:分布式消息中间件在分布式环境下并发流量控制的应用_V20240119.pdf

    1. **脑裂问题**:在分布式环境中,可能会遇到所谓的“脑裂”问题,即系统状态分裂,导致服务不可用。需要加强监控和预警机制。 2. **消费线程数问题**:合理设置消费线程的数量是非常重要的。过多可能导致无法达到...

    基于ODL的分布式任务并发协调一致的研究.pdf

    本文主要探讨了基于ODL(OpenDaylight)的分布式任务并发协调...同时,本文也强调了在SDN的研究与开发中,需要关注分布式环境下并发控制和数据一致性两个核心问题,这对于实现高效、动态和可扩展的网络管理至关重要。

    详解java解决分布式环境中高并发环境下数据插入重复问题

    java解决分布式环境中高并发环境下数据插入重复问题 本文主要介绍了java解决分布式环境中高并发环境下数据插入重复问题的解决方案。该问题是指在高并发环境下,服务器同时接受到的重复请求,导致数据重复插入或修改...

    laravel分布式并发锁

    在 Laravel 中,我们可以使用各种类型的锁,如 Redis 锁、数据库锁等,来实现分布式环境中的并发控制。 1. Redis 锁:Redis 是一个内存数据库,提供高效的数据存储和检索功能,同时支持多种数据结构,如字符串、...

    高并发分布式解决方案

    在分布式环境中,多个节点之间需要达成一致意见,例如确定一个值或决定执行某个操作。PAXOS算法通过选举一个权威节点(领导者)来协调各个节点的决策,确保即使在部分网络故障的情况下也能达到一致性。ZOOKEEPER,是...

    消息中间件在分布式系统中的作用介绍

    通过消息传递和消息排队模型,消息中间件可以在分布式环境下扩展进程间的通信,支持应用程序或组件之间进行可靠的异步通信,从而降低系统间的耦合度,提高系统的可扩展性和可用性。 在分布式系统中,消息中间件的...

    C#实操控制并发之Lock和Redis分布式锁

    本文将深入探讨C#中如何使用Lock和Redis分布式锁来解决并发问题,以秒杀系统为例进行阐述。 首先,让我们理解什么是并发控制。并发控制是指在多线程环境下确保数据的一致性和完整性,防止多个线程同时访问同一资源...

    SOA实践者说:分布式环境下的系统集成实例源码ch2

    《SOA实践者说:分布式环境下的系统集成实例源码》是关于企业服务总线(Service-Oriented Architecture,简称SOA)在分布式系统中的应用和实现的深度探讨。SOA是一种架构风格,旨在通过独立的服务组件来构建可重用、...

    SQL Server分布式数据库的并发控制和故障恢复 (1).pdf

    SQL Server是专为分布式客户/服务器环境设计的数据库管理系统,它提供了一套系统的安全保护机制,具有高的安全性、完整性、事务控制和故障恢复的数据控制能力。 SQL Server分布式数据库的并发控制机制是利用封锁...

    分布式数据库中的并发控制PPT学习教案.pptx

    本教程主要涵盖了并发控制的基本概念、机制和技术,特别关注了分布式环境下的挑战。 首先,**并发控制**是确保在多用户同时访问数据库时,各个事务的执行结果如同它们依次执行一样,即保持事务的**可串行化**。**可...

    分布式并发控制技术.pdf

    然而,在分布式环境下,两段锁协议并不能保证系统中不发生死锁。针对这一点,分布式系统中可能会采用不同的锁技术。在没有数据重复存储的情况下,可以使用分布式锁技术,每个节点设有局部锁管理器,负责处理本地数据...

    分布式环境下限流方案的实现redis RateLimiter Guava,Token Bucket, Leaky Bucket1

    【分布式环境下限流方案的实现】在现代高并发的分布式系统中,限流是一个至关重要的技术,用于防止系统被过量的请求淹没,确保服务的稳定性和可用性。本篇文章主要探讨了在分布式环境中,如何利用Redis、Guava的...

Global site tag (gtag.js) - Google Analytics