`

分布式锁原理及实现

 
阅读更多

什么是分布式锁?

控制分布式架构中多个模块访问的优先级

要介绍分布式锁,首先要提到与分布式锁相对应的是线程锁、进程锁。

线程锁:主要用来给方法、代码块加锁。当某个方法或代码使用锁,在同一时刻仅有一个线程执行该方法或该代码段。线程锁只在同一JVM中有效果,因为线程锁的实现在根本上是依靠线程之间共享内存实现的,比如synchronized是共享对象头,显示锁Lock是共享某个变量(state)。

进程锁:为了控制同一操作系统中多个进程访问某个共享资源,因为进程具有独立性,各个进程无法访问其他进程的资源,因此无法通过synchronized等线程锁实现进程锁。

分布式锁:当多个进程不在同一个系统中,用分布式锁控制多个进程对资源的访问。

分布式锁实现方式

1.基于数据库实现分布式锁

基于数据库表

往数据库中插入数据,插入成功获取访问资源的锁,访问完成,删除数据库中对应的记录,释放访问资源的锁
要实现分布式锁,最简单的方式可能就是直接创建一张锁表,然后通过操作该表中的数据来实现了。

当我们要锁住某个方法或资源时,我们就在该表中增加一条记录,想要释放锁的时候就删除这条记录。

创建这样一张数据库表:

 
image


当我们想要锁住某个方法时,执行以下SQL:

 
image


创建表示我们对method_name做了唯一性约束,这里如果有多个请求同时提交到数据库的话,数据库会保证只有一个操作可以成功,那么我们就可以认为操作成功的那个线程获得了该方法的锁
当方法执行完毕之后,想要释放锁的话,需要执行以下Sql:

 
image


上面这种实现有以下几个问题:
1、这把锁强依赖数据库的可用性,数据库是一个单点,一旦数据库挂掉,会导致业务系统不可用。

 

2、这把锁没有失效时间,一旦解锁操作失败,就会导致锁记录一直在数据库中,其他线程无法再获得到锁。

3、这把锁只能是非阻塞的,因为数据的insert操作,一旦插入失败就会直接报错。没有获得锁的线程并不会进入排队队列,要想再次获得锁就要再次触发获得锁操作。

4、这把锁是非重入的,同一个线程在没有释放锁之前无法再次获得该锁。因为数据中数据已经存在了。
解决方法:

  1. 数据库是单点?搞两个数据库,数据之前双向同步。一旦挂掉快速切换到备库上
  2. 没有失效时间?只要做一个定时任务,每隔一定时间把数据库中的超时数据清理一遍。
  3. 非阻塞的?搞一个while循环,直到insert成功再返回成功。
  4. 非重入的?在数据库表中加个字段,记录当前获得锁的机器的主机信息和线程信息,那么下次再获取锁的时候先查询数据库,如果当前机器的主机信息和线程信息在数据库可以查到的话,直接把锁分配给他就可以了。

存在的问题:

  • 删除记录失败,会导致其他进程无法获取访问资源的锁
  • insert记录并不是重入锁

解决方法:

判断当前获取的锁是不是当前节点的
每个节点或者进程加一个id,删除失败获取节点的id是不是等于当前节点的id,是的话,可以继续去做,即可重入锁

基于数据库排他锁

除了可以通过增删操作数据表中的记录以外,其实还可以借助数据中自带的锁来实现分布式的锁。

我们还用刚刚创建的那张数据库表。可以通过数据库的排他锁来实现分布式锁。 基于MySql的InnoDB引擎,可以使用以下方法来实现加锁操作:

 

 
image

 

在查询语句后面增加for update,数据库会在查询过程中给数据库表增加排他锁(这里再多提一句,InnoDB引擎在加锁的时候,只有通过索引进行检索的时候才会使用行级锁,否则会使用表级锁。这里我们希望使用行级锁,就要给method_name添加索引,值得注意的是,这个索引一定要创建成唯一索引,否则会出现多个重载方法之间无法同时被访问的问题。重载方法的话建议把参数类型也加上。)。当某条记录被加上排他锁之后,其他线程无法再在该行记录上增加排他锁。

我们可以认为获得排它锁的线程即可获得分布式锁,当获取到锁之后,可以执行方法的业务逻辑,执行完方法之后,再通过以下方法解锁:

 

 
image

 

通过connection.commit()操作来释放锁。
这种方法可以有效的解决上面提到的无法释放锁和阻塞锁的问题。

阻塞锁? for update语句会在执行成功后立即返回,在执行失败时一直处于阻塞状态,直到成功。
锁定之后服务宕机,无法释放?使用这种方式,服务宕机之后数据库会自己把锁释放掉。
但是还是无法直接解决数据库单点和可重入问题。

这里还可能存在另外一个问题,虽然我们对method_name 使用了唯一索引,并且显示使用for update来使用行级锁。但是,MySql会对查询进行优化,即便在条件中使用了索引字段,但是否使用索引来检索数据是由 MySQL 通过判断不同执行计划的代价来决定的,如果 MySQL 认为全表扫效率更高,比如对一些很小的表,它就不会使用索引,这种情况下 InnoDB 将使用表锁,而不是行锁。如果发生这种情况就悲剧了

2. 基于Zookeeper实现分布式锁

ZooKeeper是一个为分布式应用提供一致性服务的开源组件,它内部是一个分层的文件系统目录树结构,规定同一个目录下只能有一个唯一文件名。基于ZooKeeper实现分布式锁的步骤如下:

(1)创建一个目录mylock;
(2)线程A想获取锁就在mylock目录下创建临时顺序节点;
(3)获取mylock目录下所有的子节点,然后获取比自己小的兄弟节点,如果不存在,则说明当前线程顺序号最小,获得锁;
(4)线程B获取所有节点,判断自己不是最小节点,设置监听比自己次小的节点;
(5)线程A处理完,删除自己的节点,线程B监听到变更事件,判断自己是不是最小的节点,如果是则获得锁。
可以直接使用zookeeper第三方库Curator客户端,这个客户端中封装了一个可重入的锁服务。

 
image

 

Curator提供的InterProcessMutex是分布式锁的实现。acquire方法用户获取锁,release方法用于释放锁。

使用ZK实现的分布式锁好像完全符合了本文开头我们对一个分布式锁的所有期望。但是,其实并不是,Zookeeper实现的分布式锁其实存在一个缺点,那就是性能上可能并没有缓存服务那么高。因为每次在创建锁和释放锁的过程中,都要动态创建、销毁瞬时节点来实现锁功能。ZK中创建和删除节点只能通过Leader服务器来执行,然后将数据同不到所有的Follower机器上。

其实,使用Zookeeper也有可能带来并发问题,只是并不常见而已。考虑这样的情况,由于网络抖动,客户端可ZK集群的session连接断了,那么zk以为客户端挂了,就会删除临时节点,这时候其他客户端就可以获取到分布式锁了。就可能产生并发问题。这个问题不常见是因为zk有重试机制,一旦zk集群检测不到客户端的心跳,就会重试,Curator客户端支持多种重试策略。多次重试之后还不行的话才会删除临时节点。(所以,选择一个合适的重试策略也比较重要,要在锁的粒度和并发之间找一个平衡。)

3.基于缓存实现分布式锁

setnx

三种方案的比较

上面几种方式,哪种方式都无法做到完美。就像CAP一样,在复杂性、可靠性、性能等方面无法同时满足,所以,根据不同的应用场景选择最适合自己的才是王道。
从理解的难易程度角度(从低到高)
数据库 > 缓存 > Zookeeper
从实现的复杂性角度(从低到高)
Zookeeper >= 缓存 > 数据库
从性能角度(从高到低)
缓存 > Zookeeper >= 数据库
从可靠性角度(从高到低)
Zookeeper > 缓存 > 数据库
参考:

分布式锁的几种实现方式
分布式锁简单入门以及三种实现方式介绍
分布式锁的作用及实现(Redis)

分享到:
评论

相关推荐

    分布式锁原理讲解视频资料

    本视频资料深入浅出地讲解了分布式锁的原理、实现方式以及其在实际应用中的场景。 首先,我们来了解分布式锁的基本原理。分布式锁的目的是解决在分布式环境下,多节点并发访问同一资源时可能出现的数据不一致问题。...

    分布式锁原理介绍.pptx

    ### 分布式锁原理介绍 #### 一、分布式锁概览 **分布式锁**是一种用于在分布式系统中控制多个节点对共享资源进行访问的技术。它主要用于解决多节点间并发访问同一资源时产生的竞争问题,确保资源的一致性和完整性...

    记录redisson实现redis分布式事务锁

    首先,Redis作为一个内存数据库,其高速读写性能使其成为实现分布式锁的理想选择。分布式锁的主要作用是在多节点环境下保证同一时刻只有一个节点可以执行特定操作,避免并发问题。Redisson的分布式锁通过`RLock`接口...

    深入分析分布式锁的原理及特性.zip

    分布式锁是一种在分布式系统中实现同步访问资源的关键技术,它允许多台服务器共享同一资源而不会引发数据不一致。在大型互联网系统中,由于服务的水平扩展和数据的分布式存储,传统的单机锁已无法满足需求,分布式锁...

    基于Redis方式实现分布式锁

    ### 基于Redis方式实现分布式锁 #### 分布式锁概述 分布式锁是一种常见的分布式系统协调机制,用于控制分布式环境下的多个进程或线程之间的访问顺序,防止多个客户端同时修改共享资源,从而保证数据的一致性和完整...

    分布式锁处理步骤

    分布式锁是一种在分布式系统中实现资源同步的关键技术,它确保在多节点环境下,同一时间只有一个节点可以访问或修改特定的共享资源,以防止数据不一致性和并发问题。在Oracle数据库中,分布式事务处理可能会导致...

    分布式锁技术实现原理.docx

    分布式锁技术实现原理 分布式锁是一种控制分布式系统中互斥访问共享资源的手段,以避免并行导致的结果不可控。其基本实现原理与单进程锁相同,通过一个共享标识来确定唯一性,对共享标识进行修改时能够保证原子性和...

    Redis分布式锁实现Redisson 15问.doc

    在本文中,我们将深入探讨Redisson实现分布式锁的原理和机制。 一、如何保证加锁的原子性 Redisson实现分布式锁的原子性是通过lua脚本来实现的。在lock方法中,Redisson会调用tryAcquireAsync方法,传入leaseTime...

    zk使用curator实现分布式锁

    在传统的单机系统中,我们可以使用synchronized关键字或ReentrantLock等来实现线程同步,但在分布式环境中,我们需要一种跨机器的锁机制,这就是ZooKeeper和Curator实现的分布式锁。 ZooKeeper的分布式锁工作原理...

    ZookeeperNet实现分布式锁

    通过深入理解Zookeeper的工作原理以及ZookeeperNet库的使用,开发者可以有效地在C#环境中实现高可用的分布式锁,保障多节点之间的协同工作和数据一致性。在实际项目中,分布式锁可以广泛应用于数据库操作、并发任务...

    分布式锁的原理

    分布式锁是一种在分布式系统中实现同步机制的关键技术。在单机环境下,我们通常使用互斥锁、读写锁等来保证并发操作的正确性,但在...理解并掌握分布式锁的原理和实现方式对于构建大规模、高可用的分布式系统至关重要。

    zookeeper分布式锁实现和客户端简单实现

    **Zookeeper的分布式锁实现原理** 1. **节点创建与监视**: Zookeeper允许客户端创建临时节点,这些节点会在客户端断开连接时自动删除。分布式锁的实现通常会为每个请求创建一个临时顺序节点,按照创建的顺序形成一...

    数据库实现分布式锁.txt

    ### 数据库实现分布式锁 在分布式系统中,为了确保数据的一致性和事务的原子性,分布式锁成为一种常用的解决方案。本文将围绕如何使用数据库来实现一个简单的分布式锁机制展开讨论,涉及尝试获取锁、等待锁以及释放...

    用Redis实现分布式锁_redis_分布式_

    Redis,作为一个高性能的键值存储系统,常被用于实现分布式锁,因为它提供了丰富的数据类型和原子操作。本教程将深入探讨如何利用Redis来构建分布式锁。 一、Redis分布式锁的优势 1. 响应速度:Redis是内存数据库...

    42_分布式锁是啥?对比下redis和zk两种分布式锁的优劣?.zip

    分布式锁是一种在分布式系统中实现同步访问资源的机制,它允许多个节点在同一时间对共享资源进行操作,而不会导致数据不一致或并发问题。在Java开发中,分布式锁的应用广泛,尤其是在微服务架构中,当服务间的通信...

    zookeeper做分布式锁

    分布式锁原理** 分布式锁的目的是在多个节点之间实现对共享资源的互斥访问。在ZooKeeper中,通常通过创建临时顺序节点(ephemeral sequential nodes)来实现这一目标。每个客户端在获取锁时都会创建这样的节点,...

    分布式锁简单实现

    在这个“分布式锁简单实现”项目中,开发者提供了一个基本的分布式锁实现,尽管可能在效率上存在一些问题,但对于我们理解分布式锁的工作原理和实现方式具有一定的参考价值。 分布式锁的核心目标是解决在多服务器、...

    详细解读分布式锁原理及三种实现方式

    本文将深入探讨分布式锁的原理,并详细介绍三种常见的实现方式:基于数据库、基于缓存(如Redis)和基于Zookeeper。 首先,分布式锁应具备的基本特性包括: 1. **互斥性**:在同一时间,只有一个客户端能够持有锁...

    分布式锁三种实现方式及对比

    本文将详细讨论三种常见的分布式锁实现方式:基于数据库、基于缓存(如Redis)以及基于Zookeeper,并对比它们的优缺点。 1. **基于数据库实现分布式锁** - **悲观锁**:使用`SELECT ... WHERE ... FOR UPDATE`...

    基于redis实现分布式锁的原理与方法

    我们实现分布式锁大概通过三种方式。 redis实现分布式锁 数据库实现分布式锁 zk实现分布式锁 今天我们介绍通过redis实现分布式锁。实际上这三种和java对比看属于一类。都是属于程序外部锁。 原理剖析 上述三种...

Global site tag (gtag.js) - Google Analytics