`
dsxwjhf
  • 浏览: 73168 次
  • 性别: Icon_minigender_1
  • 来自: 安徽
社区版块
存档分类
最新评论

实现分布式锁的几种方式

阅读更多
1. 完全基于数据库
用乐观锁做幂等。缺点是缺少保护,大量请求直接打到数据库;好处是简单不易出错。

2. 使用队列
如果是单机环境,使用普通的先进先出队列即可;若是分布式环境,则需要依靠 Redis 有序集合等方式来实现。

3. 使用 Redis
以下内容来自: http://fableking.iteye.com/blog/2052798

Redis 有一系列的命令,特点是以 NX 结尾, NX 是 Not eXists 的缩写,如 SETNX 命令就应该理解为: SET if Not eXists 。这系列的命令非常有用,这里讲使用 SETNX 来实现分布式锁。

用 SETNX 实现分布式锁

利用 SETNX 可以非常简单地实现分布式锁。例如:某客户端要获得一个名字为 foo 的锁,客户端使用下面的命令进行获取:

SETNX lock.foo <current Unix time + lock timeout + 1>

  • 如返回1,则该客户端获得锁,把 lock.foo 的键值设置为时间值表示该键已被锁定,该客户端最后可以通过 DEL lock.foo 来释放该锁。
  • 如返回0,表明该锁已被其他客户端取得,这时我们可以先返回或进行重试等对方完成或等待锁超时。


解决死锁

上面的锁定逻辑有一个问题:如果一个持有锁的客户端失败或崩溃了不能释放锁,该怎么解决?我们可以通过锁的键对应的时间戳来判断这种情况是否发生了,如果当前的时间已经大于 lock.foo 的值,说明该锁已失效,可以被重新使用。

发生这种情况时,可不能简单的通过 DEL 来删除锁,然后再 SETNX 一次。当多个客户端检测到锁超时后都会尝试去释放它,这里就可能出现一个竞态条件,让我们模拟一下这个场景:

  • C0 操作超时了,但它还持有着锁。 C1 和 C2 读取 lock.foo 检查时间戳,先后发现超时了。
  • C1 发送 DEL lock.foo
  • C1 发送 SETNX lock.foo 并且成功了。
  • C2 发送 DEL lock.foo
  • C2 发送 SETNX lock.foo 并且成功了。


这样一来, C1 , C2 都拿到了锁!问题大了!

幸好这种问题是可以避免的,让我们来看看 C3 这个客户端是怎样做的:

C3 发送 SETNX lock.foo 想要获得锁,由于 C0 还持有锁,所以 Redis 返回给 C3 一个0。
C3 发送 GET lock.foo 以检查锁是否超时了,如果没超时,则等待或重试。
反之,如果已超时, C3 通过下面的操作来尝试获得锁: GETSET lock.foo <current Unix time + lock timeout + 1>
通过 GETSET ,C3 拿到的时间戳如果仍然是超时的,那就说明, C3 如愿以偿拿到锁了。
如果在 C3 之前,有个叫 C4 的客户端比 C3 快一步执行了上面的操作,那么 C3 拿到的时间戳是个未超时的值,这时, C3 没有如期获得锁,需要再次等待或重试。留意一下,尽管 C3 没拿到锁,但它改写了 C4 设置的锁的超时值,不过这一点非常微小的误差带来的影响可以忽略不计。

注意:为了让分布式锁的算法更稳键些,持有锁的客户端在解锁之前应该再检查一次自己的锁是否已经超时,再去做 DEL 操作,因为可能客户端因为某个耗时的操作而挂起,操作完的时候锁因为超时已经被别人获得,这时就不必解锁了。

示例伪代码

根据上面的代码,我写了一小段 Fake 代码来描述使用分布式锁的全过程:
# get lock  
lock = 0  
while lock != 1:  
    timestamp = current Unix time + lock timeout + 1  
    lock = SETNX lock.foo timestamp  
    if lock == 1 or (now() > (GET lock.foo) and now() > (GETSET lock.foo timestamp)):  
        break;  
    else:  
        sleep(10ms)  
   
# do your job  
do_job()  
   
# release  
if now() < GET lock.foo:  
    DEL lock.foo  

是的,要想这段逻辑可以重用,使用 python 的你马上就想到了 Decorator ,而用 Java 的你是不是也想到了那谁? AOP + annotation ?行,怎样舒服怎样用吧,别重复代码就行。

注:以上原文转自: http://www.jeffkit.info/2011/07/1000/

上面是一个很不错的思路,但也有所不足。
1. 释放锁的时候( release 代码块),如果线程操作超时,并正确执行完成 do_job 代码块,这期间可能已经有新的请求获得了锁权限,此时 lock.foo 的值已被新的线程请求更新,应该就是大于 now() 的,这样的话会导致锁被意外释放。所以这里的判断条件应该改一改,如 timestamp == GET lock.foo ,这样的话,每个线程都只能释放自己加的锁,如果自己超时了,那么锁被更新成别的线程后,也不会把别的线程控制的锁释放掉。

2. 以上所说的情况是在所有分布式环境均在同一个服务器上或多个服务器但时间是完全同步的情况下可用,否则的话 now() 取出的时间不同步,可能导致锁有很大的安全问题,或者直接导致锁无效。

这样的情况下,要再完善这个思路就可以考虑在 SETNX 调用成功后,为 key 添加一个expires 。
整个思路就简单很多了,以上代码简单改变下:
# get lock
timestamp = ''
while true:
    # random 防止并发值重复
    timestamp = current unix time + '#' + random
    # 当 key 被上一个锁删除或过期时,以下操作都可以这么判断
    if (SETNX lock.foo timestamp) == 1:
        EXPIRE lock.foo timeout
        break
    else:
        sleep(10ms)

# do your job
do_job()

# release
if timestamp == GET lock.foo:
    DEL lock.foo 




总结
timestamp = "";

while(true) {
    timestamp = current_unix_time;
    if (SETNX key timestamp) {
	    EXPIRE key timeout;
        break;
    } else {
        sleep(10ms);
    }
}

do your work;

if (timestamp == GET key) {
    DEL key;
}

==================================================

lock = 0;

while(lock != 1) {
    timestamp = current_unix_time + timeout + 1;
    lock = SETNX key timestamp;
    if (lock == 1 || (now > GET key && now > GETSET key timestamp)) {
        break;
    } else {
        sleep(10ms);
    }
}

do your work;

if (now < GET key) {
    DEL key;
}

分享到:
评论

相关推荐

    C#.net Redis分布式锁源码实现

    在C#.NET中使用Redis实现分布式锁,主要涉及以下几个步骤和概念: 1. 连接Redis:首先,你需要创建一个Redis连接。StackExchange.Redis库提供了`ConnectionMultiplexer`类,用于建立到Redis服务器的连接。你可以...

    zk使用curator实现分布式锁

    它隐藏了底层的ZooKeeper操作,使得开发者只需调用几个方法即可实现分布式锁的获取和释放。 此外,Curator还提供了一些附加功能,如锁的公平性(按照创建顺序获取锁)、租约(设置锁的持有时间限制)以及锁竞争的...

    基于zookeeper的分布式锁实现demo

    在分布式应用系统中,实现分布式锁是解决多系统或多个服务实例之间资源互斥访问的一种常用机制。本部分将详细介绍使用Zookeeper实现分布式锁的知识点。 Zookeeper是Apache的一个开源项目,它为分布式应用提供了高...

    分布式锁原理讲解视频资料

    在实现方式上,分布式锁主要分为以下几种: 1. 基于数据库的分布式锁:利用数据库的事务和行级锁机制,例如MySQL的SELECT FOR UPDATE语句。这种方式简单易懂,但可能面临数据库性能瓶颈。 2. 基于缓存的分布式锁:...

    浅谈分布式锁

    分布式锁的实现方式主要有以下几种: 1. 基于数据库实现:通过在数据库中创建锁表来控制资源,获取锁时插入一条记录,释放锁时删除记录。但这种方式存在对数据库依赖重、容易导致死锁等问题。 2. 基于缓存实现:常见...

    基于 Redis 的分布式锁

    然而,在实现分布式锁的过程中,还有几个重要的知识点需要注意: 1. 避免死锁:为了防止死锁,锁必须要有过期时间。如果没有超时机制,那么当持有锁的进程异常崩溃时,这个锁可能永远都不会被释放。使用EX参数可以...

    Redis实现分布式锁的几种方法总结

    Redis实现分布式锁的几种方法总结 分布式锁是控制分布式系统之间同步访问共享资源的一种方式。在分布式系统中,常常需要协调他们的动作。如果不同的系统或是同一个系统的不同主机之间共享了一个或一组资源,那么访问...

    @ScheduleTask注解实现定时任务,带分布式锁

    通过在ZooKeeper上创建临时节点来实现锁,有以下几种常见策略: 1. **竞争节点创建**:客户端尝试在特定路径下创建一个临时节点,成功创建者获得锁。 2. **顺序节点**:客户端创建带有唯一序号的临时节点,顺序最小...

    通过zookeeper实现分布式锁

    【Zookeeper实现分布式锁】 Zookeeper 是 Apache Hadoop 项目下的一个子项目,是一个高性能的分布式协调服务。它提供了一种可靠的方式来管理分布式系统中的配置信息、命名服务、集群管理和同步服务。Zookeeper 的...

    使用zookeeper实现分布式共享锁

    它被广泛用于实现分布式锁、配置管理、服务发现等多个场景。本篇文章将深入探讨如何使用Zookeeper实现分布式共享锁。 分布式锁是一种在多节点之间共享资源的机制,它允许在同一时间只有一个节点对资源进行操作。在...

    分布式锁/信号量的实现方式:基于Redis、Zookeeper 、etcd 的分布式锁 确保在分布式环境中安全地访问共享资源

    Redis作为一款高性能的键值存储系统,非常适合用来实现分布式锁。以下是一个简单的示例代码: - **获取锁**: ```python import redis import time client = redis.StrictRedis(host='localhost', port=6379,...

    分布式锁技术实现原理.docx

    分布式锁服务需要能够保证以下几点: 1. 同一时刻只能有一个线程持有锁 2. 锁能够可重入 3. 不会发生死锁 4. 具备阻塞锁特性,且能够及时从阻塞状态被唤醒 5. 锁服务保证高性能和高可用 当前使用较多的分布式锁...

    Spring Boot Redis 实现分布式锁的方法详解.docx

    Spring Boot 提供了与 Redis 集成的便捷方式,使得开发者能够快速实现分布式锁功能。本篇文章将详细讲解如何利用 Spring Boot 结合 Redis 实现分布式锁。 首先,理解分布式锁的基本概念。分布式锁是在分布式系统中...

    分布式锁实现案例.pdf.zip

    分布式锁的实现通常有几种方式: 1. **基于数据库**:利用数据库的事务和行级锁机制来实现分布式锁。例如,通过执行SQL的SELECT FOR UPDATE语句锁定特定记录,直到事务结束时释放锁。这种方法简单易懂,但可能会...

    用注解实现redis分布式锁,防止短时间内重复请求

    Redis作为一个高效、轻量级的键值存储系统,被广泛用于实现分布式锁,以解决这类问题。本篇文章将深入探讨如何通过注解的方式在Java应用中实现基于Redis的分布式锁。 首先,我们要理解什么是分布式锁。分布式锁是...

    redis分布式锁实现

    文件"DistributedLockByRedis"可能包含了具体的Redis分布式锁实现代码,包括客户端的API设计、lua脚本、续租逻辑以及容错策略等,对于理解和实现分布式锁是一个宝贵的参考资料。通过深入研究这些内容,开发者可以更...

    分布式锁:最强、最方便,一行代码搞定全部,免费提供技术支持,不懂就问

    本方案提供了一种简单高效的方法,通过一行代码即可实现分布式锁,特别适合初学者和快速开发。 在分布式环境中,传统的单机锁无法满足需求,因为它们无法跨多个服务器进行协调。而Redis作为一种内存数据存储系统,...

    分布式锁的原理

    在实现分布式锁时,需要考虑以下几个关键点: - **公平性**:分布式锁应尽可能保证等待最久的客户端首先获得锁,避免死锁和饥饿现象。 - **可重入性**:一个线程在已经持有锁的情况下,能够再次获取该锁而不被阻塞...

    分布式锁与信号量.zip

    分布式锁通常有以下几种实现方式: 1. **基于数据库的分布式锁**:利用数据库的事务和行级锁机制,通过插入特定的锁记录来获取锁,删除记录释放锁。这种方法简单易懂,但数据库可能会成为性能瓶颈。 2. **基于缓存...

Global site tag (gtag.js) - Google Analytics