`

SQLite入门与分析(五)---Page Cache之并发控制

阅读更多

写在前面:本节主要谈谈SQLite的锁机制,SQLite是基于锁来实现并发控制的,所以本节的内容实际上是属于事务处理的,但是SQLite的锁机制实现非常的简单而巧妙,所以在这里单独讨论一下。如果真正理解了它,对整个事务的实现也就理解了。而要真正理解SQLite的锁机制,最好方法就是阅读SQLite的源码,所以在阅读本文时,最好能结合源码。SQLite的锁机制很巧妙,尽管在本节中的源码中,我写了很多注释,也是我个人在研究时的一点心得,但是我发现仅仅用言语,似乎不能把问题说清楚,只有通过体会,才能真正理解SQLite的锁机制。好了,下面进入正题。

 

SQLite的并发控制机制是采用加锁的方式,实现非常简单,但也非常的巧妙,本节将对其进行一个详细的解剖。请仔细阅读下图,它可以帮助更好的理解下面的内容。

 

1、RESERVED LOCK
RESERVED锁意味着进程将要对数据库进行写操作。某一时刻只能有一个RESERVED Lock,但是RESERVED锁和SHARED锁可以共存,而且可以对数据库加新的SHARED锁。
为什么要用RESERVED锁?
主要是出于并发性的考虑。由于SQLite只有库级排斥锁(EXCLUSIVE LOCK),如果写事务一开始就上EXCLUSIVE锁,然后再进行实际的数据更新,写磁盘操作,这会使得并发性大大降低。而SQLite一旦得到数据库的RESERVED锁,就可以对缓存中的数据进行修改,而与此同时,其它进程可以继续进行读操作。直到真正需要写磁盘时才对数据库加EXCLUSIVE 锁。
2、PENDING LOCK
PENDING LOCK意味着进程已经完成缓存中的数据修改,并想立即将更新写入磁盘。它将等待此时已经存在的读锁事务完成,但是不允许对数据库加新的SHARED LOCK(这与RESERVED LOCK相区别)。
为什么要有PENDING LOCK?
主要是为了防止出现写饿死的情况
。由于写事务先要获取RESERVED LOCK,所以可能一直产生新的SHARED LOCK,使得写事务发生饿死的情况。

3、加锁机制的具体实现

SQLite在pager层获取锁的函数如下:

 

Code

 

Windows下具体的实现如下:

Code

 

在几个关键的部位标记数字。

(I)对于一个读事务会的完整经过:
语句序列:(1)——>(2)——>(6)
相应的状态真正的变化过程为:UNLOCKED→PENDING(1)→PENDING、SHARED(2)→SHARED(6)→UNLOCKED
(II)对于一个写事务完整经过:
第一阶段:
语句序列:(1)——>(2)——>(6)
状态变化:UNLOCKED→PENDING(1)→PENDING、SHARED(2)→SHARED(6)。此时事务获得SHARED LOCK。
第二个阶段
语句序列:(3)
此时事务获得RESERVED LOCK。
第三个阶段:
事务执行修改操作。
第四个阶段:
语句序列:(1)——>(4)——>(5)
状态变化为:
RESERVED→ RESERVED 、PENDING(1)→PENDING(4)→EXCLUSIVE(5)。此时事务获得排斥锁,就可以进行写磁盘操作了。

注:在上面的过程中,由于(1)的执行,使得某些时刻SQLite处于两种状态,但它持续的时间很短,从某种程度上来说可以忽略,但是为了把问题说清楚,在这里描述了这一微妙而巧妙的过程。

 

4、SQLite的死锁问题
SQLite的加锁机制会不会出现死锁?
这是一个很有意思的问题,对于任何采取加锁作为并发控制机制的DBMS都得考虑这个问题。有两种方式处理死锁问题:(1)死锁预防(deadlock prevention)(2)死锁检测(deadlock detection)与死锁恢复(deadlock recovery)。SQLite采取了第一种方式,如果一个事务不能获取锁,它会重试有限次(这个重试次数可以由应用程序运行预先设置,默认为1次) ——这实际上是基本锁超时的机制。如果还是不能获取锁,SQLite返回SQLITE_BUSY错误给应用程序,应用程序此时应该中断,之后再重试;或者中止当前事务。虽然基于锁超时的机制简单,容易实现,但是它的缺点也是明显的——资源浪费。

5、事务类型(Transaction Types)
既然SQLite采取了这种机制,所以应用程序得处理SQLITE_BUSY 错误,先来看一个会产生SQLITE_BUSY错误的例子:

 

所以应用程序应该尽量避免产生死锁,那么应用程序如何做可以避免死锁的产生呢?
答案就是为你的程序选择正确合适的事务类型。
SQLite有三种不同的事务类型,这不同于锁的状态。事务可以从DEFERRED,IMMEDIATE或者EXCLUSIVE,一个事务的类型在BEGIN命令中指定:
BEGIN [ DEFERRED | IMMEDIATE | EXCLUSIVE ] TRANSACTION;
一个deferred事务不获取任何锁,直到它需要锁的时候,而且BEGIN语句本身也不会做什么事情——它开始于UNLOCK状态;默认情况下是这样的。如果仅仅用BEGIN开始一个事务,那么事务就是DEFERRED的,同时它不会获取任何锁,当对数据库进行第一次读操作时,它会获取SHARED LOCK;同样,当进行第一次写操作时,它会获取RESERVED LOCK。
由BEGIN开始的Immediate事务会试着获取RESERVED LOCK。如果成功,BEGIN IMMEDIATE保证没有别的连接可以写数据库。但是,别的连接可以对数据库进行读操作,但是RESERVED LOCK会阻止其它的连接BEGIN IMMEDIATE或者BEGIN EXCLUSIVE命令,SQLite会返回SQLITE_BUSY错误。这时你就可以对数据库进行修改操作,但是你不能提交,当你COMMIT时,会返回SQLITE_BUSY错误,这意味着还有其它的读事务没有完成,得等它们执行完后才能提交事务。
Exclusive事务会试着获取对数据库的EXCLUSIVE锁。这与IMMEDIATE类似,但是一旦成功,EXCLUSIVE事务保证没有其它的连接,所以就可对数据库进行读写操作了。
上面那个例子的问题在于两个连接最终都想写数据库,但是他们都没有放弃各自原来的锁,最终,shared 锁导致了问题的出现。如果两个连接都以BEGIN IMMEDIATE开始事务,那么死锁就不会发生。在这种情况下,在同一时刻只能有一个连接进入BEGIN IMMEDIATE,其它的连接就得等待。BEGIN IMMEDIATE和BEGIN EXCLUSIVE通常被写事务使用。就像同步机制一样,它防止了死锁的产生。
基本的准则是:如果你在使用的数据库没有其它的连接,用BEGIN就足够了。但是,如果你使用的数据库在其它的连接也要对数据库进行写操作,就得使用BEGIN IMMEDIATE或BEGIN EXCLUSIVE开始你的事务。

分享到:
评论

相关推荐

    SQLite入门分析

    SQLite入门与分析(四)---Page Cache之事务处理.doc SQLite入门与分析(五)---Page Cache之并发控制.doc SQLite入门与分析(六)---再谈SQLite的锁.doc

    android sqlite 简介

    二、Android下的SQLite编译与基础入门 在Android开发中,SQLite通过Android SDK的SQLiteOpenHelper类进行操作。1,首先,我们需要创建一个继承自SQLiteOpenHelper的子类,定义数据库版本号和升级方法。2,然后,我们...

    开源数据库sqlite源码

    2. **页(Page)和缓存(Cache)**:SQLite将数据存储在页上,每个页有固定的大小。缓存机制用于提高数据访问速度。 3. **触发器(Trigger)**:允许在特定事件(如INSERT、UPDATE或DELETE)发生时自动执行指定的SQL...

    SQLite3性能优化

    1. 增大Page Cache:SQLite使用内存中的Page Cache存储数据页,增大缓存可以减少磁盘I/O。通过PRAGMA cache_size可以设置缓存的页面数量,例如`PRAGMA cache_size = 2000;`表示设置为2000个页面,每个页面通常是4KB...

    SQlite-源码.rar

    通过深入研究SQLite源码,开发者可以学习到数据库设计、SQL解析、存储引擎、并发控制等核心概念,这将对提升数据库开发和优化能力大有裨益。同时,源码阅读也是学习软件工程实践,如错误处理、测试和调试的好途径。

    SQLITE数据库 UPDATE慢

    增大 cache_size 或者 page_size 设置,可以增加SQLite在内存中存储的数据量,减少磁盘I/O。 9. **硬件优化**:升级硬件,比如使用更快的SSD硬盘,或者增加内存,都能显著提升SQLite的性能。 10. **升级SQLite版本...

    sqlite3源码

    总结来说,SQLite3源码涵盖了数据库系统设计的多个核心领域,包括SQL解析与编译、虚拟机执行、数据存储与缓存、事务管理、并发控制以及错误处理。对SQLite3源码的深入学习不仅可以帮助开发者理解数据库的工作原理,...

    sqlite源码。。。。。。。

    5. **页面缓存(Page Cache)**:为了提高性能,SQLite维护了一个内存中的数据库页面缓存。当数据需要读取或写入时,会先操作缓存,减少对磁盘的访问。 6. **索引(Indexing)**:SQLite支持多种类型的索引,如唯一...

    SQLite PRAGMA

    SQLite PRAGMA 是 SQLite 数据库系统中的一种特殊命令,它用于查询和设置 SQLite 环境中的各种配置选项和状态标志。PRAGMA 命令既能够读取当前的配置值,也能根据需要设置新的值。这使得开发人员可以根据具体的需求...

    asp.net下SQLite(轻量级最佳数据库) 原理分析和开发应用

    SQLite具备事务处理功能,其生命周期从开始到结束,包括事务对其他连接的影响,对并发性的控制至关重要。事务是数据库管理中一个非常重要的概念,它能够保证数据的一致性和完整性。 SQLite的零配置运行模式意味着它...

    项目完成 - 基于Django3.x版本 - 开发部署小结.doc

    开发阶段通常使用SQLite数据库,但在生产环境中,为了支持更大的并发和数据量,项目切换到了MySQL。Django的数据库配置允许灵活地切换不同数据库。例如,通过定义一个字典结构,包含不同数据库的配置,然后根据环境...

Global site tag (gtag.js) - Google Analytics