基于FMDB-SQLite的App数据库性能优化

 

1）如果数据库配置成为串行模式：sqlite3_config(SQLITE_CONFIG_SERIALIZED)

     此模式下可以多个线程使用一个数据库连接，但显然对数据库的操作很慢；

     所以建议：

     数据库配置成多线程模式：sqlite3_config(SQLITE_CONFIG_MULTITHREAD)

     此模式下多个线程必须各自使用自己的数据库连接，多个连接对SQLite的操作不用担心，因为SQLite是线程安全的。

     但是这样仍然不好，线程数过多（上百左右个线程发起数据操作）会导致数据库压力大，尤其是有事务操作时会发起很多事务请求，这时所有的带事务请求都会卡在beginTransaction，严重影响性能，使得整个App中所有对数据库数据有请求的页面一直loading，虽然界面不会卡死，但是数据一直出不来；

     所以，采用FMDB queue(其实就是GCD串行队列)，因为FMDB queue串行队列，所以所有的数据操作包括事务都是串行执行的，所有多线程发起的数据库操作都被异步放到了这个队列里，不会卡住UI，也不会有数据库事务并发问题；

2）事务中有大数据量(几千条)条件查询（注意是条件查询），然后再数据更新和插入

     按1）优化后也有可能性能还是慢的情况，也就是如2）题，这种查询特别慢，严重影响了事务的执行；所以尽量避免在事务中有大数据量条件查询；

3）最后，把数据库的WAL模式开启，这样数据库的写操作很快，而且可以对数据并发写和读取；

     WAL is significantly faster in most scenarios.

     WAL provides more concurrency as readers do not block writers and a writer does not block readers. Reading and writing can proceed concurrently.

     Disk I/O operations tends to be more sequential using WAL.

     WAL uses many fewer fsync() operations and is thus less vulnerable to problems on systems where the fsync() system call is broken.

 

综上，总结如下：

1）数据库多线程模下，有并发事务或并发事务多会超成数据库操作拥堵，这个与数据库模式无关（FMDB queue解决）

2）事务中有大数据(几千条)的先条件查询后更新或插入操作时会很慢（避免事务中大数据条件查询）

2）开启WAL模式；

3）区分对待数据库串行模式和串行数据库操作队列；

     目前，我采用的是：a)多线程数据库操作＋FMDB Queue(W/R两队表两数据库连接)+数据库SQLITE_CONFIG_MULTITHREAD模式+WAL+事务中避免大数据条件查询

     但是，我觉得另一种方式的性能也应该不错：b)多线程数据库操作＋数据库SQLITE_CONFIG_SERIALIZED模式+(WAL)+一个数据库连接+事务中避免大数据条件查询

 

     a）中数据库模式虽然是多线程(SQLITE_CONFIG_MULTITHREAD)模式，但所有程序级多线程数据库操作都被FMDB queue串行化，最多也就两个数据库并发(W/R)，各自一个数据库连接; SQLITE_CONFIG_MULTITHREAD模式是好处在于读和写可分成各一个FMDB queue以及开启WAL模式支持可并发写和读

     b）中数据库模式是串行(SQLITE_CONFIG_SERIALIZED)模式且一个数据库连接,所以不需要队列来串行化程序级的多线程数据库操作；同时WAL模式是可选开启，如果开启则写数据库会更快，但没有并发的读和写（因为当前数据库是SQLITE_CONFIG_SERIALIZED模式）

评论

6 楼 hibluse 2013-04-22  

handy.wang 写道

hibluse 写道

我已经设置了WAL模式。但是不起作用。就是上面我提到的问题。SQLITE_CONFIG_MULTITHREAD怎么设置，还需要设置吗？

你不用设置SQLITE_CONFIG_MULTITHREAD，因为FMDatabase默认的打开数据方法就是SQLITE_CONFIG_MULTITHREAD
方式；
如下：
- (BOOL)open {
    if (_db) {
        return YES;
    }
    sqlite3_config(SQLITE_CONFIG_MULTITHREAD);
    int err = sqlite3_open((_databasePath ? [_databasePath fileSystemRepresentation] : ":memory:"), &_db );
    if(err != SQLITE_OK) {
        NSLog(@"error opening!: %d", err);
        return NO;
    }
    char *errorMsg = nil;
    if (sqlite3_exec(_db, "PRAGMA journal_mode=WAL;", NULL, NULL, &errorMsg) != SQLITE_OK) {
        NSLog(@"Failed to set WAL mode: %s",errorMsg);
    }
    sqlite3_wal_checkpoint(_db, NULL);
    return YES;
}

请问，sqlite支持多线程吗？我设置了 synchronous= normal 貌似可以用。我做了测试。但是我不确认是否真的多线程是支持的。能具体描述一下吗。谢谢

5 楼 handy.wang 2013-03-21  

hibluse 写道

请问，在java里这个SQLITE_CONFIG_MULTITHREAD怎么设置

这个我问过我做Android开发的同事，他们用得现成封装没有配置这个。
我正在请教我另一个做Android的同事，还没有回信。

4 楼 handy.wang 2013-03-21  

hibluse 写道

我已经设置了WAL模式。但是不起作用。就是上面我提到的问题。SQLITE_CONFIG_MULTITHREAD怎么设置，还需要设置吗？

你不用设置SQLITE_CONFIG_MULTITHREAD，因为FMDatabase默认的打开数据方法就是SQLITE_CONFIG_MULTITHREAD
方式；
如下：
- (BOOL)open {
    if (_db) {
        return YES;
    }
    sqlite3_config(SQLITE_CONFIG_MULTITHREAD);
    int err = sqlite3_open((_databasePath ? [_databasePath fileSystemRepresentation] : ":memory:"), &_db );
    if(err != SQLITE_OK) {
        NSLog(@"error opening!: %d", err);
        return NO;
    }
    char *errorMsg = nil;
    if (sqlite3_exec(_db, "PRAGMA journal_mode=WAL;", NULL, NULL, &errorMsg) != SQLITE_OK) {
        NSLog(@"Failed to set WAL mode: %s",errorMsg);
    }
    sqlite3_wal_checkpoint(_db, NULL);
    return YES;
}

3 楼 handy.wang 2013-03-21  

hibluse 写道

我已经设置了WAL模式。但是不起作用。就是上面我提到的问题。SQLITE_CONFIG_MULTITHREAD怎么设置，还需要设置吗？

sqlite3_config(SQLITE_CONFIG_MULTITHREAD);

2 楼 hibluse 2013-03-04  

我已经设置了WAL模式。但是不起作用。就是上面我提到的问题。SQLITE_CONFIG_MULTITHREAD怎么设置，还需要设置吗？

1 楼 hibluse 2013-03-04  

请问，在java里这个SQLITE_CONFIG_MULTITHREAD怎么设置