redis源码阅读笔记(7)——对象

本篇我们研究redis里的对象。

1. 概述
redis有5种对象类型

• 字符串
• 列表
• 哈希
• 集合
• 有序集合

它们的底层数据结构都是由前面6篇文章提到的所实现的。

请先参考如下文章，并结合源码阅读体会。
http://www.redisbook.com/en/latest/toc.html里的8.对象
http://origin.redisbook.com/en/latest/里的第三部分：Redis 数据类型

2. 一种类型，多种实现
redis使得一种对象类型的实现可以由不同的数据结构来切换，从而同时兼顾性能（CPU）和内存。而且当某个底层数据结构有性能问题时，可以替换掉。当然这种替换的实现还是没有java这么优雅的，redis里面只能靠if else来切换不同的数据结构。

对象类型	实现方式一	实现方式二	实现方式三
字符串	REDIS_ENCODING_INT	REDIS_ENCODING_EMBSTR	REDIS_ENCODING_RAW
列表	REDIS_ENCODING_ZIPLIST	REDIS_ENCODING_LINKEDLIST
哈希	REDIS_ENCODING_ZIPLIST	REDIS_ENCODING_HT
集合	REDIS_ENCODING_INTSET	REDIS_ENCODING_HT
有序集合	REDIS_ENCODING_ZIPLIST	REDIS_ENCODING_SKIPLIST

3. zipmap
以前小的哈希表使用zipmap实现的，而redis从2.6版本开始，改用ziplist来实现，因为zipmap被爆有性能问题。
所以现在zipmap已经没用了，如果读者感兴趣的话，代码就在zipmap.c里面。我就不关注了。

4. redisObject的定义
redis.h中定义了redisObject

typedef struct redisObject {
    // 类型
    unsigned type:4;
    // 编码
    unsigned encoding:4;
    // 对象最后一次被访问的时间
    unsigned lru:REDIS_LRU_BITS; /* lru time (relative to server.lruclock) */
    // 引用计数
    int refcount;
    // 指向实际值的指针
    void *ptr;
} robj;

这里解释一下里面的一个奇怪的语法:（冒号）
该语法的定义叫位字段（bit field）。

4.1 位字段（bit field）
type:4的意思是定义了一个属性叫type，占4个比特，而前面的unsigned等价于unsigned int。
下面又定义了一个属性叫encoding，占4个比特。以及lru，占24个比特。
这样这3个属性合在一起，占32个比特，也就是4个字节。
剩下的refcount和ptr自不必说，各占4个字节。
所以整个结构体robj占了12个字节。可以看到巧妙运用了bit field以后，可以节省内存，同时相对直接操纵位来编程也更容易。

4.2 写个程序测试一下
bitfieldtest.c(可在附件下载)

int main(void)
{
	printf("sizeof(robj)=%d\n", sizeof(robj));
	robj obj1;
	void *address = &obj1;
	printf("address=%#X\n", address);
	obj1.type = 1;
	obj1.encoding = 5;
	obj1.lru = 255;
	obj1.refcount = 2;
	obj1.ptr = NULL;
	return 0;
}

在我的32位的win7下测试结果和预期一致。

sizeof(robj)=12
address=0X22ABE0

我们随后对结构体robj的属性赋了值，用eclipse调试观察内存如下图所示。

图已经很明白了，文字就不再赘述了，只解释一点，type和encoding为何顺序是倒过来的，这个和大端小端有关系。

5. 对象共享
用flyweight模式，将一些常用的整数对象缓存起来。这个思路和java里面的Integer.valueOf如出一辙。

redis.h中定义

struct sharedObjectsStruct {
    //......此处省略一部分代码......
    *integers[REDIS_SHARED_INTEGERS];
};

redis.c中初始化

#define REDIS_SHARED_INTEGERS 10000
struct sharedObjectsStruct shared;

void createSharedObjects(void) {
    int j;

    //......此处省略一部分代码......

    // 常用整数
    for (j = 0; j < REDIS_SHARED_INTEGERS; j++) {
        shared.integers[j] = createObject(REDIS_STRING,(void*)(long)j);
        shared.integers[j]->encoding = REDIS_ENCODING_INT;
    }
}

可以看到将0~9999的整数缓存了起来。而java里面的Integer则是将-128到127缓存了起来。

6. 引用计数以及对象的销毁
引用计数是垃圾回收的一种算法，但是此算法无法解决循环引用问题，所以java里面没有采用这种算法。

/*
 * 为对象的引用计数减一
 *
 * 当对象的引用计数降为 0 时，释放对象。
 */
void decrRefCount(robj *o) {

    if (o->refcount <= 0) redisPanic("decrRefCount against refcount <= 0");

    // 释放对象
    if (o->refcount == 1) {
        switch(o->type) {
        case REDIS_STRING: freeStringObject(o); break;
        case REDIS_LIST: freeListObject(o); break;
        case REDIS_SET: freeSetObject(o); break;
        case REDIS_ZSET: freeZsetObject(o); break;
        case REDIS_HASH: freeHashObject(o); break;
        default: redisPanic("Unknown object type"); break;
        }
        zfree(o);

    // 减少计数
    } else {
        o->refcount--;
    }
}

/*
 * 释放字符串对象
 */
void freeStringObject(robj *o) {
    if (o->encoding == REDIS_ENCODING_RAW) {
        sdsfree(o->ptr);
    }
}

在这里我不禁要感叹c程序员的功力了，事无巨细都亲力亲为。而java程序员就幸福多了，语言，类库还有框架的封装使得程序员生产力大增，且不用动用脑细胞做这类琐事。

7. 具体对象类
下面稍微记录一下redis中5种对象类型所对应的源码位置，方便读者自学。

7.1 字符串对象
redis.h中定义了原型

/* Redis object implementation */
robj *createObject(int type, void *ptr);
robj *createStringObject(char *ptr, size_t len);
robj *createRawStringObject(char *ptr, size_t len);
robj *createEmbeddedStringObject(char *ptr, size_t len);
robj *createStringObjectFromLongLong(long long value);
robj *createStringObjectFromLongDouble(long double value);

实现在object.c里
会分3情况创建不同的实现。

7.2 列表对象
见t_list.c
举例：
rpush命令键入后将执行的函数是rpushCommand-->pushGenericCommand-->listTypePush
listTypePush函数里可以看到，如果是ziplist，则调用ziplistPush，如果是adlist，则调用listAddNodeHead或listAddNodeTail

具体的每个命令所调用的函数，可参考
http://www.redisbook.com/en/latest/preview/object/list.html#id3

阻塞。比较难懂，看不懂可以放到以后再看。
http://origin.redisbook.com/en/latest/datatype/list.html#id4

7.3 哈希对象
见t_hash.c
举例：
hset命令键入后将执行的函数是hsetCommand-->hashTypeSet
hashTypeSet函数里可以看到，如果是ziplist，则调用ziplistPush两次，将key和value都加入列表尾部，如果是hashtable(dict)，则调用dictReplace

具体的每个命令所调用的函数，可参考
http://www.redisbook.com/en/latest/preview/object/hash.html#id3

7.4 集合对象
见t_set.c
举例：
sadd命令键入后将执行的函数是saddCommand-->setTypeAdd
setTypeAdd函数里可以看到，如果是hashtable(dict)，则调用dictAdd，如果是intset，则调用intsetAdd

具体的每个命令所调用的函数，可参考
http://www.redisbook.com/en/latest/preview/object/set.html#id3

7.5 有序集合对象
见t_zset.c

为了让有序集合的查找和范围型操作都尽可能快地执行， Redis 选择了同时使用字典和跳跃表两种数据结构来实现有序集合。

typedef struct zset {
    // 字典，使得ZSCORE只需要O(1)
    dict *dict;
    // 跳跃表，使得ZRANK只需要O(1)
    zskiplist *zsl;
} zset;

举例：
zadd命令键入后将执行的函数是zaddCommand-->zaddGenericCommand
zaddGenericCommand函数里可以看到，如果是ziplist，则调用zzlInsert，进而调用ziplistInsert两次，将value和score都加入列表,如果是skiplist，则调用zslInsert插入跳跃表，然后调用dictAdd插入到字典。

具体的每个命令所调用的函数，可参考
http://www.redisbook.com/en/latest/preview/object/sorted_set.html#id3