django, mongodb与测试

在django下很容易写测试，只需要继承DjangoTestCase，它会自动创建一个测试数据库，每次运行时加载必要的fixture数据，以保证每个测试的初始状态是一致、可预测的。其前提是必须使用它的dbmodel，如果使用MySQL, Oracle等关系型数据库，这自然不是个问题。如果使用其它数据库，例如当前相当流行的NoSQL，这时DjangoTestCase就不能直接拿来用了。如果我们hack一下django，也是可以使用DjangoTestCase的。以mongodb为例，我使用的是django1.2，1.2以下的版本不能用这里的方式，我没有研究过，但我相信也是能hack的。

django有TestRunner，用来启动测试，加载fixture的工作就是在这里做的。默认的TestRunner是'django.test.simple.DjangoTestSuiteRunner'，而它加载fixture的实际上调用的是loaddata命令。所以要实现fixture的加载工作，最简单的方式就是重新定义loaddata命令，让它将数据加载到mongodb中。随便选择一个app，在它的下面创建management目录，再在management下创建commands目录，然后再在其下创建loaddata.py，每个目录下面也都需要创建__init__.py文件。创建命令的工作可以参考这里。一般fixture的格式是用json格式，也可以用xml，写起来就会麻烦些，也可以使用普通文本格式，但解析起来就复杂了，并且不够灵活，因此推荐使用json。loaddata.py大概是这样：

from optparse import make_option
from django.core.management.base import BaseCommand
from django.db.models import get_apps
from django.utils import simplejson as json
from pymongo.objectid import ObjectId

class Command(BaseCommand):
    help = 'Installs the named fixture(s) in the database.'
    args = "fixture [fixture ...]"

    option_list = BaseCommand.option_list + (
        make_option('--database', action='store', dest='database',
            default='default db', help='Nominates a specific database to load '
                'fixtures into. Defaults to the "default" database.'),
    )

    def handle(self, *fixture_labels, **options):
        app_fixtures = [os.path.join(os.path.dirname(app.__file__), 'fixtures') for app in get_apps()]
        for fixture_label in fixture_labels:
            for fixture_dir in app_fixtures:
                fullpath = os.path.join(fixture_dir, fixture_label)
                if os.path.isfile(fullpath):
                    fixture = open(fullpath, 'r')
                    data = norm_object(json.loads(fixture.read()))
                    self._do_load(data)

由于json只有几种int, string, bool, array, dict几种数据类型，若是要代表datetime, ObjectId(这是mongodb中ID默认使用的类型)等复杂类型，就需要使用特别的表达方式，例如对datetime可以使用 { '$date': '2009/8/3 05:07:23' }，对ObjectId可以使用 { '$oid': 'xxxxx' }来表示，这就需要做某种转换，这是在norm_object中完成的：

def norm_object(data):
    if isinstance(data, dict):
        if data.has_key('$oid'): # ObjectId
            return ObjectId(data[u'$oid'])
        if data.has_key('$date'): # datetime
            return parse_datetime(data['$date'])
        if data.has_key('$ref'): #dbref
            from pymongo.dbref import DBRef
            return DBRef(data['$ref'], ObjectId(data['$id']))
    if isinstance(data, dict):
        return dict( [ (norm_object(k), norm_object(v)) for k, v in data.iteritems() ])
    if isinstance(data, list):
        return [ norm_object(o) for o in data ]
    return data

对于_do_load方法，就是使用将fixture中的数据加载到mongodb中，没什么好说的。唯一需要说明的，就是如果指定将数据加载到哪个collection，我在fixture中每项数据中，除了需要加载到数据库的部分，还额外有个_collection属性，用来表明加载到哪个collection。一个用户数据的fixture可能会是这个样子：

[
	{
		"_collection": "user",
		"_id" : { "$oid", "000011112222333344440001" },
		"username" : "marlon",
		"email" : "[e-mail]",
		"password" : "sha1$6f90a$a1d2d0526aec9338e2d5ab7406315df849d9efdf",
		"is_active" : true
	}
]

_do_load方法实现如下：

    def _do_load(self, data):
        db = get_db()
        for obj in data:
            col = obj.pop('_collection')
            col = getattr(db, col)
            col.save(obj, save=True)

到此为止，就实现了fixture加载的部分了。要每次运行测试之前加载fixture，在app目录下创建一个fixtures目录，再在其下创建相应的fixture，例如users.json。在TestCase中，fixtures数据指向fixture的文件名称：

class UserTestCase(DjangoTestCase):
	fixtures = [ 'users.json', 'other fixture...' ]

另外还需要在运行时创建测试数据库，在测试运行完成之后drop掉数据库。实现起来也很容易，只需要覆盖DjangoTestSuiteRunner的setup_databases和teardown_databases方法就可以了。

class MongoTestSuiteRunner(DjangoTestSuiteRunner):
    def setup_databases(self, **kwargs):
        self._test_dbname = 'test_' + settings.MONGODB_NAME
        settings.MONGODB_NAME = self._test_dbname

		# do some database intialize work here
		# ...

        return super(MongoTestSuiteRunner, self).setup_databases(**kwargs)

    def teardown_databases(self, old_config, **kwargs):
        conn = get connection ...
        print 'drop mongo database %s...' % self._test_dbname
        conn.drop_database(self._test_dbname)
        
        super(MongoTestSuiteRunner, self).teardown_databases(old_config, **kwargs)

最后还需要在settings.py中指定testrunner为MongoTestSuiteRunner:

TEST_RUNNER = 'project.utils.test.SATestSuiteRunner'

完成这些工作之后就可以直接使用DjangoTestCase来写单元测试了，我就不教怎么写了。