[转]Berkeley DB Java Edition使用说明

一、             简介

       Berkeley DB Java Edition (JE)是一个完全用JAVA写的，它适合于管理海量的，简单的数据。

l         能够高效率的处理1到1百万条记录，制约JE数据库的往往是硬件系统,而不是JE本身。

l         多线程支持，JE使用超时的方式来处理线程间的死琐问题。

l         Database都采用简单的key/value对应的形式。

l         事务支持。

l         允许创建二级库。这样我们就可以方便的使用一级key,二级key来访问我们的数据。

l         支持RAM缓冲，这样就能减少频繁的IO操作。

l         支持日志。

l         数据备份和恢复。

l         游标支持。

二、             获取JE

JE下载地址：

http://www.oracle.com/technology/software/products/berkeley-db/je/index.html

解开包后 把JE_HOME/lib/je-<version>.jar 中的jar文件添加到你的环境变量中就可以使用je了。

相关帮助文档可以参考 JE_HOME/docs/index.html

源代码见JE_HOME/src/*.*

三、             JE常见的异常

DatabaseNotFoundException 当没有找到指定的数据库的时候会返回这个异常

DeadlockException 线程间死锁异常

RunRecoveryException 回收异常，当发生此异常的时候，你必须得重新打开环境变量。

四、             关于日志文件必须了解的六项

JE的日志文件跟其他的数据库的日志文件不太一样，跟C版的DBD也是有区别的

l         JE的日志文件只能APPEND，第一个日志文件名是 00000000.jdb，当他增长到一定大小的时候(默认是10M)，开始写第二个日志文件00000001.jdb，已此类推。

l         跟C版本有所不同，JE的数据日志和事务日志是放在一起的，而不是分开放的。

l         JE cleaner负责清扫没用到的磁盘空间，删除后，或者更新后新的记录会追加进来，而原有的记录空间就不在使用了，cleaner负责清理不用的空间。

l         清理并不是立即进行的，当你关闭你的数据库环境后，通过调用一个cleaner方法来清理。

l         清理也不是只动执行的，需要你自己手动调用cleaner 方法来定时清理的。

l         日志文件的删除仅发生在检查点之后。cleaner准备出哪些log 文件需要被删除，当检查点过后，删掉一些不在被使用的文件。每写20M的日志文件就执行一次检查点，默认下。

五、             创建数据库环境

JE要求在任何DATABASE操作前，要先打开数据库环境，就像我们要使用数据库的话必须得先建立连接一样。你可以通过数据库环境来创建和打开database，或者更改database名称和删除database.

可以通过Environments对象来打开环境，打开环境的时候设置的目录必须是已经存在的目录，否则会出错误。默认情况下，如果指定的database不存在则不会自动创建一个新的detabase,但可以通过设置setAllowCreate来改变这一情况。

1.         打开database环境

示例：

package je.gettingStarted;

import com.sleepycat.je.DatabaseException;

import com.sleepycat.je.Environment;

import com.sleepycat.je.EnvironmentConfig;

import java.io.File;

 

...

 

Environment myDbEnvironment = null;

 

try {

    EnvironmentConfig envConfig = new EnvironmentConfig();

    envConfig.setAllowCreate(true);//如果不存在则创建一个

    myDbEnvironment = new Environment(new File("/export/dbEnv"), envConfig);

} catch (DatabaseException dbe) {

    // 错误处理

}

2.         关闭database环境

可以通过Environment.close()这个方法来关闭database环境，当你完成数据库操作后一定要关闭数据库环境。

示例：

import com.sleepycat.je.DatabaseException;

import com.sleepycat.je.Environment;

 

...

 

try {

    if (myDbEnvironment != null) {

        myDbEnvironment.close();

    }

} catch (DatabaseException dbe) {

    // Exception handling goes here

}

3.         清理日志

通常在关闭数据库连接的时候，有必要清理下日志，用以释放更多的磁盘空间。我们可以在Environment.close前执行下Environment.cleanLog()来达到此目的。

示例：

import com.sleepycat.je.DatabaseException;

import com.sleepycat.je.Environment;

 

...

 

try {

    if (myDbEnvironment != null) {

        myDbEnvironment.cleanLog(); // 在关闭环境前清理下日志

        myDbEnvironment.close();

    }

} catch (DatabaseException dbe) {

    // Exception handling goes here

}

4.         Database环境的配置

可以通过EnvironmentConfig这个对象来配置database环境。如果想得到当前环境的配置信息则可以通过Environment.getConfig()方法得到当前环境的配置信息。

也可以使用EnvironmentMutableConfig来配置环境，其实 EnvironmentConfig是EnvironmentMutableConfig的子类，所以EnvironmentMutableConfig能够使用的设置，EnvironmentConfig也同样能够使用。

如果你要获取当前环境的使用情况，那么你可以通过使用EnvironmentStats.getNCacheMiss().来监视RAM cache命中率。EnvironmentStats可以由Environment.getStats()方法获取。

EnvironmentConfig常见方法介绍

l         EnvironmentConfig.setAllowCreate() ;

如果设置了true则表示当数据库环境不存在时候重新创建一个数据库环境，默认为false.

l         EnvironmentConfig.setReadOnly()

以只读方式打开，默认为false.

l         EnvironmentConfig.setTransactional()

事务支持,如果为true，则表示当前环境支持事务处理，默认为false，不支持事务处理。

                            EnvironmentMutableConfig的介绍

l         setCachePercent()

设置当前环境能够使用的RAM占整个JVM内存的百分比。

l         setCacheSize()

设置当前环境能够使用的最大RAM。单位BYTE

l         setTxnNoSync()

当提交事务的时候是否把缓存中的内容同步到磁盘中去。

true 表示不同步，也就是说不写磁盘

l         setTxnWriteNoSync()

当提交事务的时候，是否把缓冲的log写到磁盘上

true 表示不同步，也就是说不写磁盘

                            示例一：

package je.gettingStarted;

import com.sleepycat.je.DatabaseException;

import com.sleepycat.je.Environment;

import com.sleepycat.je.EnvironmentConfig;

import java.io.File;

 

...

 

Environment myDatabaseEnvironment = null;

try {

    EnvironmentConfig envConfig = new EnvironmentConfig();

    //当环境不存在的时候自动创建环境

       envConfig.setAllowCreate(true);

       //设置支持事务

       envConfig.setTransactional(true);

    myDatabaseEnvironment =

        new Environment(new File("/export/dbEnv"), envConfig);

} catch (DatabaseException dbe) {

   System.err.println(dbe.toString());

   System.exit(1);

}

                  示例二：

package je.gettingStarted;

import com.sleepycat.je.DatabaseException;

import com.sleepycat.je.Environment;

import com.sleepycat.je.EnvironmentMutableConfig;

import java.io.File;

...

try {

    Environment myEnv = new Environment(new File("/export/dbEnv"), null);

    EnvironmentMutableConfig envMutableConfig =

        new EnvironmentMutableConfig();

    envMutableConfig.setTxnNoSync(true);

    myEnv.setMutableConfig(envMutableConfig);

} catch (DatabaseException dbe) {

    // Exception handling goes here

}

                            示例三:

import com.sleepycat.je.Environment;

...

//没有命中的CACHE

long cacheMisses = myEnv.getStats(null).getNCacheMiss();

...

5.         Database操作

在BDB中，数据是以key/value方式成队出现的。

打开database

       可以通过environment.openDatabase()方法打开一个database,在调用这个方法的时候必须指定database的名称。和databaseConfig() (注：数据库设置)

       示例：

package je.gettingStarted;

import com.sleepycat.je.Database;

import com.sleepycat.je.DatabaseConfig;

import com.sleepycat.je.DatabaseException;

import com.sleepycat.je.Environment;

import com.sleepycat.je.EnvironmentConfig;

import java.io.File;

...

Environment myDbEnvironment = null;

Database myDatabase = null;

...

try {

    // 打开一个环境，如果不存在则创建一个

    EnvironmentConfig envConfig = new EnvironmentConfig();

    envConfig.setAllowCreate(true);

    myDbEnvironment = new Environment(new File("/export/dbEnv"), envConfig);

 

    // 打开一个数据库，如果数据库不存在则创建一个

    DatabaseConfig dbConfig = new DatabaseConfig();

    dbConfig.setAllowCreate(true);

    myDatabase = myDbEnvironment.openDatabase(null,

"sampleDatabase", dbConfig); //打开一个数据库，数据库名为

                                   //sampleDatabase,数据库的配置为dbConfig

} catch (DatabaseException dbe) {

    // 错误处理

}

关闭database

       通过调用Database.close()方法来关闭数据库，但要注意，在关闭数据库前必须得先把游标先关闭。

       使用示例：

import com.sleepycat.je.DatabaseException;

import com.sleepycat.je.Database;

import com.sleepycat.je.Environment;

...

try {

        if (myDatabase != null) {

            myDatabase.close();

        }

        if (myDbEnvironment != null) {

            myDbEnvironment.close();

        }

} catch (DatabaseException dbe) {

    // 错误处理

}

设置数据库属性

       其实设置数据库属性跟设置环境属性差不多，JE中通过DatabaseConfig对象来设置数据库属性。你能够设置的数据库属性如下。

l         DatabaseConfig.setAllowCreate()

如果是true的话，则当不存在此数据库的时候创建一个。

l         DatabaseConfig.setBtreeComparator()

设置用于Btree比较的比较器，通常是用来排序

l         DatabaseConfig.setDuplicateComparator()

设置用来比较一个key有两个不同值的时候的大小比较器。

l         DatabaseConfig.setSortedDuplicates()

设置一个key是否允许存储多个值，true代表允许，默认false.

l         DatabaseConfig.setExclusiveCreate()

以独占的方式打开，也就是说同一个时间只能有一实例打开这个database。

l         DatabaseConfig.setReadOnly()

以只读方式打开database,默认是false.

l         DatabaseConfig.setTransactional()

如果设置为true,则支持事务处理，默认是false，不支持事务。

                            使用示例：

package je.gettingStarted;

import com.sleepycat.je.DatabaseException;

import com.sleepycat.je.Database;

import com.sleepycat.je.DatabaseConfig;

...

// Environment open omitted for brevity

...

Database myDatabase = null;

try {

    DatabaseConfig dbConfig = new DatabaseConfig();

    dbConfig.setAllowCreate(true);

    dbConfig.setSortedDuplicates(true);

    myDatabase =

        myDbEnv.openDatabase(null,

                             "sampleDatabase",

                             dbConfig);

} catch (DatabaseException dbe) {

    // Exception handling goes here.

}

一些用来管理的方法

l         Database.getDatabaseName()

取得数据库的名称

如：String dbName = myDatabase.getDatabaseName();

l         Database.getEnvironment()

取得包含这个database的环境信息

如：Environment theEnv = myDatabase.getEnvironment();

l         Database.preload()

预先加载指定bytes的数据到RAM中。

如：myDatabase.preload(1048576l); // 1024*1024

l         Environment.getDatabaseNames()

返回当前环境下的数据库列表

如：

import java.util.List;

List myDbNames = myDbEnv.getDatabaseNames();

for(int i=0; i < myDbNames.size(); i++) {

    System.out.println("Database Name: " + (String)myDbNames.get(i));

}

l         Environment.removeDatabase()

删除当前环境中指定的数据库。

如：

String dbN

评论

3 楼 chuanwang66 2012-06-08  

同2楼啊，试过更大规模的数据量吗：）

2 楼 Programmer2.x 2009-04-26  

有试过大数据量的插入吗？

比如1亿条，速度，性能会怎么样呢？

1 楼 qhsoft 2009-03-04  

不错，不过好像不能设置索引类型。


黄金矿工