Lucene快速入门（一）

一、理论知识准备

1．Lucene的定义

Lucene是一个由java实现的开源的全文检索引擎工具包，是一个高性能、可伸缩的信息搜索（IR）库，它可以为你的应用程序添加索引和搜索能力。

2．什么是全文检索

全文检索是计算机索引程序通过扫描文章中的每一个词，对每一个词建立一个索引，指明该词在文章中出现的次数和位置，当用户查询时，类似于根据字典的索引查字过程。

3．全文检索两个必要步骤

（1）建立索引：将信息按照一定的索引规则进行编排并存储。

（2）搜索索引：根据用户查询要求，对索引文件进行搜索并返回结果给用户。

4．Lucene具有的特点

（1）索引文件格式独立于应用平台，Lucene自定义了一套以8位字节为基础的索引文件格式，使得它能在不同的应用平台共享所建立的索引文件。

（2）在传统全文检索引擎的倒排序基础上，实现了分块索引，对新文档（Document）建立小文件索引，提升索引速度。但同时支持与原索引文件进行合并优化。
（3）设计了可以供用户设计的分词器接口，解决了不同应用分词需求不同的问题。

（4）具有高性能的创建索引与搜索实现。

 

二、Lucene入门实例：创建索引

1．准备环境

Lucene3.0 安装包、JDK1.5以上、Junit3.8以上（可以使用myeclipse自带的Junit4）。

2．第一个实例

步骤一、建立lucene_01_base java Project，导入以下jar包：

lucene-core-3.0.0.jar ：         lucene核心jar包

lucene-analyzers-3.0.0.jar：      分词器jar包

lucene-highlighter-3.0.0.jar：     查询关键字高亮器

 

步骤二、准备要被索引的文档data.txt，内容如下：

This is my first lucene ,I love Lucene。 I got a book about lucene last week。

关于lucene的介绍，Lucene是一个高效的，基于Java的全文检索库。如果你还未对lucene产生兴趣，我们建议您继续了解搜索相关的知识及应用场景。  这是我的第一次关于lucene的练习。

 

步骤三、建立BaseDemo类，代码如下：

 

 

public class BaseDemo {
	private String srcDoc = "E:\\workspace\\lucene_01_base\\lib\\data.txt"; // 被索引的源文档
	private String indexDir = "E:\\workspace\\lucene_01_base\\luceneIndex"; // 索引保存路径
	private Analyzer analyzer = new StandardAnalyzer(Version.LUCENE_30); // 分词器

	@Test
	public void createIndex() throws CorruptIndexException, LockObtainFailedException, IOException {
		// 1.创建Document对象，并完成相应的分词处理
		File file = new File(srcDoc);
		Document doc = new Document();
		doc.add(new Field("fileName", file.getName(), Store.YES, Index.ANALYZED)); // 索引并分词
		doc.add(new Field("fileSize", String.valueOf(file.length()), Store.YES, Index.NOT_ANALYZED)); // 索引，但不分词
		doc.add(new Field("fileContent", readContent(file), Store.YES, Index.ANALYZED)); // 索引并分词
		doc.add(new Field("filePath", file.getAbsolutePath(), Store.YES, Index.NO)); // 索引，但不分词

		// 2.创建索引
		IndexWriter iw = new IndexWriter(FSDirectory.open(new File(indexDir)), analyzer, true,MaxFieldLength.LIMITED); 
// true:如果没有此目录，则创建此目录，如果有，删除原索引文件并重建索引。false不会创建目录，因而如果我们开始未创建好目录则会报错。
		iw.addDocument(doc);
		iw.close();
		// 执行完成后会在luceneIndex路径下创建三类文件：cfs、segments、gen文件
	}
}

    简要分析创建索引的关键步骤：一是根据源文件建立Document对象（比如此例中我们对文件的名字、大小、内容、路径都建立了索引相应的字段域）、二是创建IndexWriter对象并添加Document对象。readContent方法就是根据一个File参数来读出文件中的内容并返回，代码如下（未对IO流进行关闭处理）：

 

 

 

 

private String readContent(File file) throws IOException {
	BufferedReader reader = new BufferedReader(new InputStreamReader(new FileInputStream(file)));
	String s = reader.readLine();
	StringBuffer content = new StringBuffer();
	while (s != null) {
		content.append(s);
		s = reader.readLine();
	}
	return content.toString();
}

 

步骤四、执行完成后可以发现在索引目录下创建了三类文件：一是cfs文件、二是gen文件、三是segments_N文件。

详细分析细节过程：在分析前我们应明确lucene索引文件的基本层次结构：索引段、文档、字段域、词。下面我们结合上面的实例来具体分析：

字段域的创建：字段域就是把一个源文件的所有信息进行分类处理，比如在上面实例中，我们把文件信息分为四类字段域：一是文件名、二是文件大小、三是文件内容、四是文件的存储路径。例子中用到的字段域Field构造方法参数解析：
Field(String name, String value,Field.Store store,Field.Index index)

 

name	字段域名称
value	字段域的值
store	是否把此字段域存储进索引
index	字段域的值是否进行分词处理

结合此构造方法解读词：词就是一个字串，更具体地说是经过分词处理后的字串。比如在上面的构造方法中value作为“源词”，当它经过index处理后便可称之为“词”。词具有两个基本信息：一是它所属的字段域，二是它的具体内容。从这个意义上讲即使两个词的内容完全相同，但是只要所属的域不同，它们则属于两个不同的词。

文档的创建：文档对象由字段域对象组成，创建时只需把字段域对象添加进文档即可。因而文档对象实质就是字段域的合并。

索引段的创建：索引段由文档对象组成，创建索引段也同样只需对文档对象进行添加操作即可。索引段的创建依赖于IndexWriter对象，此对象的主要作用就是把文档添加到索引中建立索引段，实现索引的创建。例子中用到的IndexWriter构造方法参数解析：

IndexWriter(Directory d,Analyzer a,boolean create, IndexWriter.MaxFieldLength mfl) 

d	索引的保存目录
a	使用的分词器
create	是否自动创建索引目录
mfl	索引中域的长度（词的总数）

实例总结：（1）索引创建过程：基于词创建字段域，把字段域添加文档，把文档添加进索引段。（2）索引实质就是由不同的索引段构造，或者说在索引目录中保存了许许多多的索引段。（3）cfs文件就是一种复合后的索引文件，它持有所有索引文件的句柄（引用），以便进行频繁的索引操作，而gen和segment_N文件记录了索引段的基本元信息。

3．优化索引创建

优化思路：Lucene除了支持在硬盘中建立索引目录外，还支持在内存中建立索引目录。因此我们利用内存读写速度快于硬盘来优化索引的创建。主要操作过程：首先把硬盘上的索引读到内存索引目录中，然后在内存中进行索引操作，操作完成后再把内存索引写回到硬盘索引中去。优化后的代码如下：

public void createIndexBetter() throws IOException {
	// 创建Document对象，并完成相应的分词处理
	File file = new File(srcDoc);
	Document doc = new Document();
	doc.add(new Field("fileName", file.getName(), Store.YES, Index.ANALYZED)); // 索引并分词
	doc.add(new Field("fileSize", String.valueOf(file.length()), Store.YES, Index.NOT_ANALYZED)); // 索引，但不分词
	doc.add(new Field("fileContent", readContent(file), Store.YES, Index.ANALYZED)); // 索引并分词
	doc.add(new Field("filePath", file.getAbsolutePath(), Store.YES, Index.NO)); // 不索引，也不分词
		
	// 步骤一，把硬盘中的索引目录读到内存中去
	FSDirectory fsDir = FSDirectory.open(new File(indexDir));
	RAMDirectory ramDir = new RAMDirectory(fsDir);
	IndexWriter ramIndexWriter = new IndexWriter(ramDir, analyzer, false, MaxFieldLength.UNLIMITED);

	// 步骤二，直接对内存中的索引目录进行操作，这样比操作硬盘上的索引目录快很多。
	ramIndexWriter.addDocument(doc);
	ramIndexWriter.close(); // 关闭资源，使得Document对象添加到内存索引中去。

	// 步骤三，操作完成后把内存中的索引目录写回到硬盘中去
	IndexWriter fsIndexWriter = new IndexWriter(fsDir, analyzer, true, MaxFieldLength.UNLIMITED);
	// 强调：是否重建索引目录的boolean型标志默认为false,即不重建索引目录，如果我们这里不重建目录，它会把内存中的索引再添加到硬盘上的索引中去，这样就会造成索引重复，因为内存中的索引本身就是从硬盘中的索引中读出得。
	fsIndexWriter.addIndexesNoOptimize(new Directory[] { ramDir });

	// 经过一系列的索引添加操作，可能会产生很多小的cfs文件，而如果文件数量过多，会对性能产生影响，所以我们会使用下面的操作进行优化， 以保证合并这些小的cfs文件.
	fsIndexWriter.commit();
	// 刷出缓存中的索引，准备优化。原始的fsIndexWriter.flush()被标记为过时
	fsIndexWriter.optimize(); // 优化创建的索引文件
	fsIndexWriter.close();
}

 

概括要点：（1）如何把硬盘索引目录转换成内存索引目录。（2）如何把内存索引目录中的文件写回到硬盘中去。（3）如何避免内存中索引文件写回时与硬盘索引目录的中索引文件重复。（4）合并小的cfs文件并注意在适当的时候关闭IndexWriter对象释放资源。

思考：这样就实现了优化吗。优化的思想中提到的关键句：“内存读写速度快于硬盘来优化索引的创建”。如果频繁地使用addDocument方法，即是说在步骤二中addDocument方法会被执行多次，我们可以内存读写速度快的特点来进行优化。应用场景：一是当我们对多个Document对象进行添加操作时，我们可以利用此方法创建索引；二是合并多个硬盘索引目录也可仿照此方法：首先构建一个基于内存索引目录的IndexWriter对象，然后调用addIndexesNoOptimize方法添加硬盘目录中的索引到内存索引中去，最后再把内存中的索引写回到硬盘中去。