Lucene

Lucene 是apache软件基金会的一个开源项目，它是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，以及文本分析引擎，它可以很方便的让开发人员在自己的项目中实现全文检索的功能。

 

很久前都听说过lucene，也简单的了解过，但是项目没有需要就一直没有仔细研究下，现在刚好有这个需求，本来应该研究Solr的，但是Solr是基于Lucene的扩展，不了解Lucene就直接开始看Solr就算能看懂也是很浅层次的，于是开始行动，我选择的lucene版本是新的4.10.3。

 

说到这里，扫盲下什么全文检索。

全文检索是一种将文件中所有文本与检索项匹配的文字资料检索方法。

 

我的一句话理解是：通过建立的文本文件索引去快速查找文本内容的一种技术。

所以，简单来看这种技术有两种动作，一、建索引，二，根据索引查找。

 

今天想了解的，是两者都会用到的中间结果-索引文件，放哪里和如何使用。

除了官网文档之外没有多余的电子文档，也没有书，只是去下了源码，塞到eclipse去跑了下例子。

接下来直接看源码和文档。

 

看网上有很多讨论各种中文分词器的时候，在项目中看到了有ChineseAnalyzer,以为标准的 StandarAnalyzer不支持中文呢，结果经过测试发现已经支持了，只是要注意你的中文文档的编码，API文档上也说明了，怪自己偷懒 。

 

例子中的IndexFiles 和SearchFiles已经很强大，也写的很清楚了。接口很简单，给个文档路径告诉lucene给那个文件夹下的文档建立索引，然后再个文件夹告诉lucene索引文件放哪个文件夹下就算配置完了。

 

有了Eclipse 和源码，不喜欢用命令行的方式运行例子的方法，相反我写了一个简单的类去跑这两个例子。

package org.apache.lucene.demo;

public class MyTest {
	static final String index_path = "D:\\workspace\\lucene_index";
	static final String docs_path = "D:\\workspace\\lucene_docs";

	public static void main(String[] args) {
		indexTest();
		searchTest();
	}

	public static void indexTest() {
		IndexFiles.main(new String[] { "-docs", docs_path, "-index",
				index_path, "-update" });

	}

	public static void searchTest() {
		try {
			SearchFiles.main(new String[] { "-query", "contents:王重阳", "-index",
					index_path });
		} catch (Exception e) {
			e.printStackTrace();
		}

	}
}

 

如果专注于索引文件的存储，会发现例子中用了FSDirectory的类来完成索引文件的存放。看看API 文档找出相关的类和说明。

 1. Directory 顶层的抽象类

public abstract class Directory extends Object implements Closeable

 Directory 系列的根类，定义了最基本的行为。

//删除文件
public abstract void deleteFile(String name)
       throws IOException;

//创建一个新的，空的文件，返回一个文件输出流（写文件）
public abstract IndexOutput createOutput(String name, IOContext context)
       throws IOException;

//返回一个文件的输入流（读文件）
public abstract IndexInput openInput(String name, IOContext context) throws IOException;

 

2. BaseDirectory 

    Directory 的基本实现, 后面还有分支。

public abstract class BaseDirectory extends Directory

    其实里面只实现了有关Lock的东西，其它的基本没有做。 

 

3. FilterDirectory

    Directory 的扩展分支，被用来对已经存在的Directory类添加限制，比如说rate, limiting。

public class FilterDirectory extends Directory

    子类先不讨论//TODO

 

4. CompoundFileDirectory

    访问组合的流。//TODO

public final class CompoundFileDirectory extends BaseDirectory

 

5. FileSwitchDirectory

    可以在两个不同的Directory实例中做switch文件

public class FileSwitchDirectory extends BaseDirectory

    听起来不错，什么情况下会用呢？

 

6. FSDirectory

    在文件系统中存储索引文件的一种方法，是目前使用的最多的，有以下三个子类。

    6.1 SimpleFSDirectory

    利用java.io.RandomAccessFile来实现的，但是在多线程并发读文件的时候性能不好。

    6.2 NIOFSDirectory

    利用java.nio FileChannel 的Positional io来实现的异步IO的读取，不幸的是在Windows下的SUM JRE有个BUG表示这不是一种好的方法，但是在其它平台来看的话是首选。

    6.3 MMapDirectory

    利用memory-mapped 来完成读文件，如果你有大量的虚拟内存的话（和你的索引大小相当），这将是一个好的选择。

 

    因为不同的系统的特殊性，没有一个可以覆盖所有情况的实现，所以添加了一个open(java.io.Fle)的方法来让Lucene来根据你的环境选择一个最好的Directory实现，所以建议对使用lucene的开发人员来说，没有理由去自己选择一个特殊的实现。