搜索篇:lucene的简单实例<一>

说明一下,这一篇文章的用到的lucene,是用2.0版本的,主要在查询的时候2.0版本的lucene与以前的版本有了一些区别.
其实这一些代码都是早几个月写的,自己很懒,所以到今天才写到自己的博客上,高深的文章自己写不了，只能记录下一些简单的记录与点滴，其中的代码算是自娱自乐的，希望高手不要把重构之类的砸下来...

1、在windows系统下的的C盘，建一个名叫s的文件夹,在该文件夹里面随便建三个txt文件，随便起名啦，就叫"1.txt","2.txt"和"3.txt"啦
其中1.txt的内容如下：

中华人民共和国
全国人民
2006年

而"2.txt"和"3.txt"的内容也可以随便写几写，这里懒写，就复制一个和1.txt文件的内容一样吧

2、下载lucene包，放在classpath路径中
建立索引:

package lighter.iteye.com;

import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStreamReader;
import java.util.Date;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.document.Field;
import org.apache.lucene.index.IndexWriter;

/**
 * author lighter date 2006-8-7
 */
public class TextFileIndexer {
	public static void main(String[] args) throws Exception {
		/* 指明要索引文件夹的位置,这里是C盘的S文件夹下 */
		File fileDir = new File("c:\\s");

		/* 这里放索引文件的位置 */
		File indexDir = new File("c:\\index");
		Analyzer luceneAnalyzer = new StandardAnalyzer();
		IndexWriter indexWriter = new IndexWriter(indexDir, luceneAnalyzer,
				true);
		File[] textFiles = fileDir.listFiles();
		long startTime = new Date().getTime();
		
		//增加document到索引去
		for (int i = 0; i < textFiles.length; i++) {
			if (textFiles[i].isFile()
					&& textFiles[i].getName().endsWith(".txt")) {
				System.out.println("File " + textFiles[i].getCanonicalPath()
						+ "正在被索引....");
				String temp = FileReaderAll(textFiles[i].getCanonicalPath(),
						"GBK");
				System.out.println(temp);
				Document document = new Document();
				Field FieldPath = new Field("path", textFiles[i].getPath(),
						Field.Store.YES, Field.Index.NO);
				Field FieldBody = new Field("body", temp, Field.Store.YES,
						Field.Index.TOKENIZED,
						Field.TermVector.WITH_POSITIONS_OFFSETS);
				document.add(FieldPath);
				document.add(FieldBody);
				indexWriter.addDocument(document);
			}
		}
		//optimize()方法是对索引进行优化
		indexWriter.optimize();
		indexWriter.close();
		
		//测试一下索引的时间
		long endTime = new Date().getTime();
		System.out
				.println("这花费了"
						+ (endTime - startTime)
						+ " 毫秒来把文档增加到索引里面去!"
						+ fileDir.getPath());
	}

	public static String FileReaderAll(String FileName, String charset)
			throws IOException {
		BufferedReader reader = new BufferedReader(new InputStreamReader(
				new FileInputStream(FileName), charset));
		String line = new String();
		String temp = new String();
		
		while ((line = reader.readLine()) != null) {
			temp += line;
		}
		reader.close();
		return temp;
	}
}

索引的结果：

File C:\s\1.txt正在被索引....
中华人民共和国全国人民2006年
File C:\s\2.txt正在被索引....
中华人民共和国全国人民2006年
File C:\s\3.txt正在被索引....
中华人民共和国全国人民2006年
这花费了297 毫秒来把文档增加到索引里面去!c:\s

3、建立了索引之后，查询啦....

package lighter.iteye.com;

import java.io.IOException;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.queryParser.ParseException;
import org.apache.lucene.queryParser.QueryParser;
import org.apache.lucene.search.Hits;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.search.Query;

public class TestQuery {
	public static void main(String[] args) throws IOException, ParseException {
		Hits hits = null;
		String queryString = "中华";
		Query query = null;
		IndexSearcher searcher = new IndexSearcher("c:\\index");

		Analyzer analyzer = new StandardAnalyzer();
		try {
			QueryParser qp = new QueryParser("body", analyzer);
			query = qp.parse(queryString);
		} catch (ParseException e) {
		}
		if (searcher != null) {
			hits = searcher.search(query);
			if (hits.length() > 0) {
				System.out.println("找到:" + hits.length() + " 个结果!");
			}
		}
	}

}

其运行结果：

引用

找到:3 个结果!

具体的API的用法，这里就不说了，具体的做法参考lucene的官方文档吧...
下一篇文章:
搜索篇:lucene的简单实例<二> http://www.iteye.com/post/190576

评论

27 楼 Tin 2006-12-26  

好文，把lucene说的好简单，平易近人:D

26 楼 shaucle 2006-12-26  

太好了

25 楼 lighter 2006-12-25  

shaucle 写道

果真是简单实例．．．
精典入门篇，不知有兴趣写compass的没

过一排可能会写一个,代码是在八九月份写的,是一个简单的demo;
当初在lucene和compass之间权衡选择,后来选择了compass.同组的一个伙伴就负责的;
我只是看了compass简单的一些东西,做了一个简单的eXtremeComponents+compass+SSH的demo,有空的时候再共享上来啦...

24 楼 icekzl 2006-12-25  

很荣幸...
  自己刚刚上路,能发现如此量身的帖子..谢谢..

23 楼 shaucle 2006-12-22  

果真是简单实例．．．
精典入门篇，不知有兴趣写compass的没

一次性读流的话（不是边读边写），这里还有个方法，不知管用否：

	private static byte[] readAsByte(InputStream in)throws IOException {
	    byte[] content = new byte[(int) in.available()];
	    try {
			in.read(content, 0, content.length);
		} finally {
			closeSilently(in);
		}
		return content;
	}

	public static String read(String fileName) throws IOException {
	    return read(new FileInputStream(fileName));
	}
	public static String read(InputStream in, String encoding) throws IOException {
		return new String(readAsByte(in), encoding);
	}

22 楼 lighter 2006-12-22  

江南白衣 写道

lighter，方便的话，为springside wiki的lucene条目编写一些文档？ ：）

乐意帮忙啊,这一排有些忙,推后一些日子再写啰

21 楼 ouspec 2006-12-22  

已经开了lucene专栏

http://www.iteye.com/subject/Lucene

期待更多精彩内容

20 楼 江南白衣 2006-12-22  

.......

19 楼 lighter 2006-12-21  

windyboy 写道

我前端时间也在做lucene方面的事情，主要是帮论坛做搜索
关于中文切分词也研究过一下，之前网上流传的那个海量的词库，如果在java中用的话，也是可以的，但是发现对于某些特殊字符会抛出异常，究竟是dll的问题，还是JNI的问题也就没有深究。
后来的解决方法是找了一个词典文件，做了一个树状结构，效率还是相当的高的。
后来遇到的主要问题在于对于大量的数据，如果使用磁盘的索引形式会大大影响索引效率，后来用了折中的办法，让近期的帖子放在内存中，时间长的放在磁盘上。虽然说解决了一部分问题，但觉得还是不理想，不知道大家在使用过程中是否也遇到了同样的问题？如何解决的？

还没有真正地在项目运用lucene
中文的切分词各家有各家的难题啊,不过这一方向研究的人慢慢地多啦,解决的方法会越来越优的
btw:讨论的人多了,很有意思啦,有一点念头想成立一个关于lucene,compass,stripes的圈子

18 楼 balaschen 2006-12-21  

中文分词，如果不追求索引文件大小的话，一个汉字一个汉字的切分就可以了，对于词组的查询，可以转换成对短语的查询，比如查询 中国，可转成“中国”，采用一个字一个字切分，最大的好处就是简单，查全率高，坏处就是查准率稍微低点，比如上面的例子会把“发展中国家”也查出来，使用特定的分词算法，要牺牲点效率，带来的好处就是索引文件小，查准率高，但由于中文分词不可能100％准确，总存在歧义，查全率差点。个人认为非internet的应用，数据量非天量的情况，用一个汉字一个汉字切分的方法，足以应付绝大多数应用。我们一个法律法规查询的系统，就采用这种方式，用了快两年，客户从没抱怨过什么问题。

17 楼 galaxystar 2006-12-21  

好像跟ajax and lucene书上差不多！不错很经典的说！

16 楼 lighter 2006-12-21  

limx 写道

Field 这个类  2.0做了修改？
请楼主讲讲2.0相对以前都有哪些改进

看这一篇文章,里面有讲一些
http://hi.baidu.com/netpet/blog/item/4fb2d2c42a2ef7cb38db49b5.html

15 楼 znjq 2006-12-21  

中文主要看分词库和对应的算法，lucene自带的中文Analyzer是简单二元分词法，效果并不好

14 楼 toyota2006 2006-12-21  

成啊！

13 楼 limx 2006-12-21  

Field 这个类  2.0做了修改？

请楼主讲讲2.0相对以前都有哪些改进

12 楼 lighter 2006-12-21  

Lucas Lee 写道

那如果没有一个可用的中文分词算法，那lucene目前对我们搞中文应用的，没有直接的意义咯？
我倒是看到lucene2.0里有对中文专门处理的一个包，尚没深入研究。
另外，我看到一些资料说，简单二元分词法，虽然粗糙，但是简单可用，不依赖于词典，例如：中国人民，会分词为"中国","国人","人民"。

只是用过网上一些公开的分词包,java版的fenci,AutoSplit等几个分词，测试一下速度和其他一些数据,具体的实现没有研究过。二元分词法，lucene有提供，好像叫CJKAnalyzer..

11 楼 LucasLee 2006-12-21  

那如果没有一个可用的中文分词算法，那lucene目前对我们搞中文应用的，没有直接的意义咯？
我倒是看到lucene2.0里有对中文专门处理的一个包，尚没深入研究。
另外，我看到一些资料说，简单二元分词法，虽然粗糙，但是简单可用，不依赖于词典，例如：中国人民，会分词为"中国","国人","人民"。

10 楼 lighter 2006-12-21  

Lucas Lee 写道

还不错啦。
不过代码的示例作用有限，大概只能运行起来而已。是不是能处理中文的检索，我特别关心中文分词的算法。

中文分词的算法的实现工具,目前应该最好一个应该是C语言版ICTCLAS,中国科学院什么所研究的

9 楼 LucasLee 2006-12-21  

还不错啦。
不过代码的示例作用有限，大概只能运行起来而已。是不是能处理中文的检索，我特别关心中文分词的算法。

8 楼 lighter 2006-12-21  

balaschen 写道

引用

说明一下,这一篇文章的用到的lucene,是用2.0版本的,主要在查询的时候2.0版本的lucene与以前的版本有了一些区别.

主要区别在什么地方啊，从你的代码看，方法好像是一样？

打一个例子吧,
这是lucene2.0的API

 QueryParser qp = new QueryParser("body", analyzer);   
 query = qp.parse(queryString);   

这是lucene1.4.3版的API 

 query = QueryParser.parse(key,queryString,new new StandardAnalyzer());

详细的改动看一些官方的文档就清楚啦