搜索篇：lucene简单实例<二>

写文章的时候,感觉比较难写的就是标题,有时候不知道起什么名字好,反正这里写的都是关于lucene的一些简单的实例,就随便起啦.

Lucene 其实很简单的,它最主要就是做两件事:建立索引和进行搜索
来看一些在lucene中使用的术语,这里并不打算作详细的介绍,只是点一下而已----因为这一个世界有一种好东西，叫搜索。

IndexWriter:lucene中最重要的的类之一，它主要是用来将文档加入索引，同时控制索引过程中的一些参数使用。

Analyzer:分析器,主要用于分析搜索引擎遇到的各种文本。常用的有StandardAnalyzer分析器,StopAnalyzer分析器,WhitespaceAnalyzer分析器等。

Directory:索引存放的位置;lucene提供了两种索引存放的位置，一种是磁盘，一种是内存。一般情况将索引放在磁盘上；相应地lucene提供了FSDirectory和RAMDirectory两个类。

Document:文档;Document相当于一个要进行索引的单元，任何可以想要被索引的文件都必须转化为Document对象才能进行索引。

Field：字段。

IndexSearcher:是lucene中最基本的检索工具，所有的检索都会用到IndexSearcher工具;

Query:查询，lucene中支持模糊查询，语义查询，短语查询，组合查询等等,如有TermQuery,BooleanQuery,RangeQuery,WildcardQuery等一些类。

QueryParser: 是一个解析用户输入的工具，可以通过扫描用户输入的字符串，生成Query对象。

Hits:在搜索完成之后，需要把搜索结果返回并显示给用户，只有这样才算是完成搜索的目的。在lucene中，搜索的结果的集合是用Hits类的实例来表示的。

上面作了一大堆名词解释，下面就看几个简单的实例吧:
1、简单的的StandardAnalyzer测试例子

package lighter.iteye.com;

import java.io.IOException;
import java.io.StringReader;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.Token;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.standard.StandardAnalyzer;

public class StandardAnalyzerTest 
{
	//构造函数，
	public StandardAnalyzerTest()
	{
	}
	public static void main(String[] args) 
	{
		//生成一个StandardAnalyzer对象
		Analyzer aAnalyzer = new StandardAnalyzer();
		//测试字符串
		StringReader sr = new StringReader("lighter javaeye com is the are on");
		//生成TokenStream对象
		TokenStream ts = aAnalyzer.tokenStream("name", sr);	
		try {
			int i=0;
			Token t = ts.next();
			while(t!=null)
			{
				//辅助输出时显示行号
				i++;
				//输出处理后的字符
				System.out.println("第"+i+"行:"+t.termText());
				//取得下一个字符
				t=ts.next();
			}
		} catch (IOException e) {
			e.printStackTrace();
		}
	}
}

显示结果：

引用

第1行:lighter
第2行:javaeye
第3行:com

提示一下：
StandardAnalyzer是lucene中内置的"标准分析器",可以做如下功能:
1、对原有句子按照空格进行了分词
2、所有的大写字母都可以能转换为小写的字母
3、可以去掉一些没有用处的单词，例如"is","the","are"等单词，也删除了所有的标点
查看一下结果与"new StringReader("lighter javaeye com is the are on")"作一个比较就清楚明了。
这里不对其API进行解释了，具体见lucene的官方文档。需要注意一点，这里的代码使用的是lucene2的API，与1.43版有一些明显的差别。

2、看另一个实例,简单地建立索引，进行搜索

package lighter.iteye.com;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.document.Field;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.queryParser.QueryParser;
import org.apache.lucene.search.Hits;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.search.Query;
import org.apache.lucene.store.FSDirectory;

public class FSDirectoryTest {

	//建立索引的路径
	public static final String path = "c:\\index2";

	public static void main(String[] args) throws Exception {
		Document doc1 = new Document();
		doc1.add( new Field("name", "lighter javaeye com",Field.Store.YES,Field.Index.TOKENIZED));

		Document doc2 = new Document();
		doc2.add(new Field("name", "lighter blog",Field.Store.YES,Field.Index.TOKENIZED));

		IndexWriter writer = new IndexWriter(FSDirectory.getDirectory(path, true), new StandardAnalyzer(), true);
		writer.setMaxFieldLength(3);
		writer.addDocument(doc1);
		writer.setMaxFieldLength(3);
		writer.addDocument(doc2);
		writer.close();

		IndexSearcher searcher = new IndexSearcher(path);
		Hits hits = null;
		Query query = null;
		QueryParser qp = new QueryParser("name",new StandardAnalyzer());
		
		query = qp.parse("lighter");
		hits = searcher.search(query);
		System.out.println("查找\"lighter\" 共" + hits.length() + "个结果");

		query = qp.parse("javaeye");
		hits = searcher.search(query);
		System.out.println("查找\"javaeye\" 共" + hits.length() + "个结果");

	}

}

运行结果：

查找"lighter" 共2个结果
查找"javaeye" 共1个结果

很久没有看lucene了，这两三天又复习了一下,上一些代码都是前几个月写的，只是改动了一些字符串和包名显示。转载时请说明，文章来自:http://lighter.iteye.com。
如有什么错误的地方，恳请指出，谢谢。

评论

15 楼 apollo_r 2007-03-03  

对于中文的用什么Analyzer呢？刚接触啊。。。学习中
还有一点，如果网页内容都是从库中取出来的，也是用这样做吗？？？(也就是站内搜索，没有头绪-_-!)

14 楼 lighter 2007-01-14  

这一篇文章有说一些内容关于lucene的:
http://wiki.redsaga.com/confluence/display/HART/Hibernate+Lucene+Integration
可以看一下

13 楼 YuLimin 2007-01-14  

niyong 写道

lighter 写道

回楼上的:
lucene不管数据来源是什么格式,只要它能被转化为文字的形式,就可以被lucene分析利用,对其进行索引和搜索.简单地说,lucene可以对任何的数据做索引和搜索,不管文件是Word,pdf格式,只要可以从中抽取文字形式的内容就可以被lucene利用啦.

可否利用它对数据库中的数据进行搜索？

1、将需要作索引的 table 取出來；
2、再利用 lucene 作索引，任何可以以文字形式读取的东西都可利用 lucene 作索引；
3、可以作成索引就可以查询了。

12 楼 John_wu 2006-12-28  

Lucene是一个全文检索的核心工具包，它只关心全文检索的内核部分，对于数据源没有特别的要求，lucene有自己的数据结构Document、Field，所以无论是检索数据库、word、pdf等都不是问题，只要能转化成String流就行，至于怎么转化都没有关系。
小弟最近也在做这方面的工作，大家有什么心得也可以互相交流一下。顺便问一下有没有哪位用过“极易中文分词”--MMAnalyzer，我最近刚开始使用它，有没有用过的给点经验和评价。

11 楼 lighter 2006-12-28  

可以.
如果你使用hibernate的话,看一下3.1版本起的hb的的文档,有说到hb与lucene的结合使用..

10 楼 niyong 2006-12-28  

lighter 写道

回楼上的:
lucene不管数据来源是什么格式,只要它能被转化为文字的形式,就可以被lucene分析利用,对其进行索引和搜索.简单地说,lucene可以对任何的数据做索引和搜索,不管文件是Word,pdf格式,只要可以从中抽取文字形式的内容就可以被lucene利用啦.

可否利用它对数据库中的数据进行搜索？

9 楼 ahuaxuan 2006-12-25  

lighter 写道

回楼上的:
lucene不管数据来源是什么格式,只要它能被转化为文字的形式,就可以被lucene分析利用,对其进行索引和搜索.简单地说,lucene可以对任何的数据做索引和搜索,不管文件是Word,pdf格式,只要可以从中抽取文字形式的内容就可以被lucene利用啦.

哦，谢谢，明白多了

8 楼 lighter 2006-12-24  

回楼上的:
lucene不管数据来源是什么格式,只要它能被转化为文字的形式,就可以被lucene分析利用,对其进行索引和搜索.简单地说,lucene可以对任何的数据做索引和搜索,不管文件是Word,pdf格式,只要可以从中抽取文字形式的内容就可以被lucene利用啦.

7 楼 ahuaxuan 2006-12-24  

敢问楼主：lucene只是用来搜索文档中的内容的吗，任何文档都能搜吗，还能搜索其他东西吗？能否用一小段话来概括它的作用，和适用场景

6 楼 lighter 2006-12-22  

just4you 写道

呵呵，你引用的这段话看上去很眼熟，让我想起了一本书(买了之后比较后悔的一本书)。

我也不知道谁说的,只是引用网的文章的一小段话.
买了后悔的书???

5 楼 just4you 2006-12-22  

呵呵，你引用的这段话看上去很眼熟，让我想起了一本书(买了之后比较后悔的一本书)。

4 楼 lighter 2006-12-21  

wen19851025 写道

不知道这在东东一般会应于什么样的项中.....我做了这么久还没遇见过这种需求....我是做教育软件地....

举一段网上的话:

引用

基于Lucene的全文检索产品（Lucene本身只是一个组件，而非一个完整的应用）和应用Lucene的项目在世界各地已经非常之多，比较知名的有：
       Eclipse：主流Java开发工具，其帮助文档采用Lucene作为检索引擎
       Jive：知名论坛系统，其检索功能基于Lucene
      Ifinder：出自德国的网站检索系统，基于Lucene（http://ifinder.intrafind.org/）
       MIT DSpace Federation：一个文档管理系统（http://www.dspace.org/）
国内外采用Lucene作为网站全文检索引擎的也很多，比较知名的有：
        http://www.blogchina.com/weblucene/
       http://www.ioffer.com/
       http://search.soufun.com/

3 楼 wen19851025 2006-12-21  

呵呵....这么说来这东东还是挺不错的....但不知道这在东东一般会应于什么样的项中.....我做了这么久还没遇见过这种需求....我是做教育软件地....

2 楼 lighter 2006-12-21  

wen19851025 写道

        //测试字符串  
        StringReader sr = new StringReader("lighter javaeye com");  
        //生成TokenStream对象  
        TokenStream ts = aAnalyzer.tokenStream("name", sr);  
请问:以上的解析是按什么来解析,为什么他会自动的按空格或者","进行字符分割,再一个当SR里输入是中文字符时,他将会对每个字进行分割,请问这是为什么,同时这功能的实现又意为着什么呢.....????

StandardAnalyzer是lucene中内置的"标准分析器",可以做如下功能:
1、对原有句子按照空格进行了分词
2、所有的大写字母都可以能转换为小写的字母
3、可以去掉一些没有用处的单词，例如"is","the","are"等单词，也删除了所有的标点
同时也可以对中文进行分词(效果不好),现在有很多的中文分词包可以采用

1 楼 wen19851025 2006-12-21  

        //测试字符串  
        StringReader sr = new StringReader("lighter javaeye com");  
        //生成TokenStream对象  
        TokenStream ts = aAnalyzer.tokenStream("name", sr);  
请问:以上的解析是按什么来解析,为什么他会自动的按空格或者","进行字符分割,再一个当SR里输入是中文字符时,他将会对每个字进行分割,请问这是为什么,同时这功能的实现又意为着什么呢.....????