论坛首页 Java企业应用论坛

搜索篇:lucene简单实例<二>

浏览 48713 次
精华帖 (0) :: 良好帖 (7) :: 新手帖 (0) :: 隐藏帖 (1)
作者 正文
   发表时间:2006-12-20  
写文章的时候,感觉比较难写的就是标题,有时候不知道起什么名字好,反正这里写的都是关于lucene的一些简单的实例,就随便起啦.

Lucene 其实很简单的,它最主要就是做两件事:建立索引和进行搜索
来看一些在lucene中使用的术语,这里并不打算作详细的介绍,只是点一下而已----因为这一个世界有一种好东西,叫搜索。

IndexWriter:lucene中最重要的的类之一,它主要是用来将文档加入索引,同时控制索引过程中的一些参数使用。

Analyzer:分析器,主要用于分析搜索引擎遇到的各种文本。常用的有StandardAnalyzer分析器,StopAnalyzer分析器,WhitespaceAnalyzer分析器等。

Directory:索引存放的位置;lucene提供了两种索引存放的位置,一种是磁盘,一种是内存。一般情况将索引放在磁盘上;相应地lucene提供了FSDirectory和RAMDirectory两个类。

Document:文档;Document相当于一个要进行索引的单元,任何可以想要被索引的文件都必须转化为Document对象才能进行索引。

Field:字段。

IndexSearcher:是lucene中最基本的检索工具,所有的检索都会用到IndexSearcher工具;

Query:查询,lucene中支持模糊查询,语义查询,短语查询,组合查询等等,如有TermQuery,BooleanQuery,RangeQuery,WildcardQuery等一些类。

QueryParser: 是一个解析用户输入的工具,可以通过扫描用户输入的字符串,生成Query对象。

Hits:在搜索完成之后,需要把搜索结果返回并显示给用户,只有这样才算是完成搜索的目的。在lucene中,搜索的结果的集合是用Hits类的实例来表示的。

上面作了一大堆名词解释,下面就看几个简单的实例吧:
1、简单的的StandardAnalyzer测试例子
package lighter.iteye.com;

import java.io.IOException;
import java.io.StringReader;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.Token;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.standard.StandardAnalyzer;

public class StandardAnalyzerTest 
{
	//构造函数,
	public StandardAnalyzerTest()
	{
	}
	public static void main(String[] args) 
	{
		//生成一个StandardAnalyzer对象
		Analyzer aAnalyzer = new StandardAnalyzer();
		//测试字符串
		StringReader sr = new StringReader("lighter javaeye com is the are on");
		//生成TokenStream对象
		TokenStream ts = aAnalyzer.tokenStream("name", sr);	
		try {
			int i=0;
			Token t = ts.next();
			while(t!=null)
			{
				//辅助输出时显示行号
				i++;
				//输出处理后的字符
				System.out.println("第"+i+"行:"+t.termText());
				//取得下一个字符
				t=ts.next();
			}
		} catch (IOException e) {
			e.printStackTrace();
		}
	}
}

显示结果:
引用
第1行:lighter
第2行:javaeye
第3行:com

提示一下:
StandardAnalyzer是lucene中内置的"标准分析器",可以做如下功能:
1、对原有句子按照空格进行了分词
2、所有的大写字母都可以能转换为小写的字母
3、可以去掉一些没有用处的单词,例如"is","the","are"等单词,也删除了所有的标点
查看一下结果与"new StringReader("lighter javaeye com is the are on")"作一个比较就清楚明了。
这里不对其API进行解释了,具体见lucene的官方文档。需要注意一点,这里的代码使用的是lucene2的API,与1.43版有一些明显的差别。

2、看另一个实例,简单地建立索引,进行搜索
package lighter.iteye.com;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.document.Field;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.queryParser.QueryParser;
import org.apache.lucene.search.Hits;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.search.Query;
import org.apache.lucene.store.FSDirectory;

public class FSDirectoryTest {

	//建立索引的路径
	public static final String path = "c:\\index2";

	public static void main(String[] args) throws Exception {
		Document doc1 = new Document();
		doc1.add( new Field("name", "lighter javaeye com",Field.Store.YES,Field.Index.TOKENIZED));

		Document doc2 = new Document();
		doc2.add(new Field("name", "lighter blog",Field.Store.YES,Field.Index.TOKENIZED));

		IndexWriter writer = new IndexWriter(FSDirectory.getDirectory(path, true), new StandardAnalyzer(), true);
		writer.setMaxFieldLength(3);
		writer.addDocument(doc1);
		writer.setMaxFieldLength(3);
		writer.addDocument(doc2);
		writer.close();

		IndexSearcher searcher = new IndexSearcher(path);
		Hits hits = null;
		Query query = null;
		QueryParser qp = new QueryParser("name",new StandardAnalyzer());
		
		query = qp.parse("lighter");
		hits = searcher.search(query);
		System.out.println("查找\"lighter\" 共" + hits.length() + "个结果");

		query = qp.parse("javaeye");
		hits = searcher.search(query);
		System.out.println("查找\"javaeye\" 共" + hits.length() + "个结果");

	}

}

运行结果:
查找"lighter" 共2个结果
查找"javaeye" 共1个结果


很久没有看lucene了,这两三天又复习了一下,上一些代码都是前几个月写的,只是改动了一些字符串和包名显示。转载时请说明,文章来自:http://lighter.iteye.com。
如有什么错误的地方,恳请指出,谢谢。
   发表时间:2006-12-21  
        //测试字符串  
        StringReader sr = new StringReader("lighter javaeye com");  
        //生成TokenStream对象  
        TokenStream ts = aAnalyzer.tokenStream("name", sr);  
请问:以上的解析是按什么来解析,为什么他会自动的按空格或者","进行字符分割,再一个当SR里输入是中文字符时,他将会对每个字进行分割,请问这是为什么,同时这功能的实现又意为着什么呢.....????
0 请登录后投票
   发表时间:2006-12-21  
wen19851025 写道
        //测试字符串  
        StringReader sr = new StringReader("lighter javaeye com");  
        //生成TokenStream对象  
        TokenStream ts = aAnalyzer.tokenStream("name", sr);  
请问:以上的解析是按什么来解析,为什么他会自动的按空格或者","进行字符分割,再一个当SR里输入是中文字符时,他将会对每个字进行分割,请问这是为什么,同时这功能的实现又意为着什么呢.....????

StandardAnalyzer是lucene中内置的"标准分析器",可以做如下功能:
1、对原有句子按照空格进行了分词
2、所有的大写字母都可以能转换为小写的字母
3、可以去掉一些没有用处的单词,例如"is","the","are"等单词,也删除了所有的标点
同时也可以对中文进行分词(效果不好),现在有很多的中文分词包可以采用
1 请登录后投票
   发表时间:2006-12-21  
呵呵....这么说来这东东还是挺不错的....但不知道这在东东一般会应于什么样的项中.....我做了这么久还没遇见过这种需求....我是做教育软件地....
1 请登录后投票
   发表时间:2006-12-21  
wen19851025 写道
不知道这在东东一般会应于什么样的项中.....我做了这么久还没遇见过这种需求....我是做教育软件地....

举一段网上的话:
引用
基于Lucene的全文检索产品(Lucene本身只是一个组件,而非一个完整的应用)和应用Lucene的项目在世界各地已经非常之多,比较知名的有:
       Eclipse:主流Java开发工具,其帮助文档采用Lucene作为检索引擎
       Jive:知名论坛系统,其检索功能基于Lucene
      Ifinder:出自德国的网站检索系统,基于Lucene(http://ifinder.intrafind.org/)
       MIT DSpace Federation:一个文档管理系统(http://www.dspace.org/)
国内外采用Lucene作为网站全文检索引擎的也很多,比较知名的有:
        http://www.blogchina.com/weblucene/
       http://www.ioffer.com/
       http://search.soufun.com/
0 请登录后投票
   发表时间:2006-12-22  
呵呵,你引用的这段话看上去很眼熟,让我想起了一本书(买了之后比较后悔的一本书)。
0 请登录后投票
   发表时间:2006-12-22  
just4you 写道
呵呵,你引用的这段话看上去很眼熟,让我想起了一本书(买了之后比较后悔的一本书)。

我也不知道谁说的,只是引用网的文章的一小段话.
买了后悔的书???
0 请登录后投票
   发表时间:2006-12-24  
敢问楼主:lucene只是用来搜索文档中的内容的吗,任何文档都能搜吗,还能搜索其他东西吗?能否用一小段话来概括它的作用,和适用场景
0 请登录后投票
   发表时间:2006-12-24  
回楼上的:
lucene不管数据来源是什么格式,只要它能被转化为文字的形式,就可以被lucene分析利用,对其进行索引和搜索.简单地说,lucene可以对任何的数据做索引和搜索,不管文件是Word,pdf格式,只要可以从中抽取文字形式的内容就可以被lucene利用啦.
0 请登录后投票
   发表时间:2006-12-25  
lighter 写道
回楼上的:
lucene不管数据来源是什么格式,只要它能被转化为文字的形式,就可以被lucene分析利用,对其进行索引和搜索.简单地说,lucene可以对任何的数据做索引和搜索,不管文件是Word,pdf格式,只要可以从中抽取文字形式的内容就可以被lucene利用啦.

哦,谢谢,明白多了
0 请登录后投票
论坛首页 Java企业应用版

跳转论坛:
Global site tag (gtag.js) - Google Analytics