锁定老帖子 主题:搜索篇:lucene简单实例<二>
精华帖 (0) :: 良好帖 (7) :: 新手帖 (0) :: 隐藏帖 (1)
|
|
---|---|
作者 | 正文 |
发表时间:2006-12-20
Lucene 其实很简单的,它最主要就是做两件事:建立索引和进行搜索 来看一些在lucene中使用的术语,这里并不打算作详细的介绍,只是点一下而已----因为这一个世界有一种好东西,叫搜索。 IndexWriter:lucene中最重要的的类之一,它主要是用来将文档加入索引,同时控制索引过程中的一些参数使用。 Analyzer:分析器,主要用于分析搜索引擎遇到的各种文本。常用的有StandardAnalyzer分析器,StopAnalyzer分析器,WhitespaceAnalyzer分析器等。 Directory:索引存放的位置;lucene提供了两种索引存放的位置,一种是磁盘,一种是内存。一般情况将索引放在磁盘上;相应地lucene提供了FSDirectory和RAMDirectory两个类。 Document:文档;Document相当于一个要进行索引的单元,任何可以想要被索引的文件都必须转化为Document对象才能进行索引。 Field:字段。 IndexSearcher:是lucene中最基本的检索工具,所有的检索都会用到IndexSearcher工具; Query:查询,lucene中支持模糊查询,语义查询,短语查询,组合查询等等,如有TermQuery,BooleanQuery,RangeQuery,WildcardQuery等一些类。 QueryParser: 是一个解析用户输入的工具,可以通过扫描用户输入的字符串,生成Query对象。 Hits:在搜索完成之后,需要把搜索结果返回并显示给用户,只有这样才算是完成搜索的目的。在lucene中,搜索的结果的集合是用Hits类的实例来表示的。 上面作了一大堆名词解释,下面就看几个简单的实例吧: 1、简单的的StandardAnalyzer测试例子 package lighter.iteye.com; import java.io.IOException; import java.io.StringReader; import org.apache.lucene.analysis.Analyzer; import org.apache.lucene.analysis.Token; import org.apache.lucene.analysis.TokenStream; import org.apache.lucene.analysis.standard.StandardAnalyzer; public class StandardAnalyzerTest { //构造函数, public StandardAnalyzerTest() { } public static void main(String[] args) { //生成一个StandardAnalyzer对象 Analyzer aAnalyzer = new StandardAnalyzer(); //测试字符串 StringReader sr = new StringReader("lighter javaeye com is the are on"); //生成TokenStream对象 TokenStream ts = aAnalyzer.tokenStream("name", sr); try { int i=0; Token t = ts.next(); while(t!=null) { //辅助输出时显示行号 i++; //输出处理后的字符 System.out.println("第"+i+"行:"+t.termText()); //取得下一个字符 t=ts.next(); } } catch (IOException e) { e.printStackTrace(); } } } 显示结果: 引用 第1行:lighter
第2行:javaeye 第3行:com 提示一下: StandardAnalyzer是lucene中内置的"标准分析器",可以做如下功能: 1、对原有句子按照空格进行了分词 2、所有的大写字母都可以能转换为小写的字母 3、可以去掉一些没有用处的单词,例如"is","the","are"等单词,也删除了所有的标点 查看一下结果与"new StringReader("lighter javaeye com is the are on")"作一个比较就清楚明了。 这里不对其API进行解释了,具体见lucene的官方文档。需要注意一点,这里的代码使用的是lucene2的API,与1.43版有一些明显的差别。 2、看另一个实例,简单地建立索引,进行搜索 package lighter.iteye.com; import org.apache.lucene.analysis.standard.StandardAnalyzer; import org.apache.lucene.document.Document; import org.apache.lucene.document.Field; import org.apache.lucene.index.IndexWriter; import org.apache.lucene.queryParser.QueryParser; import org.apache.lucene.search.Hits; import org.apache.lucene.search.IndexSearcher; import org.apache.lucene.search.Query; import org.apache.lucene.store.FSDirectory; public class FSDirectoryTest { //建立索引的路径 public static final String path = "c:\\index2"; public static void main(String[] args) throws Exception { Document doc1 = new Document(); doc1.add( new Field("name", "lighter javaeye com",Field.Store.YES,Field.Index.TOKENIZED)); Document doc2 = new Document(); doc2.add(new Field("name", "lighter blog",Field.Store.YES,Field.Index.TOKENIZED)); IndexWriter writer = new IndexWriter(FSDirectory.getDirectory(path, true), new StandardAnalyzer(), true); writer.setMaxFieldLength(3); writer.addDocument(doc1); writer.setMaxFieldLength(3); writer.addDocument(doc2); writer.close(); IndexSearcher searcher = new IndexSearcher(path); Hits hits = null; Query query = null; QueryParser qp = new QueryParser("name",new StandardAnalyzer()); query = qp.parse("lighter"); hits = searcher.search(query); System.out.println("查找\"lighter\" 共" + hits.length() + "个结果"); query = qp.parse("javaeye"); hits = searcher.search(query); System.out.println("查找\"javaeye\" 共" + hits.length() + "个结果"); } } 运行结果: 查找"lighter" 共2个结果 查找"javaeye" 共1个结果 很久没有看lucene了,这两三天又复习了一下,上一些代码都是前几个月写的,只是改动了一些字符串和包名显示。转载时请说明,文章来自:http://lighter.iteye.com。 如有什么错误的地方,恳请指出,谢谢。 声明:ITeye文章版权属于作者,受法律保护。没有作者书面许可不得转载。
推荐链接
|
|
返回顶楼 | |
发表时间:2006-12-21
//测试字符串
StringReader sr = new StringReader("lighter javaeye com"); //生成TokenStream对象 TokenStream ts = aAnalyzer.tokenStream("name", sr); 请问:以上的解析是按什么来解析,为什么他会自动的按空格或者","进行字符分割,再一个当SR里输入是中文字符时,他将会对每个字进行分割,请问这是为什么,同时这功能的实现又意为着什么呢.....???? |
|
返回顶楼 | |
发表时间:2006-12-21
wen19851025 写道 //测试字符串
StringReader sr = new StringReader("lighter javaeye com"); //生成TokenStream对象 TokenStream ts = aAnalyzer.tokenStream("name", sr); 请问:以上的解析是按什么来解析,为什么他会自动的按空格或者","进行字符分割,再一个当SR里输入是中文字符时,他将会对每个字进行分割,请问这是为什么,同时这功能的实现又意为着什么呢.....???? StandardAnalyzer是lucene中内置的"标准分析器",可以做如下功能: 1、对原有句子按照空格进行了分词 2、所有的大写字母都可以能转换为小写的字母 3、可以去掉一些没有用处的单词,例如"is","the","are"等单词,也删除了所有的标点 同时也可以对中文进行分词(效果不好),现在有很多的中文分词包可以采用 |
|
返回顶楼 | |
发表时间:2006-12-21
呵呵....这么说来这东东还是挺不错的....但不知道这在东东一般会应于什么样的项中.....我做了这么久还没遇见过这种需求....我是做教育软件地....
|
|
返回顶楼 | |
发表时间:2006-12-21
wen19851025 写道 不知道这在东东一般会应于什么样的项中.....我做了这么久还没遇见过这种需求....我是做教育软件地....
举一段网上的话: 引用 基于Lucene的全文检索产品(Lucene本身只是一个组件,而非一个完整的应用)和应用Lucene的项目在世界各地已经非常之多,比较知名的有:
Eclipse:主流Java开发工具,其帮助文档采用Lucene作为检索引擎 Jive:知名论坛系统,其检索功能基于Lucene Ifinder:出自德国的网站检索系统,基于Lucene(http://ifinder.intrafind.org/) MIT DSpace Federation:一个文档管理系统(http://www.dspace.org/) 国内外采用Lucene作为网站全文检索引擎的也很多,比较知名的有: http://www.blogchina.com/weblucene/ http://www.ioffer.com/ http://search.soufun.com/ |
|
返回顶楼 | |
发表时间:2006-12-22
呵呵,你引用的这段话看上去很眼熟,让我想起了一本书(买了之后比较后悔的一本书)。
|
|
返回顶楼 | |
发表时间:2006-12-22
just4you 写道 呵呵,你引用的这段话看上去很眼熟,让我想起了一本书(买了之后比较后悔的一本书)。
我也不知道谁说的,只是引用网的文章的一小段话. 买了后悔的书??? |
|
返回顶楼 | |
发表时间:2006-12-24
敢问楼主:lucene只是用来搜索文档中的内容的吗,任何文档都能搜吗,还能搜索其他东西吗?能否用一小段话来概括它的作用,和适用场景
|
|
返回顶楼 | |
发表时间:2006-12-24
回楼上的:
lucene不管数据来源是什么格式,只要它能被转化为文字的形式,就可以被lucene分析利用,对其进行索引和搜索.简单地说,lucene可以对任何的数据做索引和搜索,不管文件是Word,pdf格式,只要可以从中抽取文字形式的内容就可以被lucene利用啦. |
|
返回顶楼 | |
发表时间:2006-12-25
lighter 写道 回楼上的:
lucene不管数据来源是什么格式,只要它能被转化为文字的形式,就可以被lucene分析利用,对其进行索引和搜索.简单地说,lucene可以对任何的数据做索引和搜索,不管文件是Word,pdf格式,只要可以从中抽取文字形式的内容就可以被lucene利用啦. 哦,谢谢,明白多了 |
|
返回顶楼 | |