`
liuxinglanyue
  • 浏览: 557479 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

lucene 3.0 学习笔记(1)— 建立索引(转)

阅读更多

正在学习lucene,下载的新版本是3.0的,这里把学习中整理的笔记,放在blog中做为备份。 



使用lucene做为搜索引擎,主要做的2件事就是:1、建立索引;2、利用索引查询。 

即lucene先将要搜索的内容,转化成一个个单词,然后对单词及其与内容的关系建索引;查询是根据你输入的内容,在索引中找到符合条件单词,并进而找到对应的内容。 

这里先从创建索引开始,下面是一段代码示例: 

Java代码 
  1. /** 
  2.  * Copyright (c) 2010 TeleNav, Inc 
  3.  * All rights reserved 
  4.  *  
  5.  * Created on Sep 25, 2010 
  6.  * Filename is CreateIndex.java 
  7.  * Packagename:example 
  8.  */  
  9. package example;  
  10.   
  11. import java.io.File;  
  12. import java.io.FileReader;  
  13. import java.util.Date;  
  14.   
  15. import org.apache.lucene.analysis.standard.StandardAnalyzer;  
  16. import org.apache.lucene.document.DateTools;  
  17. import org.apache.lucene.document.Document;  
  18. import org.apache.lucene.document.Field;  
  19. import org.apache.lucene.index.IndexWriter;  
  20. import org.apache.lucene.store.FSDirectory;  
  21. import org.apache.lucene.util.Version;  
  22.   
  23. /** 
  24.  * @author lgli 
  25.  * 
  26.  * Created on  Sep 25, 2010 
  27.  */  
  28. public class CreateIndex  
  29. {  
  30.     //索引文件存放目录  
  31.     final File INDEX_DIR = new File("index");  
  32.     //测试数据目录  
  33.     final File docDir = new File("E:\\workspace_eclipse\\DOCTEST\\txt\\");  
  34.       
  35.     public boolean createIndex()  
  36.     {  
  37.         if (!docDir.exists() || !docDir.canRead())  
  38.         {  
  39.             System.out.println("Document directory '" + docDir.getAbsolutePath() + "' does not exist or is not readable, please check the path");  
  40.             return false;  
  41.         }  
  42.   
  43.         Date start = new Date();  
  44.         try  
  45.         {  
  46.             IndexWriter writer = new IndexWriter(FSDirectory.open(INDEX_DIR),   
  47.                 new StandardAnalyzer(Version.LUCENE_30),   
  48.                     true//true为覆盖原index;false为追加  
  49.                     IndexWriter.MaxFieldLength.LIMITED);  
  50.             System.out.println("Indexing to directory '" + INDEX_DIR + "'...");  
  51.             indexDocs(writer, docDir);  //创建Document,加入IndexWriter中  
  52.             System.out.println("Optimizing...");  
  53.             writer.optimize();          //优化索引  
  54.             writer.close();  
  55.   
  56.             Date end = new Date();  
  57.             System.out.println(end.getTime() - start.getTime() + " total milliseconds");  
  58.   
  59.         }  
  60.         catch (Exception e)  
  61.         {  
  62.             System.out.println(e.getMessage());  
  63.             return false;  
  64.         }  
  65.         return true;  
  66.     }  
  67.     //向IndexWriter中添加Document  
  68.     private void indexDocs(IndexWriter writer, File file) throws Exception  
  69.     {  
  70.         if (file.canRead())  
  71.         {  
  72.             if (file.isDirectory())  
  73.             {  
  74.                 //递归遍历目录下所有文件  
  75.                 String[] files = file.list();  
  76.                 if (files != null)  
  77.                 {  
  78.                     for (int i = 0; i < files.length; i++)  
  79.                     {  
  80.                         indexDocs(writer, new File(file, files[i]));  
  81.                     }  
  82.                 }  
  83.             }  
  84.             else  
  85.             {  
  86.                 //添加Document  
  87.                 System.out.println("indexing: " + file);  
  88.                 writer.addDocument(getDocument(file));  
  89.             }  
  90.         }  
  91.     }  
  92.     public Document getDocument(File f) throws java.io.FileNotFoundException  
  93.     {  
  94.         //创建Document  
  95.         Document doc = new Document();  
  96.         doc.add(new Field("path", f.getPath(), Field.Store.YES, Field.Index.NOT_ANALYZED));  
  97.         doc.add(new Field("modified", DateTools.timeToString(f.lastModified(), DateTools.Resolution.MINUTE), Field.Store.YES, Field.Index.NOT_ANALYZED));  
  98.         doc.add(new Field("contents"new FileReader(f)));  
  99.         return doc;  
  100.     }  
  101. }  

创建索引的主要步骤: 

1、先指定要搜索的文件(docDir 目录下放了一些文本文件做为测试数据)和存放索引文件的目录(INDEX_DIR ) 

2、创建IndexWriter-需要提供索引目录、使用的Analyzer等。Analyzer用于解析文本内容,拆分成单词,这里我使用的是lucene自带的分词器。 

3、递归遍历所有文件,生成Document,每一个文件对于一个Document。 

4、将Document逐个加入索引 

5、关闭IndexWriter,保存索引信息 



说明: 

1、索引文件可存放在目录或内存中,分别使用FSDirectory和RAMDirectory 

2、每个Document类似与索引中的一行记录,具体的字段由Field标识,我这里加入了3个Field,分别是路径、修改时间和内容。 

3、Field中的枚举字段 

     Field.Store.YES表示此字段内容需要在索引中保存 

     Field.Index.NOT_ANALYZED表示此字段内容不需要做分词 

     new Field("contents", new FileReader(f))表示此字段内容从reader中取,做分词但不保存 





几个基本对象间的关系如下图: 

 

最后,上面这段代码的输出结果如下: 
Indexing to directory 'index'... 
indexing: E:\workspace_eclipse\DOCTEST\txt\DeleteFiles.java 
indexing: E:\workspace_eclipse\DOCTEST\txt\FileDocument.java 
indexing: E:\workspace_eclipse\DOCTEST\txt\html\Entities.java 
indexing: E:\workspace_eclipse\DOCTEST\txt\html\HTMLParser.java 
indexing: E:\workspace_eclipse\DOCTEST\txt\html\HTMLParser.jj 
indexing: E:\workspace_eclipse\DOCTEST\txt\html\HTMLParserConstants.java 
indexing: E:\workspace_eclipse\DOCTEST\txt\html\HTMLParserTokenManager.java 
indexing: E:\workspace_eclipse\DOCTEST\txt\html\ParseException.java 
indexing: E:\workspace_eclipse\DOCTEST\txt\html\ParserThread.java 
indexing: E:\workspace_eclipse\DOCTEST\txt\html\SimpleCharStream.java 
indexing: E:\workspace_eclipse\DOCTEST\txt\html\Tags.java 
indexing: E:\workspace_eclipse\DOCTEST\txt\html\Test.java 
indexing: E:\workspace_eclipse\DOCTEST\txt\html\Token.java 
indexing: E:\workspace_eclipse\DOCTEST\txt\html\TokenMgrError.java 
indexing: E:\workspace_eclipse\DOCTEST\txt\HTMLDocument.java 
indexing: E:\workspace_eclipse\DOCTEST\txt\IndexFiles.java 
indexing: E:\workspace_eclipse\DOCTEST\txt\IndexHTML.java 
indexing: E:\workspace_eclipse\DOCTEST\txt\SearchFiles.java 
Optimizing... 
734 total milliseconds

分享到:
评论

相关推荐

    lucene3.0 lucene3.0

    lucene3.0 lucene3.0 lucene3.0 lucene3.0 lucene3.0

    lucene3.0学习笔记(三)与paoding整合

    《Lucene 3.0 学习笔记(三)与Paoding整合》 在深入了解Lucene 3.0的过程中,我们经常会遇到如何将其与第三方工具进行整合的问题,以提升搜索性能和用户体验。这篇学习笔记主要关注的是将Lucene 3.0与Paoding搜索...

    lucene 3.0 API 中文帮助文档 chm

    lucene 3.0 API中文帮助,学习的人懂得的

    Lucene3.0之查询类型详解

    【Lucene3.0查询类型详解】 在Lucene3.0中,查询处理是一个关键环节,涉及多种查询方式和理论模型。以下是对这些概念的详细解释: 1. **查询方式**: - **顺序查询**:是最简单的查询方式,直接遍历索引,效率较...

    lucene3.0庖丁+索引搜索程序

    《深入剖析Lucene3.0:庖丁解牛与索引搜索实践》 在IT行业中,搜索引擎技术扮演着至关重要的角色,而Lucene作为一个开源全文检索库,为开发者提供了强大的文本搜索功能。本文将深入探讨Lucene3.0版本,结合“庖丁解...

    Lucene3.0特性,Lucene3.0特性

    - **建立索引**:删除了多个不再使用的`IndexWriter`构造函数,所有被标记为废弃的构造函数在3.0中均被移除。同时,每个`field`的常量定义也进行了相应的调整。 - **查询操作**:`Hits`类已被弃用,取而代之的是`...

    Lucene3.0创建索引

    ### Lucene3.0创建索引 在Lucene3.0中创建索引是一个关键功能,可以帮助用户快速地检索和管理大量的文本数据。本篇文章将详细介绍如何使用Lucene3.0来创建索引,并通过一个具体的例子来演示整个过程。 #### 一、...

    lucene3.0核心jar包

    1. **索引结构**:Lucene 使用倒排索引作为其核心数据结构,这种结构能够快速地定位到包含特定词的文档。在 Lucene 3.0 中,索引过程包括分词、字段处理、文档ID分配等步骤,生成的索引文件包括词典、Posting List、...

    Lucene 3.0 原理与代码分析完整版

    通过对《Lucene 3.0 原理与代码分析完整版》的学习,开发者不仅可以理解Lucene的工作原理,还能掌握如何定制化Lucene以满足特定需求,从而在实际项目中充分利用其强大功能。这本书是深入研究和应用Lucene不可或缺的...

    lucene3.0 分词器

    lucene3.0 中文分词器, 庖丁解牛

    lucene3.0 实例

    在 Lucene 3.0 版本中,虽然已经相对较旧,但仍然包含了基本的搜索引擎功能,适用于简单或特定场景的搜索需求。在这个实例中,我们将探讨如何在 JDK 1.5 和 Lucene 3.0 的环境下构建和运行一个简单的搜索引擎。 ...

    lucene3.0资料包

    **正文** Lucene是一个开源全文检索库,由Apache软件基金会开发。它提供了强大的文本分析、索引和搜索功能,广泛应用于各种信息检索系统...通过深入学习和应用Lucene3.0,开发者可以构建出高效、智能的信息检索系统。

    Lucene3.0全文信息检索

    1. **索引**:Lucene首先将文档内容转换成倒排索引(Inverted Index),这是一个数据结构,用于快速定位包含特定单词的文档。通过索引,Lucene能够高效地执行全文搜索。 2. **分词**(Tokenization):Lucene使用...

    lucene3.0使用介绍及实例

    **正文** Lucene是一个强大的全文检索库,由Apache软件基金会开发并维护,广泛应用于各种搜索引擎...通过学习和实践,开发者可以利用Lucene 3.0的强大功能,构建出高效、灵活的全文搜索引擎,满足各种应用场景的需求。

    lucene3.0全文检索入门实例

    **Lucene 3.0 全文检索入门实例** Lucene 是一个开源的全文检索库,由 Apache 软件基金会开发。...通过学习和实践这个入门实例,你将能够掌握 Lucene 3.0 的基本操作,并为你的项目添加高效的全文检索功能。

    lucene3.0-highlighter.jar

    lucene3.0-highlighter.jar lucene3.0的高亮jar包,从lucene3.0源码中导出来的

    lucene 2.0 api以及lucene 3.0 api

    1. **SegmentMerger 改进**: Lucene 3.0 中,`MergePolicy` 和 `MergeScheduler` 分离,提供更灵活的索引合并策略。 2. **N-gram 查询支持**: 新增了对 N-gram 查询的支持,增强了短语查询和部分匹配的能力。 3. *...

    Lucene 3.0完成入门

    通过以上内容的学习,你可以掌握 Lucene 3.0 的基本操作,包括如何创建索引、执行查询、优化搜索性能等。同时,了解 Compass 如何简化 Lucene 的使用,以及如何结合实际业务需求来设计和实现一个搜索引擎。在实践中...

Global site tag (gtag.js) - Google Analytics