- 浏览: 96040 次
- 性别:
- 来自: 武汉
文章分类
最新评论
-
fengweiyou:
只取当前年月日 TRUNC(SYSDATE) 就可以了
oracle函数只取年月日 -
spp_1987:
我在页面上 显示出来的 怎么是乱码啊。 能解决下吗
是什 ...
struts+jquery -
spp_1987:
//JSONObject json = JSONObject. ...
struts+jquery -
spp_1987:
不知道为什么 有错啊。 我用的是DispatchAction啊 ...
struts+jquery -
hiteny:
还是css用着方便@ 谢谢啦
css控制字符串显示长度
对数据源进行分析,是为建立索引服务的;为指定的文件建立索引,是为检索服务的。
对数据源分析,使用Lucene的分析器(Analyzer),根据分析器所得到的词条,构造一个索引器IndexWriter。索引器IndexWriter的功能主要就是创建索引,是建立索引工作中最核心的。
当构造完一个索引器IndexWriter之后,就可以向其中添加Document了。
在前面Lucene-2.2.0 源代码阅读学习(1)中,根据Lucene提供的一个Demo,详细分析研究一下索引器org.apache.lucene.index.IndexWriter类,看看它是如果定义的,掌握它建立索引的机制。
通过IndexWriter类的实现源代码可知,它包含的内容相当丰富了。乍一看无从入手,不知道从何处去分析。可以通过Lucene提供的Demo的,根据它的实现过程l来一点点地解析。
在Demo中,实例化一个索引器:
它使用的IndexWriter的一个构造函数,定义如下所示:
这个构造函数具有三个参数:
path :根据一个字符串描述的路径,为建立的索引文件指定存放目录。
a :一个分析器。
create:它是一个boolean型变量,如果为true,表示要重写指定的存放索引目录下的索引文件;如果为false,表示在指定存放索引目录下已经存在的索引文件的基础上,向其中继续追加新的索引文件。
简单做个测试吧:
这里没有指定要进行建立索引的文件,因此,应该是“建立空索引”。这里,指定了create的值为true,是新建索引文件。
这里,只是实例化了一个IndexWriter索引器,并没有建立索引。建立索引的过程是在一个IndexWriter索引器实例存在的前提下,通过为其添加Document,这样才能真正就爱你里索引。
运行程序,可以在指定的索引文件的存放目录E:\\index下看到生成的三个与索引有关的文件:
segments.gen (大小为1K)
segments_1 (大小为1K)
write.lock (大小为0K)
如果再次运行程序,会发现文件segments_1变成了segments_2,再次运行还会变成segments_3……,这就说明参数create为true表示重写现存的索引文件。
如果第一次执行上述程序,指定create为false,由于指定的索引目录下面缺少被追加索引的索引文件,将会抛出异常:
从异常来看,追加索引在现存的索引文件的基础上追加。
如果指定的索引目录下已经存在一些索引文件,并且指定create的值为false,则执行向已存在的索引文件中追加索引,就可以看到索引目录下面的文件不会发生变化,程序执行会因为write.lock文件而抛出异常:
继续看上面IndexWriter的构造函数的函数体内容:
IndexWriter的构造函数初始化,调用了一个init方法,init方法在IndexWriter类中有具体实现,它还有一个重载的init方法。先看这里用到的这个,它的实现代码如下所示:
通过IndexWriter索引器的构造函数,以及它初始化时调用的一个init方法,可以了解一个IndexWriter索引器的构造最重要的是在init方法中的初始化工作。它主要实现了根据指定的建立索引的方式(重写、追加写入),通过create标志位来判断,从而指定一种在操作索引文件的过程中删除索引文件的策略。
必须深入地理解IndexWriter索引器初始化的过程,以及在构造一个IndexWriter索引器过程中涉及到的一些其他的类,应该深入研究这些相关的类的定义。这样才能有助于深化IndexWriter索引器构造的原理机制。
可见,IndexWriter索引器的构造相当复杂,但是却非常重要。
对数据源分析,使用Lucene的分析器(Analyzer),根据分析器所得到的词条,构造一个索引器IndexWriter。索引器IndexWriter的功能主要就是创建索引,是建立索引工作中最核心的。
当构造完一个索引器IndexWriter之后,就可以向其中添加Document了。
在前面Lucene-2.2.0 源代码阅读学习(1)中,根据Lucene提供的一个Demo,详细分析研究一下索引器org.apache.lucene.index.IndexWriter类,看看它是如果定义的,掌握它建立索引的机制。
通过IndexWriter类的实现源代码可知,它包含的内容相当丰富了。乍一看无从入手,不知道从何处去分析。可以通过Lucene提供的Demo的,根据它的实现过程l来一点点地解析。
在Demo中,实例化一个索引器:
IndexWriter writer = new IndexWriter(INDEX_DIR, new StandardAnalyzer(), true);
它使用的IndexWriter的一个构造函数,定义如下所示:
public IndexWriter(String path, Analyzer a, boolean create) throws CorruptIndexException, LockObtainFailedException, IOException { init(FSDirectory.getDirectory(path), a, create, true, null, true); }
这个构造函数具有三个参数:
path :根据一个字符串描述的路径,为建立的索引文件指定存放目录。
a :一个分析器。
create:它是一个boolean型变量,如果为true,表示要重写指定的存放索引目录下的索引文件;如果为false,表示在指定存放索引目录下已经存在的索引文件的基础上,向其中继续追加新的索引文件。
简单做个测试吧:
package org.shirdrn.lucene; import java.io.IOException; import org.apache.lucene.analysis.Analyzer; import org.apache.lucene.analysis.standard.StandardAnalyzer; import org.apache.lucene.index.CorruptIndexException; import org.apache.lucene.index.IndexWriter; import org.apache.lucene.store.LockObtainFailedException; public class MyIndexWriterTest { public static void main(String[] args) throws Exception { String path = "E:\\index"; Analyzer a = new StandardAnalyzer(); IndexWriter myWriter = new IndexWriter(path,a,true); } }
这里没有指定要进行建立索引的文件,因此,应该是“建立空索引”。这里,指定了create的值为true,是新建索引文件。
这里,只是实例化了一个IndexWriter索引器,并没有建立索引。建立索引的过程是在一个IndexWriter索引器实例存在的前提下,通过为其添加Document,这样才能真正就爱你里索引。
运行程序,可以在指定的索引文件的存放目录E:\\index下看到生成的三个与索引有关的文件:
segments.gen (大小为1K)
segments_1 (大小为1K)
write.lock (大小为0K)
如果再次运行程序,会发现文件segments_1变成了segments_2,再次运行还会变成segments_3……,这就说明参数create为true表示重写现存的索引文件。
如果第一次执行上述程序,指定create为false,由于指定的索引目录下面缺少被追加索引的索引文件,将会抛出异常:
Exception in thread "main" java.io.FileNotFoundException: no segments* file found in org.apache.lucene.store.FSDirectory@E:\index: files: at org.apache.lucene.index.SegmentInfos$FindSegmentsFile.run(SegmentInfos.java:516) at org.apache.lucene.index.SegmentInfos.read(SegmentInfos.java:249) at org.apache.lucene.index.IndexWriter.init(IndexWriter.java:616) at org.apache.lucene.index.IndexWriter.<init>(IndexWriter.java:360) at org.shirdrn.lucene.MyIndexWriterTest.main(MyIndexWriterTest.java:22)
从异常来看,追加索引在现存的索引文件的基础上追加。
如果指定的索引目录下已经存在一些索引文件,并且指定create的值为false,则执行向已存在的索引文件中追加索引,就可以看到索引目录下面的文件不会发生变化,程序执行会因为write.lock文件而抛出异常:
Exception in thread "main" org.apache.lucene.store.LockObtainFailedException: Lock obtain timed out: SimpleFSLock@E:\index\write.lock at org.apache.lucene.store.Lock.obtain(Lock.java:70) at org.apache.lucene.index.IndexWriter.init(IndexWriter.java:598) at org.apache.lucene.index.IndexWriter.<init>(IndexWriter.java:360) at org.shirdrn.lucene.MyIndexWriterTest.main(MyIndexWriterTest.java:22)
继续看上面IndexWriter的构造函数的函数体内容:
init(FSDirectory.getDirectory(path), a, create, true, null, true);
IndexWriter的构造函数初始化,调用了一个init方法,init方法在IndexWriter类中有具体实现,它还有一个重载的init方法。先看这里用到的这个,它的实现代码如下所示:
/** * 该方法中的参数列表中。各个参数的含义如下: * d :指定的存放建立索引文件的索引目录 * a :一个传递进来分析器 * create :是否要重新写入索引文件,如果为true,则重写索引文件;如果为false,则追加写入索引文件 * closeDir :一个boolean型变量,表示是否关闭索引目录Directory d,与IndexWriter的一个成员变量相关 * deletionPolicy :指定删除索引文件使用的策略 * autoCommit :建立索引文件后,自动提交。 */ private void init(Directory d, Analyzer a, final boolean create, boolean closeDir, IndexDeletionPolicy deletionPolicy, boolean autoCommit) throws CorruptIndexException, LockObtainFailedException, IOException { this.closeDir = closeDir; directory = d; analyzer = a; this.infoStream = defaultInfoStream; // infoStream是一个PrintStream输出流对象,在这里指定它为defaultInfoStream=null。PrintStream类继承自FilterOutputStream,主要是对建立索引文件过程中的输出流进行管理 if (create) { // 如果是残留索引文件,则清除写锁文件write.lock directory.clearLock(IndexWriter.WRITE_LOCK_NAME); } Lock writeLock = directory.makeLock(IndexWriter.WRITE_LOCK_NAME); if (!writeLock.obtain(writeLockTimeout)) // 获取写锁文件 throw new LockObtainFailedException("Index locked for write: " + writeLock); this.writeLock = writeLock; // 重新保存写锁文件 try { if (create) { // 如果create为true,表示重写索引文件。重写索引文件之前,要先读取已经存在的索引文件,并且要清除掉历史写入的segment信息 try { segmentInfos.read(directory); segmentInfos.clear(); } catch (IOException e) { } segmentInfos.write(directory); // 向指定的索引存放目录中写入segment信息 } else { // 如果create为false,只是读取,并不予以清除,因为是追加写入索引文件 segmentInfos.read(directory); } this.autoCommit = autoCommit; // 执行提交写入索引的标志 if (!autoCommit) { // 如果如果提交写入索引失败,要回滚到原来的状态 rollbackSegmentInfos = (SegmentInfos) segmentInfos.clone(); // 克隆 } // 默认的删除策略实现类为KeepOnlyLastCommitDeletionPolicy,它只是保证将最近提交删除的索引文件,提交删除动作 // IndexFileDeleter // deleter是IndexWriter类的一个私有的成员变量,它在org.apache.lucene.index包里面,主要对删除索引文件进行实现和管理 deleter = new IndexFileDeleter(directory, deletionPolicy == null ? new KeepOnlyLastCommitDeletionPolicy() : deletionPolicy,segmentInfos, infoStream); } catch (IOException e) { this.writeLock.release(); // 索引写入完成之后,要释放写锁 this.writeLock = null; throw e; } }
通过IndexWriter索引器的构造函数,以及它初始化时调用的一个init方法,可以了解一个IndexWriter索引器的构造最重要的是在init方法中的初始化工作。它主要实现了根据指定的建立索引的方式(重写、追加写入),通过create标志位来判断,从而指定一种在操作索引文件的过程中删除索引文件的策略。
必须深入地理解IndexWriter索引器初始化的过程,以及在构造一个IndexWriter索引器过程中涉及到的一些其他的类,应该深入研究这些相关的类的定义。这样才能有助于深化IndexWriter索引器构造的原理机制。
可见,IndexWriter索引器的构造相当复杂,但是却非常重要。
发表评论
-
Lucene学习(22)
2009-10-30 11:14 883关于FieldInfos类和FieldInfo类。 Fi ... -
Lucene学习(21)
2009-10-30 11:12 847回到IndexWriter索引器类中来,学习该类添加Docum ... -
Lucene学习(20)
2009-10-30 11:06 1034关于Field类和Document类。 ... -
Lucene学习(19)
2009-10-30 11:01 823研究SegmentInfo类的实现 ... -
Lucene学习(18)
2009-10-30 10:47 1876关于SegmentInfos类的具体 ... -
Lucene学习(17)
2009-10-30 10:40 857根据16中对IndexFileDeleter ... -
Lucene学习(16)
2009-10-30 10:33 1072在接触到索引删除的策略IndexDeletionPolicy ... -
Lucene学习(15)
2009-10-30 10:28 877关于索引删除的策略IndexDeletionPolicy 。 ... -
Lucene学习(14)
2009-10-30 10:23 759RAMDirectory类是与内存目录相关的,它和FSDire ... -
Lucene学习(13)
2009-10-30 10:21 1370Directory抽象类比较常用的具体实现子类应该是FSDir ... -
Lucene学习(12)
2009-10-30 10:17 695接着昨天学习的Lucene-2.3.1 源代码阅读学习(11) ... -
Lucene学习(10)
2009-10-30 10:02 840Lucene的CJKAnalyzer分析器。 CJKAnal ... -
Lucene学习(9)
2009-10-30 09:34 917Lucene的StandardAnalyzer分析器。 ... -
Lucene学习(8)
2009-10-30 09:27 818Lucene分析器的实现。 Lucene(分词)过滤器Tok ... -
Lucene学习(7)
2009-10-30 09:22 757CharTokenizer是一个抽象类 ... -
Lucene学习(6)
2009-10-29 16:16 863Lucene分析器的实现。 Lucene分词器Tokeniz ... -
Lucene学习(5)
2009-10-29 16:13 899研究Lucene分析器的实现。 Analyzer抽象类 ... -
Lucene学习(4)
2009-10-29 16:09 881建立索引,通过已经生成的索引文件,实现通过关键字检索。 ... -
Lucene学习(3)
2009-10-29 16:06 848org.apache.lucene.demo.IndexFil ... -
Lucene学习(2)
2009-10-29 15:59 812IndexWriter是一个非常重要的工具。建立索引必须从它开 ...
相关推荐
【标题】:“Lucene学习资料收集” 【描述】:Lucene是一个开源的全文搜索引擎库,由Apache软件基金会开发。这个资料集可能包含了关于如何理解和使用Lucene的各种资源,特别是通过博主huanglz19871030在iteye上的...
**Lucene学习指南** Lucene是一个高性能、全文检索库,由Apache软件基金会开发并维护,是Java编程语言中广泛使用的搜索引擎库。它提供了一个简单的API,使得开发者能够方便地在应用中实现全文检索功能。本篇文章将...
Lucene的基础知识 1、案例分析:什么是全文检索,如何实现全文检索 2、Lucene实现全文检索的流程 a) 创建索引 b) 查询索引 3、配置开发环境 4、创建索引库 5、查询索引库 6、分析器的分析过程 a) 测试分析器的分词...
"lucene学习pdf2" 提供的文档,无疑是对Lucene深入理解的一把钥匙,它涵盖了Lucene的核心概念、操作流程以及高级特性。 首先,Lucene的基础知识是必不可少的。Lucene的核心在于索引和搜索,它将非结构化的文本数据...
本文将主要围绕Java Lucene进行深入探讨,并基于提供的“Lucene学习源码.rar”文件中的“Lucene视频教程_讲解部分源码”展开讨论。 一、Lucene核心概念 1. 文档(Document):Lucene中的基本单位,用于存储待检索...
《Lucene学习资料》 Lucene是一个开源的全文搜索引擎库,由Apache软件基金会维护。它提供了高级的文本分析和索引功能,使得开发者能够轻松地在应用程序中集成强大的搜索功能。这个资料包中的《Lucene in Action_2nd...
本篇文章将围绕"Lucene-2.0学习文档"的主题,结合Indexer.java、MyScoreDocComparator.java和MySortComparatorSource.java这三个关键文件,深入探讨Lucene的核心概念和实际应用。 首先,我们来看`Indexer.java`。这...
**Lucene 3.3.0 学习Demo** Lucene是一个开源的全文搜索引擎库,由Apache软件基金会开发。在3.3.0版本中,Lucene提供了强大的文本搜索功能,包括分词、索引创建、查询解析和结果排序等。这个"Lucene3.3.0学习Demo...
【标题】:“Lucene学习-02” 在深入探讨“Lucene学习-02”这一主题之前,我们先来理解一下Lucene的核心概念。Lucene是一个高性能、全文本搜索库,由Apache软件基金会开发,广泛应用于各种搜索引擎和信息检索系统。...
**Lucene.net学习帮助文档** Lucene.net是一个开源全文搜索引擎库,它是Apache Lucene项目的一部分,专门针对.NET Framework进行了优化。这个压缩包包含了Lucene.net的源码和中文学习文档,旨在帮助开发者深入理解...
【Lucene 3.6 学习笔记】 Lucene 是一个高性能、全文本搜索库,广泛应用于各种搜索引擎的开发。本文将深入探讨Lucene 3.6版本中的关键概念、功能以及实现方法。 ### 第一章 Lucene 基础 #### 1.1 索引部分的核心...
lucene学习笔记 1 .txt lucene学习笔记 2.txt lucene学习笔记 3 .txt lucene入门实战.txt Lucene 的学习 .txt Lucene-2.0学习文档 .txt Lucene入门与使用 .txt lucene性能.txt 大富翁全文索引和查询的例子...
通过这些学习资料,读者可以系统地学习搜索引擎的理论基础,掌握Lucene的核心功能,同时也能了解到如何在实际项目中应用这些技术,提升搜索系统的性能和用户体验。这些知识对于从事信息检索、网站开发、大数据分析等...
**Lucene学习工具包** Lucene是一个开源的全文搜索引擎库,由Apache软件基金会开发并维护。这个"Lucene学习工具包.zip"包含了学习Lucene所需的重要资料和资源,旨在帮助开发者深入理解和掌握Lucene的核心概念、功能...
《Lucene 4.8学习指南与实战案例分析》 Lucene是一个强大的全文搜索引擎库,由Apache软件基金会开发,主要用于Java环境。版本4.8在功能和性能上都有显著提升,是许多开发者进行文本检索应用开发的重要工具。本文将...
**Lucene学习总结** 在深入理解Lucene之前,我们首先需要了解什么是全文检索。全文检索是一种从大量文本数据中快速查找所需信息的技术。它通过建立索引来实现高效的搜索,而Lucene正是Java环境下最著名的全文搜索...