`
小嘴冰凉
  • 浏览: 457117 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

lucene学习教程

阅读更多
http://www.chinawebber.com/_info/content/content_8782.htm1 lucene简介
1.1 什么是lucene
    Lucene是一个全文搜索框架,而不是应用产品。因此它并不像www.baidu.com 或者google Desktop那么拿来就能用,它只是提供了一种工具让你能实现这些产品。
2 lucene的工作方式
    lucene提供的服务实际包含两部分:一入一出。所谓入是写入,即将你提供的源(本质是字符串)写入索引或者将其从索引中删除;所谓出是读出,即向用户提供全文搜索服务,让用户可以通过关键词定位源。
2.1写入流程
    源字符串首先经过analyzer处理,包括:分词,分成一个个单词;去除stopword(可选)。
将源中需要的信息加入Document的各个Field中,并把需要索引的Field索引起来,把需要存储的Field存储起来。
    将索引写入存储器,存储器可以是内存或磁盘。
2.2读出流程
    用户提供搜索关键词,经过analyzer处理。
对处理后的关键词搜索索引找出对应的Document。
用户根据需要从找到的Document中提取需要的Field。
3 一些需要知道的概念
3.1 analyzer
    Analyzer是分析器,它的作用是把一个字符串按某种规则划分成一个个词语,并去除其中的无效词语,这里说的无效词语是指英文中的“of”、“the”,中文中的“的”、“地”等词语,这些词语在文章中大量出现,但是本身不包含什么关键信息,去掉有利于缩小索引文件、提高效率、提高命中率。
  分词的规则千变万化,但目的只有一个:按语义划分。这点在英文中比较容易实现,因为英文本身就是以单词为单位的,已经用空格分开;而中文则必须以某种方法将连成一片的句子划分成一个个词语。具体划分方法下面再详细介绍,这里只需了解分析器的概念即可。
3.2 document
  用户提供的源是一条条记录,它们可以是文本文件、字符串或者数据库表的一条记录等等。一条记录经过索引之后,就是以一个Document的形式存储在索引文件中的。用户进行搜索,也是以Document列表的形式返回。
3.3 field
    一个Document可以包含多个信息域,例如一篇文章可以包含“标题”、“正文”、“最后修改时间”等信息域,这些信息域就是通过Field在Document中存储的。
    Field有两个属性可选:存储和索引。通过存储属性你可以控制是否对这个Field进行存储;通过索引属性你可以控制是否对该Field进行索引。这看起来似乎有些废话,事实上对这两个属性的正确组合很重要,下面举例说明:还是以刚才的文章为例子,我们需要对标题和正文进行全文搜索,所以我们要把索引属性设置为真,同时我们希望能直接从搜索结果中提取文章标题,所以我们把标题域的存储属性设置为真,但是由于正文域太大了,我们为了缩小索引文件大小,将正文域的存储属性设置为假,当需要时再直接读取文件;我们只是希望能从搜索解果中提取最后修改时间,不需要对它进行搜索,所以我们把最后修改时间域的存储属性设置为真,索引属性设置为假。上面的三个域涵盖了两个属性的三种组合,还有一种全为假的没有用到,事实上Field不允许你那么设置,因为既不存储又不索引的域是没有意义的。
3.4 term
  term是搜索的最小单位,它表示文档的一个词语,term由两部分组成:它表示的词语和这个词语所出现的field。
3.5 tocken
    tocken是term的一次出现,它包含trem文本和相应的起止偏移,以及一个类型字符串。一句话中可以出现多次相同的词语,它们都用同一个term表示,但是用不同的tocken,每个tocken标记该词语出现的地方。
3.6 segment
    添加索引时并不是每个document都马上添加到同一个索引文件,它们首先被写入到不同的小文件,然后再合并成一个大索引文件,这里每个小文件都是一个segment。
4 如何建索引
4.1 最简单的能完成索引的代码片断
IndexWriter writer = new IndexWriter(“/data/index/”, new StandardAnalyzer(), true);
Document doc = new Document();
doc.add(new Field("title", "lucene introduction", Field.Store.YES, Field.Index.TOKENIZED));
doc.add(new Field("content", "lucene works well", Field.Store.YES, Field.Index.TOKENIZED));
writer.addDocument(doc);
writer.optimize();
writer.close();
下面我们分析一下这段代码。
首先我们创建了一个writer,并指定存放索引的目录为“/data/index”,使用的分析器为StandardAnalyzer,第三个参数说明如果已经有索引文件在索引目录下,我们将覆盖它们。然后我们新建一个document。
  我们向document添加一个field,名字是“title”,内容是“lucene introduction”,对它进行存储并索引。再添加一个名字是“content”的field,内容是“lucene works well”,也是存储并索引。
然后我们将这个文档添加到索引中,如果有多个文档,可以重复上面的操作,创建document并添加。
添加完所有document,我们对索引进行优化,优化主要是将多个segment合并到一个,有利于提高索引速度。
   随后将writer关闭,这点很重要。
   对,创建索引就这么简单!
  当然你可能修改上面的代码获得更具个性化的服务。
4.2 索引文本文件
    如果你想把纯文本文件索引起来,而不想自己将它们读入字符串创建field,你可以用下面的代码创建field:
Field field = new Field("content", new FileReader(file));
    这里的file就是该文本文件。该构造函数实际上是读去文件内容,并对其进行索引,但不存储。


分享到:
评论

相关推荐

    apache下的lucene教程

    ### Apache Lucene教程知识点概述 #### 一、Apache Lucene简介 ...通过上述内容的学习,读者能够系统地掌握Lucene的基本原理、核心技术及应用场景,为进一步开发基于Lucene的搜索解决方案打下坚实的基础。

    lucene学习资料初级教程

    luncene 初级资料,好好学习吧。亲,这不是在做广告。

    lucene5 源码教程

    总结,Lucene 5为开发者提供了强大且灵活的全文检索功能,通过深入学习其源码,尤其是拼音检索和分词器的运用,可以有效地提升搜索质量和用户体验。不断探索和实践,才能充分挖掘Lucene的潜力,为各种信息检索应用...

    lucene全文检索教程

    在这个教程中,读者会学习到如何配置和使用Lucene,如何处理各种类型的查询,如何优化索引和搜索性能,以及如何应对实际项目中的挑战。"www.heyjava.com.url"可能指向一个相关的在线资源,供读者进一步探索和实践。 ...

    搜索引擎 Lucene PPT 教程

    **搜索引擎 Lucene PPT 教程** Lucene是一款开源全文搜索引擎库,由Apache软件基金会开发。它是Java编写的,能够帮助开发者在各种应用程序中实现强大的搜索功能。本教程旨在通过PPT的形式,深入浅出地讲解Lucene的...

    Lucene视频教程_讲解部分源码

    9. **源码学习的重要性**:理解Lucene源码有助于开发者更深入地了解其内部工作原理,定制化自己的搜索解决方案,比如优化分析器,提升搜索性能,或者解决特定场景下的问题。 通过这个视频教程,你将有机会跟随讲师...

    Lucene教程

    **Lucene教程** Lucene是一个高性能、全文本搜索库,由Apache软件基金会开发并维护。它为Java开发者提供了全文检索的API,使开发者能够轻松...在学习过程中,可以参考提供的博客链接,获取更多详细的教程和示例代码。

    孔浩Lucene视频教程_留言项目源码

    《孔浩Lucene视频教程_留言项目源码》是一份珍贵的学习资源,旨在帮助开发者深入理解和实践Apache Lucene这一强大的全文搜索引擎库。孔浩老师,作为业界知名的IT教育专家,以其深入浅出的教学方式,使得复杂的Lucene...

    lucene教程(代码和笔记)

    lucene基本教程,里面包含JAR和实现代码,还有中科院分词的用法。

    lucene专题教程代码

    《Lucene专题教程代码解析》 Lucene是一个高性能、全文本搜索库,它为Java开发者提供了强大的文本检索功能。在本教程中,我们将深入探讨Lucene的核心概念、使用方法以及如何通过实例代码来理解其工作原理。教程链接...

    lucene教程(从零开始)

    lucene教程,该文档从下载 到安装是到使用 说明很详细 适合初学者!

    lucene.net+完全入门教程

    通过学习这个“lucene.net+完全入门教程”,开发者可以了解如何在.NET环境中设置Lucene.Net项目,创建和管理索引,编写查询,优化搜索性能,并掌握如何处理搜索结果。教程可能涵盖从安装步骤、基本概念介绍,到实战...

    Lucene初级教程.doc

    标题为“Lucene初级教程.doc”,我们可以推断这是一份关于Lucene的入门级文档,Lucene是Apache软件基金会的一个开放源代码项目,它是一个全文搜索引擎库,广泛应用于Java开发中,用于实现高效、可扩展的信息检索服务...

    Lucene初级教程

    ### Lucene初级教程知识点详解 #### 1. Lucene简介 - **1.1 什么是Lucene** - Lucene是一种高性能的全文检索框架,它主要用于构建搜索引擎的基础架构。与百度或Google Desktop这类直接可用的应用产品不同,Lucene...

    lucene4.8学习资料和案例

    3. 在线教程:网络上有许多优秀的Lucene教程,如《Lucene in Action》一书的在线版本,以及各种博客文章和视频教程。 四、性能测试与优化 在描述中提到,对100W、500W、1000W三个级别的数据量进行了测试。这涉及到...

    Lucene学习源码.rar

    本文将主要围绕Java Lucene进行深入探讨,并基于提供的“Lucene学习源码.rar”文件中的“Lucene视频教程_讲解部分源码”展开讨论。 一、Lucene核心概念 1. 文档(Document):Lucene中的基本单位,用于存储待检索...

    Lucene3.教程.ppt(学习的ppt)

    Java全文检索器 Lucene3.6教程 搜索引擎介绍 Lucene介绍、结构分析 Lucene的全文索引实现 Lucene原理分析、优化 中文分词器使用 高亮器的使用 过滤与排序 常见的各种搜索 如果需要源码的,请到我的资源去找,谢谢

    Lucene4.7+IK Analyzer中文分词入门教程

    在这个入门教程中,我们将使用Lucene 4.7版本,结合IK Analyzer,一个专门针对中文分词的开源分析器,来学习如何构建一个简单的搜索引擎。 首先,你需要下载Lucene 4.7和IK Analyzer 2012-FF Hotfix 1。Lucene的...

    Lucene.net 系列教程

    《Lucene.net 系列教程》是一套详细阐述Lucene.net基本架构的教程,旨在帮助开发者深入了解和掌握这款强大的全文搜索引擎库。Lucene.net是Apache Lucene项目在.NET平台上的实现,它为.NET开发者提供了高效、可扩展的...

    lucene in action 第二版

    这本书是关于Java Lucene教程的,主要面向开发者学习使用Lucene进行搜索引擎开发。 ### 书名知识点: 《Lucene in Action 第二版》是一本专门介绍如何使用Lucene搜索引擎框架的书籍。Lucene是一个高性能的全文检索...

Global site tag (gtag.js) - Google Analytics