`

lucene 分词原理1

阅读更多

 

Lucene是一个高性能的java全文检索工具包,它使用的是倒排文件索引结构。该结构及相应的生成算法如下: 

0)设有两篇文章1
文章1的内容为:Tom lives in Guangzhou,I live in Guangzhou too. 
文章2的内容为:He once lived in Shanghai. 

1)由于lucene是基于关键词索引和查询的,首先我们要取得这两篇文章的关键词,通常我们需要如下处理措施 
a.我们现在有的是文章内容,即一个字符串,我们先要找出字符串中的所有单词,即分词。英文单词由于用空格分隔,比较好处理。中文单词间是连在一起的需要特殊的分词处理。 
b.文章中的inonce” “too等词没有什么实际意义,中文中的”“等字通常也无具体含义,这些不代表概念的词可以过滤掉 
c.用户通常希望查He时能把含heHE的文章也找出来,所以所有单词需要统一大小写。 
d.用户通常希望查live时能把含liveslived的文章也找出来,所以需要把liveslived还原成live” 
e.文章中的标点符号通常不表示某种概念,也可以过滤掉 
lucene中以上措施由Analyzer类完成 

经过上面处理后 
文章1的所有关键词为:[tom] [live] [guangzhou] [i] [live] [guangzhou] 
文章2的所有关键词为:[he] [live] [shanghai] 

2) 有了关键词后,我们就可以建立倒排索引了。上面的对应关系是:文章号文章中所有关键词。倒排索引把这个关系倒过来,变成:关键词拥有该关键词的所有文章号。文章12经过倒排后变成 
关键词 文章号 
guangzhou 1 
he 2 
i 1 
live 1,2 
shanghai 2 
tom 1 

通常仅知道关键词在哪些文章中出现还不够,我们还需要知道关键词在文章中出现次数和出现的位置,通常有两种位置:

a)字符位置,即记录该词是文章中第几个字符(优点是关键词亮显时定位快);

b)关键词位置,即记录该词是文章中第几个关键词(优点是节约索引空间、词组(phase)查询快),lucene中记录的就是这种位置。 

加上出现频率出现位置信息后,我们的索引结构变为: 
关键词 文章号[出现频率出现位置 
guangzhou 1[2] 3
he 2[1] 1 
i 1[1] 4 
live 1[2],2[1] 25
shanghai 2[1] 3 
tom 1[1] 1 

live 这行为例我们说明一下该结构:live在文章1中出现了2次,文章2中出现了一次,它的出现位置为2,5,2这表示什么呢?我们需要结合文章号和出现频率来分析,文章1中出现了2次,那么2,5就表示live在文章1中出现的两个位置,文章2中出现了一次,剩下的2就表示live是文章2中第 2个关键字。 

以上就是lucene索引结构中最核心的部分。我们注意到关键字是按字符顺序排列的(lucene没有使用B树结构),因此lucene可以用二元搜索算法快速定位关键词。 

实现时 lucene将上面三列分别作为词典文件(Term Dictionary)、频率文件(frequencies)、位置文件 (positions)保存。其中词典文件不仅保存有每个关键词,还保留了指向频率文件和位置文件的指针,通过指针可以找到该关键字的频率信息和位置信息。 

Lucene中使用了field的概念,用于表达信息所在位置(如标题中,文章中,url中),在建索引中,该field信息也记录在词典文件中,每个关键词都有一个field信息(因为每个关键字一定属于一个或多个field)。 

为了减小索引文件的大小,Lucene对索引还使用了压缩技术。首先,对词典文件中的关键词进行了压缩,关键词压缩为<前缀长度,后缀>,例如:当前词为阿拉伯语,上一个词为阿拉伯,那么阿拉伯语压缩为<3,语>。其次大量用到的是对数字的压缩,数字只保存与上一个值的差值(这样可以减小数字的长度,进而减少保存该数字需要的字节数)。例如当前文章号是16389(不压缩要用3个字节保存),上一文章号是16382,压缩后保存7(只用一个字节)。 

下面我们可以通过对该索引的查询来解释一下为什么要建立索引。 
假设要查询单词 livelucene先对词典二元查找、找到该词,通过指向频率文件的指针读出所有文章号,然后返回结果。词典通常非常小,因而,整个过程的时间是毫秒级的。 
而用普通的顺序匹配算法,不建索引,而是对所有文章的内容进行字符串匹配,这个过程将会相当缓慢,当文章数目很大时,时间往往是无法忍受的。 

分享到:
评论

相关推荐

    Lucene的原理完整版pdf

    **Lucene原理详解** Lucene是一个高性能、全文检索库,由Apache软件基金会开发并维护,是Java编程语言中广泛使用的搜索引擎库。它提供了一个简单但功能强大的API,用于索引和搜索文本数据,使得开发者可以轻松地在...

    Lucene与中文分词技术的研究及应用

    #### Lucene简介与原理 Lucene是一款高性能、全功能的文本搜索引擎库,由Java语言编写而成。它为开发者提供了构建全文搜索引擎的能力,而无需关注底层搜索机制的具体实现细节。Lucene的核心概念包括文档(Document...

    Lucene3.0分词系统.doc

    Lucene3.0分词系统的核心在于理解和应用其分词原理,无论是对于英文还是中文文本,这一过程都是构建高效搜索引擎的基础。以下是对Lucene3.0分词系统中涉及的关键知识点的深入解析。 ### 英文分词原理 英文分词相较...

    lucene中文分词工具包

    1. **词典加载**:词典是分词的基础,IKAnalyzer使用高效的词典数据结构来存储大量的词汇及其相关信息,包括词性、权重等。这些词典可以通过配置文件进行更新和扩展,以适应不同场景的需求。 2. **预处理**:在正式...

    Lucene 3.0 原理

    1. **索引构建**:Lucene 的工作始于文档的索引构建。在这个过程中,它将文本数据分解成小块,称为术语或关键词,并为每个术语创建倒排索引。倒排索引是 Lucene 的核心数据结构,它将每个术语映射到包含该术语的文档...

    c# Lucene.net 原理 代码分析加强版

    《C# Lucene.net原理与代码分析加强版》是一份深度解析Lucene.net搜索引擎库的文档,涵盖了全文检索的基本原理、Lucene的总体架构、索引文件格式以及索引过程和段合并等核心主题,旨在为开发人员提供深入理解Lucene...

    lucene中文分词

    首先,我们要理解Lucene的基本工作原理。Lucene是一个开源的全文检索库,它提供了索引和搜索功能,能够快速地在大量文本中找到相关的文档。然而,由于中文词汇之间没有明显的边界,如英文单词间的空格,因此在对中文...

    Solr5.5搜索引擎之分词原理说明.docx

    Solr5.5 搜索引擎之分词原理说明 Solr5.5 搜索引擎之分词原理说明是指 Solr5.5 搜索引擎内部使用的分词原理,旨在帮助开发者自定义自己的分词器时掌握分词的基础知识。 1. 中文分词 中文分词是指将中文汉字序列切...

    Lucene 3.0 原理与代码分析完整版

    1. 文档分词:Lucene使用Analyzer对输入的文档进行分词,生成Token流。 2. 字符串到Term:将分词结果转化为Term对象,每个Term代表一个唯一的词汇项。 3. 建立Term Frequency(TF):记录每个文档中每个Term出现的...

    Lucene 原理与代码分析完整版

    本文将对Lucene的基本原理及其实现的代码进行分析。 首先,全文检索的基本原理包括索引的创建与搜索过程。在索引创建过程中,文档首先经过分词组件Tokenizer拆分成词元Token,然后经过语言处理组件...

    lucene工作原理.docx

    【Lucene工作原理详解】 Lucene是一个开源的全文搜索引擎库,由Apache软件基金会维护,它提供了文本分析、索引创建、搜索以及相关的功能,适用于Java开发者构建自己的全文搜索应用程序。其核心工作原理主要涉及以下...

    Lucene+原理与代码分析完整版

    《Lucene原理与代码分析》全面解析 Lucene是一个开源的全文搜索引擎库,由Apache软件基金会开发并维护,广泛应用于各种信息检索系统中。它主要使用Java语言编写,因此在Java开发环境中应用尤为广泛。本篇文章将深入...

    Lucene.Net +盘古分词 搜索引擎

    **正文** Lucene.Net是一个基于Apache Lucene的全文检索库,专门为.NET Framework设计。...通过深入理解Lucene.Net的内部机制和盘古分词的工作原理,可以进一步优化搜索性能,满足不同场景的需求。

    LUCENE搜索引擎基本工作原理

    2. **预处理**:Lucene对抓取的内容进行分词,即进行词典化(Tokenization),将连续的文本分割成独立的词汇单位(Token)。同时,它还会执行其他预处理操作,如去除停用词(Stopwords)、词干提取(Stemming)和词...

    lucene.net中文分词器

    附带的源代码是理解这个分词器工作原理的重要资源。通过阅读和分析代码,开发者可以了解到如何在Lucene.NET中集成自定义分词器,以及如何实现最大向前匹配算法的具体细节。这为其他开发者提供了参考和学习的机会,也...

    lucene原理与代码分析完整版

    ### Lucene原理与代码分析概览 #### 一、全文检索基本原理 全文检索是一种能够检索文档中任意词语的信息检索技术。与简单的关键词查询不同,全文检索不仅关注文档标题、元数据,还深入到文档的实际内容中去。这种...

    Lucene.net 盘古分词字典管理

    在“PanGu_Release_V2.3.1.0 (1)”这个压缩包中,包含的"demo.exe"是一个示例程序,它可能展示了如何使用盘古分词和Lucene.NET 进行中文分词和字典管理。运行这个程序,我们可以直观地看到分词效果,理解盘古分词的...

    Lucene原理

    通过深入理解Lucene的工作原理,并结合Analyzer的定制、查询优化策略以及性能调优,开发者可以构建出满足特定需求的高性能搜索引擎。同时,Lucene也提供了丰富的API,便于与其他系统集成,如Solr和Elasticsearch等,...

    lucene 原理与代码分析

    《Lucene原理与代码分析》深入探讨了几乎最新版本的Lucene的工作机制和代码实现细节,为理解全文搜索引擎的核心技术提供了宝贵的资源。以下是对该文件关键知识点的详细解析: ### 全文检索的基本原理 #### 总论 ...

Global site tag (gtag.js) - Google Analytics