`
banditjava
  • 浏览: 160151 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

Lucene于搜索引擎技术(Analysis包详解)

阅读更多

Analysis 包分析

算法和数据结构分析 :

由于 Analysis 包比较简单 , 不详述了 !

算法 : 基于机械分词 1-gram,2-gram,HMM( 如果使用 ICTCLAS 接口的话 )

数据结构 : 部分源码用到了 Set ,HashTable,HashMap

认真理解 Token

Lucene 中的 Analysis 包专门用于完成对于索引文件的分词 .Lucene 中的 Token 是一个非常重要的概念 .

看一下其源码实现:

public final class Token {

  String termText;                        // the text of the term

  int startOffset;                           // start in source text

  int endOffset;                            // end in source text

  String type = "word";                        // lexical type

  private int positionIncrement = 1;

  public Token(String text, int start, int end)

  public Token(String text, int start, int end, String typ)

  public void setPositionIncrement(int positionIncrement)

  public int getPositionIncrement() { return positionIncrement; }

  public final String termText() { return termText; }

  public final int startOffset() { return startOffset; }

public void setStartOffset(int givenStartOffset)

  public final int endOffset() { return endOffset; }

public void setEndOffset(int givenEndOffset)

  public final String type() { return type; }

  public String toString()

  }

下面编一段代码来看一下

TestToken.java

package org.apache.lucene.analysis.test;

import org.apache.lucene.analysis.*;

import org.apache.lucene.analysis.standard.StandardAnalyzer;

import java.io.*;

public class TestToken

{

  public static void main(String[] args)

  {

     String string = new String(" 我爱天大 , 但我更爱中国 ");

//Analyzer analyzer = new StandardAnalyzer();

Analyzer analyzer = new TjuChineseAnalyzer();

//Analyzer analyzer= new StopAnalyzer();

    TokenStream ts = analyzer.tokenStream("dummy",new StringReader(string));

     Token token;

    try

    {

      int n=0;

      while ( (token = ts.next()) != null)

      {

        System.out.println((n++)+"->"+token.toString());

      }

    }

    catch(IOException ioe)

    {

      ioe.printStackTrace();

    }

 


  }

} 注意看其结果如下所示

0->Token's (termText,startOffset,endOffset,type,positionIncrement) is:( ,0,1,<CJK>,1)

1->Token's (termText,startOffset,endOffset,type,positionIncrement) is:( ,1,2,<CJK>,1)

2->Token's (termText,startOffset,endOffset,type,positionIncrement) is:( ,2,3,<CJK>,1)

3->Token's (termText,startOffset,endOffset,type,positionIncrement) is:( ,3,4,<CJK>,1)

4->Token's (termText,startOffset,endOffset,type,positionIncrement) is:( ,5,6,<CJK>,1)

5->Token's (termText,startOffset,endOffset,type,positionIncrement) is:( ,6,7,<CJK>,1)

6->Token's (termText,startOffset,endOffset,type,positionIncrement) is:( ,7,8,<CJK>,1)

7->Token's (termText,startOffset,endOffset,type,positionIncrement) is:( ,8,9,<CJK>,1)

8->Token's (termText,startOffset,endOffset,type,positionIncrement) is:( ,9,10,<CJK>,1)

9->Token's (termText,startOffset,endOffset,type,positionIncrement) is:( ,10,11,<CJK>,1)

注意 : 其中 ”,” StandardAnalyzer 给过滤掉了 , 所以大家注意第 4 Token 直接 startOffset 5 开始 .

如果改用 StopAnalyzer()

0->Token's (termText,startOffset,endOffset,type,positionIncrement) is:( 我爱天大 ,0,4,word,1)

1->Token's (termText,startOffset,endOffset,type,positionIncrement) is:( 但我更爱中国 ,5,11,word,1)

改用 TjuChineseAnalyzer( 我写的 , 下文会讲到如何去写 )

0->Token's (termText,startOffset,endOffset,type,positionIncrement) is:( ,3,4,word,1)

1->Token's (termText,startOffset,endOffset,type,positionIncrement) is:( 天大 ,6,8,word,1)

2->Token's (termText,startOffset,endOffset,type,positionIncrement) is:( ,19,20,word,1)

3->Token's (termText,startOffset,endOffset,type,positionIncrement) is:( ,22,23,word,1)

4->Token's (termText,startOffset,endOffset,type,positionIncrement) is:( 中国 ,25,27,word,1)

讲明白了 Token, 咱们来看以下其他的东西

一个 TokenStream 是用来走访 Token iterator( 迭代器 )

看一下其源代码 :

public abstract class TokenStream {

  public abstract Token next() throws IOException;

  public void close() throws IOException {}

}

一个 Tokenizer is-a TokenStream (派生自 TokenStream ),其输入为 Reader

看一下其源码如下:

public abstract class Tokenizer extends TokenStream {

  protected Reader input;

  protected Tokenizer() {}

  protected Tokenizer(Reader input) {

    this.input = input;

  }

  public void close() throws IOException {

    input.close();

  }

}

一个 TokenFilter is–a TokenStream( 派生自 TokenStream) ,其义如名就是用来完成对 TokenStream 的过滤操作,譬如

StopWords ,将 Token 变为小写等。

源码如下:

public abstract class TokenFilter extends TokenStream {

  protected TokenStream input;

  protected TokenFilter() {}

  protected TokenFilter(TokenStream input) {

    this.input = input;

  }

  public void close() throws IOException {

    input.close();

  }

}

一个 Analyzer 就是一个 TokenStream 工厂

看一下其源码就:

public abstract class Analyzer { 

  public TokenStream tokenStream(String fieldName, Reader reader)

  {

         return tokenStream(reader);

  }

  public TokenStream tokenStream(Reader reader)

  {

         return tokenStream(null, reader);

  }

}

好,现在咱们来看一下 Lucene Analysis 包下面的各个类文件都是用来干什么的。按照字典排序。

Analysis 包中的源码详解

Analyzer.java  上文已经讲过。

CharTokenizer.java  此类为简单一个抽象类,用来对基于字符的进行简单分词( tokenizer

LetterTokenizer.java 两个非字符之间的字符串定义为 token (举例来说英文单词由空白隔开,那个两个空白之间的字符串即被定义为一个 token 。备注:对于绝大多数欧洲语言来说,这个类工作效能很好。当时对于不用空白符分割的亚洲语言 , 效能极差(譬如中日韩)。)

LowerCaseFilter.java is-a TokenFilter 用于将字母小写化

LowerCaseTokenizer is-a Tokenizer 功能上等价于 LetterTokenizer LowerCaseFilter

PerFieldAnalyzerWrapper 是一个 Analyzer ,因为继承自 Analyzer 当不同的域( Field )需要不同的语言分析器( Analyzer )时,这个 Analyzer 就派上了用场。使用成员函数 addAnalyzer 可以增加一个非缺省的基于某个 Field analyzer 。很少使用。

PorterStemFilter.java 使用词干抽取算法对每一个 token 流进行词干抽取。

PorterStemmer.java  有名的 P-stemming 算法

SimpleAnalyzer.java

StopAnalyzer.java   具有过滤停用词的功能

StopFilter.java     StopFilter 为一个 Filter ,主要用于从 token 流中去除 StopWords

Token.java       上面已讲 .

TokenFilter.java   上面已经讲了

Tokenizer.java     上面已经讲了

TokenStream.java   上面已经讲了

WhitespaceAnalyzer.java

WhitespaceTokenizer.java 只是按照 space 区分 Token.

 


由于 Lucene analyisis 包下的 Standard 包下的 StandardAnalyzer() 功能很强大 , 而且支持 CJK 分词 , 我们简要说一下 .

此包下的文件是有 StandardTokenizer.jj 经过 javac 命令生成的 . 由于是机器自动生成的代码 , 可能可读性很差 , 想了解的话好好看看那个 StandardTokenizer.jj 文件就会比较明了了 .

Lucene 常用的 Analyzer 功能概述 .

WhitespaceAnalyzer: 仅仅是去除空格,对字符没有 lowcase , 不支持中文

SimpleAnalyzer: 功能强于 WhitespaceAnalyzer, 将除去 letter 之外的符号全部过滤掉 , 并且将所有的字符 lowcase , 不支持中文

StopAnalyzer:StopAnalyzer 的功能超越了 SimpleAnalyzer ,在 SimpleAnalyzer 的基础上
   
增加了去除 StopWords 的功能 , 不支持中文

StandardAnalyzer: 英文的处理能力同于 StopAnalyzer. 支持中文采用的方法为单字切分 .

ChineseAnalyzer: 来自于 Lucene sand box. 性能类似于 StandardAnalyzer, 缺点是不支持中英文混和分词 .

CJKAnalyzer:chedong 写的 CJKAnalyzer 的功能在英文处理上的功能和 StandardAnalyzer 相同
   
但是在汉语的分词上,不能过滤掉标点符号,即使用二元切分

TjuChineseAnalyzer: 我写的 , 功能最为强大 .TjuChineseAnlyzer 的功能相当强大 , 在中文分词方面由于其调用的为 ICTCLAS java 接口 . 所以其在中文方面性能上同与 ICTCLAS. 其在英文分词上采用了 Lucene StopAnalyzer, 可以去除  stopWords, 而且可以不区分大小写 , 过滤掉各类标点符号 .

各个 Analyzer 的功能已经比较介绍完毕了 , 现在咱们应该学写 Analyzer, 如何 diy 自己的 analyzer ??

如何 DIY 一个 Analyzer

咱们写一个 Analyzer, 要求有一下功能

(1)     可以处理中文和英文 , 对于中文实现的是单字切分 , 对于英文实现的是以空格切分 .

(2)     对于英文部分要进行小写化 .

(3)     具有过滤功能 , 可以人工设定 StopWords 列表 . 如果不是人工设定 , 系统会给出默认的 StopWords 列表 .

(4)     使用 P-stemming 算法对于英文部分进行词缀处理 .

代码如下 :

public final class DiyAnalyzer

    extends Analyzer

{

  private Set stopWords;

  public static final String[] CHINESE_ENGLISH_STOP_WORDS =

      {

      "a", "an", "and", "are", "as", "at", "be", "but", "by",

      "for", &quo

分享到:
评论
1 楼 GhostWolf 2009-03-04  
怎么最后的代码写了个头 就没接着写了?

相关推荐

    lucene2.0与其分词工具包

    总的来说,Lucene 2.0是Java全职搜索引擎的重要里程碑,它的分词工具包则解决了处理中文文本的关键问题。通过深入理解和熟练运用这些工具,开发者可以构建出高效、精准的信息检索系统,满足各种搜索需求。尽管年代...

    lucene搜索引擎

    **Lucene 搜索引擎详解** Lucene 是一个由 Apache 软件基金会开发的全文搜索引擎库,它在 Apache Jakarta 项目下属于一个重要的开源组件。Lucene 的设计目标是为软件开发者提供一个简单且可扩展的接口,以便在他们...

    Lucene分词与查询详解

    Lucene是一个高性能、全文本搜索库,广泛应用于各种搜索引擎的开发中。它提供了一套强大的API,用于索引文本数据,并执行复杂的查询操作。在深入理解Lucene的分词与查询机制之前,我们需要了解以下几个核心概念: 1...

    lucene.jar架包

    Lucene 并不是一个完整的搜索引擎,而是它的核心组件,专注于索引和搜索功能的实现。通过 Lucene,开发者可以将全文搜索功能轻松地集成到他们的应用程序中。 **主要特点:** 1. **高性能**:Lucene 具有高效的数据...

    lucene对doc.xlsx操作包

    Apache Lucene,作为一个开源全文检索库,被广泛应用于构建高效的搜索引擎。然而,传统的Lucene主要针对纯文本文件进行操作,而现代业务中,如doc、xlsx等办公文档的处理需求日益增加。本文将深入探讨如何使用Lucene...

    lucene.net.analysis.cn

    在信息技术领域,搜索引擎的构建是不可或缺的一部分,而Lucene.NET作为一款高性能、全文检索引擎库,为开发者提供了强大的文本检索能力。在这个专题中,我们将聚焦于“lucene.net.analysis.cn”,这是一个专门针对...

    elasticsearch-analysis-ik,ik分析插件将lucene ik analyzer集成到elasticsearch中,支持自定义字典。.zip

    Elasticsearch 是一款功能强大的全文搜索引擎,而 IK Analyzer 是一个在 Lucene 上构建的智能中文分词库。本文将深入探讨如何将 Elasticsearch Analysis IK 插件应用于 Elasticsearch 中,以实现对中文文本的高效、...

    lucene2.0.0

    对于那些致力于构建搜索引擎或者对信息检索技术感兴趣的朋友来说,了解并掌握Lucene 2.0.0是必不可少的。 一、Lucene概述 Lucene的核心功能在于提供了一套高效、灵活的文本检索框架。它实现了分词、索引、查询解析...

    lucene核心资源包以及lucene的api

    Lucene是一款开源全文搜索引擎库,由Apache软件基金会开发并维护。它为Java开发者提供了强大的文本搜索功能,被广泛应用于各种信息检索系统。本资源包包含了Lucene的核心资源及API,对于学习和使用Lucene进行全文...

    java全文搜索lucene-3.0.0-src+lib.zip

    《Java全文搜索引擎Lucene 3.0.0源码及库文件详解》 Java全文搜索引擎Lucene是一款开源的、高性能的文本分析和检索库,它为开发者提供了在Java应用程序中实现全文搜索功能的能力。本篇将深入探讨Lucene 3.0.0版本的...

    lucene 资料全集

    **Lucene 搜索引擎技术详解** Lucene 是一个开源全文搜索引擎库,由 Apache 软件基金会维护。它提供了一个可扩展的、高性能的搜索框架,使得开发者能够快速地在大量数据中实现全文检索功能。Lucene 已经成为了 Java...

    lucene中文分词

    总的来说,"lucene中文分词"是Lucene处理中文文本的关键环节,通过引入"je-analysis"这样的分词插件,我们可以构建出适用于各种场景的中文搜索引擎。在实际应用中,需要根据数据特性选择合适的分词策略,并进行适当...

    第一个lucene程序

    在信息技术领域,搜索引擎的实现是一项关键的技术,而Apache Lucene作为一款开源全文检索库,为开发者提供了强大的文本搜索功能。本文将深入探讨如何编写你的“第一个Lucene程序”,帮助你理解和掌握Lucene的基本...

    Lucene索引器实例

    Lucene是一个高性能、全文本搜索库,由Apache软件基金会开发,被广泛应用于各种搜索引擎的构建。它提供了一个高级的、灵活的、可扩展的接口,使得开发者能够轻松地在应用程序中实现全文检索功能。在深入理解Lucene...

    企业级搜索引擎Solr交流

    Solr作为一款成熟的企业级搜索引擎,基于强大的Lucene技术,不仅提供了丰富的功能,还具有高度的可扩展性和灵活性。无论是简单的文本检索还是复杂的数据分析,Solr都能够提供高效稳定的解决方案。对于需要构建高性能...

    Lucene.net建立索引,检索分页Demo

    - 内容搜索引擎:网站文章、博客、新闻等内容的全文搜索。 - 数据库辅助搜索:在大型数据库中提供快速的预览搜索。 - 日志分析:对系统日志进行实时搜索和分析。 - 文件检索:在大量文件中查找包含特定关键词的...

    \Lucene Nutch和安装说明文旦

    Lucene是一个全文搜索引擎库,它提供了核心的搜索功能,而Nutch则是一个基于Lucene的开源网络爬虫项目,用于抓取网页并建立索引。描述中的“LuceneChapter12 光盘使用说明.DOC”可能是指一份包含第12章内容的文档,...

    Lucene in Action.pdf

    《Lucene in Action》是一本关于Java搜索引擎技术的权威指南,旨在帮助开发者深入了解并掌握Lucene这一强大的开源文本搜索库。本书由Otis Gospodnetic和Erik Hatcher合著,并得到了Lucene项目的创始人Doug Cutting的...

Global site tag (gtag.js) - Google Analytics