Nutch源码学习系列之一

Nutch源码学习系列之一：Analysis包（原创） - -
Tag： Nutch    Lucene    Analysis                                          

Nutch源码学习系列之一：Analysis包（原创）
TjuAILab    张步峰

Nutch0.7出来，对于我们这些Lucene爱好者来说，是件兴奋的事情！当时用Nutch0.6做实验已经让我非常兴奋。

Nutch0.7比之0.6又增添了一部分功能，我们开发一些小型搜索引擎可以修改Nutch的一些接口，使之更加用户化。

此节主要讲述Nutch下的Analysis包即package org.apache.nutch.analysis。

阅读此包是你可以参照Nutch的API文档。http://lucene.apache.org/nutch/apidocs/index.html。或者使用的硬盘上的也可。

搜索引擎去除Spider外基本架构可以简要描述如下






由于Analysis主要处理分词问题。在图中看出需要分词的地方就是所用入库和对用户查询进行分词。

Nutch的Analysis有一下几个文件：(黄色底是NutchAPI文档列的)

CharStream.java：

     interface CharStream

  *这个接口描述了一个维护字符串行和列位置的字符流。在某种程度上，它还具有备份字符流的


  *能力。此接口的一个实现有JavaccParser产生，用于TokenManager这个实现中。


  *


  *除去backup方法外的其他所有方法都可以被以任何方式实现。backup的正确实现需要对lexer的正确操作。


  *其他的方法被用来获取信息，诸如行序号、列序号、用于Token却没有用于lexer的字符串。


  *因此这些方法对应的实现不会影响产生lexer的操作   

CommonGrams.java

     *对于索引时经常出现的项和词构建n-grams(不是很明白).使用n-grams优化词查询。单个项依旧使用


     *覆盖的n-grams索引。


FastCharStream.java

     *CharStream接口的一个有效实现。注意这并没有进行行数计算，当时追踪了在输入中Token的字符位置


     *这个字符位置是Lucene的API需要的

NutchAnalysis.java

     应该说是Analysis包的核心了，主要完成Nutch语言（词典）分析器和查询分析器。具体到语言分析，要去


Stop Words，然后中文分词，或者英文分词等等。

NutchAnalysisConstants.java

      一个接口主要被NutchAnalysis和NutchTokenManager所用，里面含的都是常量。譬如Token的类型（冒号，省略号，阿拉伯数字，短语等等）和TokenImage（就是Token类型的string化）


NutchAnalysisTokenManager.java

      管理Token，为NutchAnalysis所用。

NutchDocumentAnalyzer.java

      *NutchDocumentAnalyzer为Nuctch文档服务。使用JavaCC定义的语言（词典）分析器


   *（@link NutchDocumentTokenizer）,不含有StopWords列表。从而保持了查询分析的连贯性。


     与NutchAnalysis相对独立

NutchDocumentTokenizer.java

      *此分词器用于对Nutch的文档文本进行分词。是JavaCC所产生的词典分析器的实现。


       为NutchDocumentAnalyzer所用。


ParseException.java

        *当查询分析出错时，此异常被抛出。在产生的查询分析器（Parser）中。


        *你可以通过调用方法generateParseException来显示地创建此异常类的对象。


*只要你保留公共feild（成员变量），你可以修改这个类使其报错机制更加用户化。


Token.java

        Token类内含Token的类型，每个Token在字符串中的起始位置和终止位置等等


TokenManager.java

       一个接口，非常简单，里面只有一个用于返回下一个Token的函数。在Analysis包没有被使用。可能留着以后扩展用


TokenMgrError.java

        主要用于分词出错，进行报错。


其主要的类别继承图如下：

Class Hierarchy
class java.lang.Object
class org.apache.lucene.analysis.Analyzer
class org.apache.nutch.analysis.NutchDocumentAnalyzer
class org.apache.nutch.analysis.CommonGrams
class org.apache.nutch.analysis.NutchAnalysis (implements org.apache.nutch.analysis.NutchAnalysisConstants)
class org.apache.nutch.analysis.NutchAnalysisTokenManager (implements org.apache.nutch.analysis.NutchAnalysisConstants)
class org.apache.lucene.analysis.TokenStream
class org.apache.lucene.analysis.Tokenizer
class org.apache.nutch.analysis.NutchDocumentTokenizer (implements org.apache.nutch.analysis.NutchAnalysisConstants)
Interface Hierarchy
interface org.apache.nutch.analysis.NutchAnalysisConstants
Nutch的底层是基于Lucene的，从图中你可以看出主要的两大接口NutchDocumentAnalyzer和NutchDocumentTokenizer都是从Lucene继承过来的。所以更有必要认真研究Lucene的Analysis包。


由于BlogChina发文大小有限制，想看更全的源码部分，可以看我另一个blog！

http://blog.donews.com/windshow/archive/2005/08/26/526755.aspx