nutch中文分词

经过了几天的折磨solr，公司又要求修改以前的一个nutch项目，这次修改的东西比较多了，涉及到索引字段和日期索引等，这个我们下次再讲，今天我们来讲一下nutch的中文分词。这时，我还是用了IKAnalyzer，再次感谢作者的辛劳。提醒一下，这时用到的NUTCH是1.2版本。

废话不多说，我们现在开始进入正题：

1）在我们修改之前，我们先去下载一个工具,javacc，一个JAVA编译器，可以到这里来下载，http://java.net/projects/javacc/downloads，下载完成后当然要解压啦（废话，呵呵），然后设置path把解压的路径添加到后面，确定可以从cmd进入。

2）我们需要添加中文分词，首先需要找到org.apache.nutch.analysis包内的NutchAnalysis.jj这个文件，找到| <SIGRAM: <CJK> >，把它修改为<SIGRAM: (<CJK>)+ >。

3）当我们修改完成后，我们需要把它进行重新编译，我们先把NutchAnalysis.jj拷到另外一个文件夹，免得生成的文件跟原有文件混淆了。在cmd中进行拷贝的文件夹，例如我们拷到temp，在temp目录内运行javacc NutchAnalysis.jj这个命令，它会在当前目录下生成好几个文件，把这几个文件复制到org.apache.nutch.analysis包内(文件列表如下)，直接覆盖即可：

注意，生成的文件NutchAnalysis.java会有错误，只要抛出异常即可。

修改完这时后，summary-basic的main函数会报错，同样也是异常的抛出问题，只要在这时进行捕获就可以了。

代码修改如下：

  Query query = null;
	try {
		query = Query.parse(queryBuf.toString(), conf);
	} catch (ParseException e) {
		// TODO Auto-generated catch block
		e.printStackTrace();
	}

4）当我们修改完成后，剩下来的一个就是修改NutchDocumentAnalyzer.java中的tokenStream()方法，修改如下：

public TokenStream tokenStream(String fieldName, Reader reader) {
    Analyzer analyzer;
    /*if ("anchor".equals(fieldName))
      analyzer = ANCHOR_ANALYZER;
    else
      analyzer = CONTENT_ANALYZER;*/
    analyzer = new IKAnalyzer();
    TokenStream tokenStream = analyzer.tokenStream(fieldName,reader);
    tokenStream.addAttribute(TypeAttribute.class);
    tokenStream.addAttribute(FlagsAttribute.class);
    tokenStream.addAttribute(PayloadAttribute.class);
    tokenStream.addAttribute(PositionIncrementAttribute.class);

    return tokenStream;
  }

这时是添加IKAnalyzer作为分词器，当然需要先把这个添加到lib目录下。

5）完成完上面的步骤，也许有些人就以为搞定了，但事情并没这么简单，也许当我们搜索的时候会突然报出一个什么没有该Field的错误，有点抱歉，这个错误不能重现了。

如果查询时报什么错误，我们可以试着在summary-basic插件的源码中修改如下：

添加修改getSummary方法：

if (highlight.contains(t.term())) {
            excerpt.addToken(t.term());
            if(offset < t.startOffset()){
	            excerpt.add(new Fragment(text.substring(offset, t.startOffset())));
	            excerpt.add(new Highlight(text.substring(t.startOffset(),t.endOffset())));
            }else{
            	excerpt.add(new Highlight(text.substring(offset,t.endOffset())));
            }
            offset = t.endOffset();
            endToken = Math.min(j + sumContext, tokens.length);
          }

  添加的为这段代码

 if(offset < t.startOffset()){
	            excerpt.add(new Fragment(text.substring(offset, t.startOffset())));
	            excerpt.add(new Highlight(text.substring(t.startOffset(),t.endOffset())));
            }else{
            	excerpt.add(new Highlight(text.substring(offset,t.endOffset())));
            }

  这是修改getSummary时会出现数组溢出的错误。

修改完代码之后，我们需要修改build.xml，在war标签的lib标签内添加<include name="IKAnalyzer3.2.5Stable.jar" />在生成的war包内添加IK的jar包。

当完成这一系列操作之后，我们就可以在nutch目录中用ant命令进行编译。编译会重新生成所有jar包和job包。可以在build目录下找到。

我们需要把最主要的nutch-X.jar和nutch-X.job拷贝到需要进行爬取和nutch目录下进行覆盖。（其中的X为nutch的版本）

接下来，我们就可以重新运行nutch crawl urls -dir crawl -depth 4 -threads 10 -topN 50 >&crawl.log，这样生成的索引就已经是经过中文分词的。

大家可以下这个文档来了解一下NUTCH的部署和运行命令

http://download.csdn.net/source/619615

评论

2 楼 cxshun 2011-10-21  

可以啊，我修改后是可以正常分词的。你修改后有没有重新打包。并且重新编译生成job文件，那个job文件很关键。打包完成后需要重新爬取的。如果再不行你发一下你的步骤，我看看。

1 楼 kjj 2011-10-21  

请问你测试了你的nutch 能正常分词运行么！！！
我上次也是根据这个方式改的，发现爬行哦建立索引后搜索结果分词仍然是单字分词的！