在tomcat中运行得nutch加入中文分词后的检索

nutch-0.9加入中文分词之后的索引有很多博客已经讲到过

我没有使用Cygwin模拟linux环境，而是在Tomcat中运行的nutch。这个项目工程文件是在我们的项目中的一个war包，而这个war包却是最开始的版本，因此我们要在特定的时候修改掉里面的一些文件。

 

但遇到一个问题是，加入分词之后放到tomcat里面发现搜索不好使了，用Luke打开索引文件可以看到中文分词的效果明显

可是用nutch查询结果却很多时候查不出来

 

其实原因是因为你加入的中文分词在查询里面没有被应用到，因为war包还是最老版本的war包，其中的一些修改没有体现到

 

修改以下几个地方，把nutch的中文分词器换成自己的分词器以JE为例

 

1：修改org.apache.nutch.analysis.NutchAnalysis.java文件

 

     导入import jeasy.analysis.*;

     替换其parse()方法如下：

final public Query parse(Configuration conf) throws ParseException,IOException {

Query query = new Query(conf);

StringReader input;

input=new java.io.StringReader(queryString);

org.apache.lucene.analysis.TokenStream tokenizer=new MMAnalyzer().tokenStream(queryString,input);

for(org.apache.lucene.analysis.Token t=tokenizer.next();t!=null;t=tokenizer.next()){

   String[] array={t.termText()};

   query.addRequiredPhrase(array);

}

{if (true) return query;}

    throw new Error("Missing return statement in function");

}

 

2：修改org.apache.nutch.searcher.Query.java 

  public static Query parse(String queryString, String queryLang, Configuration conf)

  throws IOException {

    try {

       return fixup(NutchAnalysis.parseQuery(

               queryString, AnalyzerFactory.get(conf).get(queryLang), conf), conf);

    } catch (ParseException e) {

       // TODO Auto-generated catch block

       e.printStackTrace();

    }

    return null;

  }

 

 

3：也是很多文章里面没有提到的一个地方org.apache.nutch.analysis.NutchAnalysis.java文件

 

  /** Construct a query parser for the text in a reader. */

  public static Query parseQuery(String queryString, Analyzer analyzer, Configuration conf)

    throws IOException {

 /**

  * 这里我有的修改

  */

    NutchAnalysis parser = new NutchAnalysis(

          queryString, (analyzer != null) ? analyzer : new MMAnalyzer());//这里把默认的分词器改成自己的分词器

    parser.queryString = queryString;

    parser.queryFilters = new QueryFilters(conf);

    return parser.parse(conf);

  }

修改好了，然后用ant编译成nutch-0.9.jar，然后替换掉你tomcat中的nutch工程中的WEB-INF中的nutch-0.9.jar

然后再在这个WEB-INF中添加JE分词包，就大功告成了，这一点非常重要，因为如果不替换，tomcat还是使用了最老版本的nutch-0.9.jar。而我们需要使用的检索是自己添加的中文分词器