转： solr中文分词

http://blog.csdn.net/aidayei/archive/2011/06/05/6526986.aspx

 

我在solr中尝试了以下三种开源中文分词器，其中两种都因为solr版本过高不能用，郁闷，后来将JAR包反编译，找到了原因，下面先简要说明一下三种开源中文分词器

庖丁解牛：google code上最后一次代码提交是2008.6月，不是很活跃，但用的人还很多

mmseg4j：google code上最后一次代码提交是2010.12月，应该还算活跃，采用MMSeg算法，有两种分词方法：Simple和Complex

IKAnalyzer：最近很活跃，2011.3月在google code上提交了一个版本

lucene于今年5月份出了3.2版，solr也对应出了3.2版，高版本有个不好的地方，就是开源的中文分词库，跟不上相应的更新速度，本人用的是3.1 版，在lucene中加入庖丁解牛中文分词器和IKAnalyzer最新版，都会报错。

错误原因如下(以IKAnalyzer为例说明)：

不论是庖丁解牛还是IKAnalyzer，要把分词器放到solr中，需要经承solr中的BaseTokenizerFactory这个类，

 

import java.io.Reader;

import org.apache.lucene.analysis.TokenStream;
import org.apache.solr.analysis.BaseTokenizerFactory;
import org.wltea.analyzer.lucene.IKAnalyzer;

public class ChineseTokenizerFactory extends BaseTokenizerFactory {

    @Override
    public TokenStream create(Reader reader) {
        return new IKAnalyzer().tokenStream("text", reader);
    }

}

 

这个基类中实现TokenizerFactory接口，create就定义在这个接口中，但返回的类型是Tokenizer，而在solr3.1版本中Tokenizer是继承TokenStream的，所以这里需要强制转换才不会报错。而庖丁解牛就没那么简单了，需要修改源码才可以，庖丁解牛现在只支持到solr1.4版本

还有庖丁解牛都不能直接在lucene3.1中使用，代码不提示任何错误，但一运行就报错，不知道为什么原因，估计原因同上，需要修改源代码，有知道的，请转告

mmseg4j也要下最新版本，否则也会报错，具体配置如下：

把 mmseg4j-all-1.8.4.jar 放到 tomcat/webapps/solr/lib下，mmseg4j1.84包中的字典解压出来，放在solr.home/data目录下，修改solr配置文件：

 

<fieldType name="textComplex" class="solr.TextField" positionIncrementGap="100" >
    <analyzer>
        <tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="complex" dicPath="C:/apache/apache-solr-3.1.0/example/solr/data"/>
        <filter class="solr.LowerCaseFilterFactory"/>
    </analyzer>
</fieldType>
<fieldType name="textMaxWord" class="solr.TextField" positionIncrementGap="100" >
    <analyzer>
        <tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="max-word" dicPath="C:/apache/apache-solr-3.1.0/example/solr/data"/>
        <filter class="solr.LowerCaseFilterFactory"/>
    </analyzer>
</fieldType>
<fieldType name="textSimple" class="solr.TextField" positionIncrementGap="100" >
    <analyzer>
        <tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="simple" dicPath="C:/apache/apache-solr-3.1.0/example/solr/data"/>
        <filter class="solr.LowerCaseFilterFactory"/>
    </analyzer>
</fieldType>

 

mmseg4j 在 solr 中主要支持两个参数：mode、dicPath。mode 表示是什么模式分词。dicPath 是词库目录，网上说可以默认在当前data目录下寻找，经测试好像不行，必须人工给出绝对路径，或许是高版本的问题吧，或许是我哪里设置错了，然后在 http://localhost:8080/solr/admin/analysis.jsp 可以看 mmseg4j 的分词效果，在Field的下拉菜单选择type，然后输入textComplex，特别是和CJK分词器作对比，很明显，CJK是solr官方自带的支持中日韩的分词器，它对中文是采用的二元分词

其实中文分词一直以来是很多人在研究的东西，怎么提高分词效率和匹配正确率是目标，里面的算法实现是它的核心，把它完全吃透，估计都可以写论文了，呵呵，由于时间有限，只是粗略拿来体验了一下。还有就是关于solr/lucene的搜索效率，优化索引，也是一个值得研究的课题。

参考资料：

1.http://blog.chenlb.com/2009/04/solr-chinese-segment-mmseg4j-use-demo.html

2.http://lianj-lee.iteye.com/blog/464364

3.http://www.blogjava.net/RongHao/archive/2007/11/06/158621.html

4.http://www.iteye.com/news/9637

5.http://blog.csdn.net/foamflower/archive/2010/07/09/5723361.aspx

突然发现IKAnalyzer在3.1.5版本中，已经实现了对solr的TokenizerFactory接口配置的支持，详见下面这篇文章：

http://linliangyi2007.iteye.com/blog/501228