中文分词 mmseg4j

使用 paoding 的配置觉得有点复杂，而且管理词库也有点不方便，同时自己也想了解下中文分词算法，然后就想自己写个中文分词器，在lucene和solr中使用。在 javaeye 看到有关 mmseg 的简介，看了下还不错，简单方便，那就用它来写个java版吧，我搜索 mmseg的java版（好像是 solo，官方已经下载不了），弄清分词算法还是自己写写吧。

实在想不到其它名字，就称它为 mmseg4j。关于 mmseg的算法我先不在这介绍，
可以参考：

1. mmseg
2. libmmseg
3. rmmseg

mmseg4j 也实现了两种分词方式：Simple和Complex。

mmseg4j 扩展 lucene的analyzer，叫MMSegAnalyzer默认使用Complex方式，也可以用SimpleAnalyzer（Simple方式）。

来看下分词效果。

引用

M:\mmseg4j\build>java -Dmmseg.dic.path=../data -jar mmseg4j-1.0.jar 羽毛球拍,研究生命起源,国际化,眼看就要来了,为首要考虑
2009-3-22 22:29:45 com.chenlb.mmseg4j.Dictionary
信息: look up in mmseg.dic.path=../data
2009-3-22 22:29:45 com.chenlb.mmseg4j.Dictionary init
信息: chars loaded time=297ms, line=12638, on file=..\data\chars.dic
2009-3-22 22:29:46 com.chenlb.mmseg4j.Dictionary init
信息: words loaded time=485ms, line=120330, on file=..\data\words.dic
2009-3-22 22:29:46 com.chenlb.mmseg4j.Dictionary init
信息: sort time=125ms
2009-3-22 22:29:46 com.chenlb.mmseg4j.Dictionary init
信息: load dic use time=937ms

羽毛 | 球拍 | 研究 | 生命 | 起源 | 国际化 | 眼看 | 就要 | 来 | 了 | 为首 | 要 | 考虑 |

mmseg4j还扩展了solr的TokenizerFactory可以在Solr中方便的使用。可以指定词库的目录（paoding 到现在我还没搞懂怎么指定词库，在solr中使用，只能放到solr.war中）。mmseg4j在solr中使用的示例：
1、把mmseg4j-1.0.jar 放到solr.home/lib目录下（solr1.3支持）。
2、schema.xml定义field type

	<fieldType name="textComplex" class="solr.TextField" >
      <analyzer>
        <tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" dicPath="dic"/>
      </analyzer>
    </fieldType>
	<fieldType name="textSimple" class="solr.TextField" >
      <analyzer>
        <tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="simple" 
			dicPath="n:/OpenSource/apache-solr-1.3.0/example/solr/my_dic"/>
      </analyzer>
    </fieldType>

3、打开http://localhost:8080/solr/admin/analysis.jsp 察看分词效果。

MMSegTokenizerFactory 支持两个参数，mode=simple(默认是complex)，dicPath可以用词库目录绝对路径或相对路径（相对路径是是相对solr.home目录）。可以为每个不同的MMSegTokenizerFactory指定不同的目录（一般应用中没有必要，一般用相同的目录，默认是CWD的data目录下找词库）。

词库，由于mmseg算法的特性要两个文件，我指定用chars.dic、words.dic，基本上chars.dic不需要改动，words.dic可以添加自己的词。现在用的是rmmseg的词库，当然你也可以用sogou的词库（下个版本准备用它）。

现在把 mmseg4j 发在 http://code.google.com/p/mmseg4j/ 上。可以下载 mmseg4j-1.0.jar

发现有 bug，联系我 chenlb2008#gmail.com。

评论

37 楼 cm_baije 2013-07-19  

那个加载词词库的方法怎么用啊？

36 楼 chenlb 2009-04-15  

哦， 那个是我本机上测的， 没打包到 jar 里。

呵呵

35 楼 mikeandmore 2009-04-15  

chenlb 写道

mikeandmore 写道

chenlb 写道

mikeandmore 写道

囧，为什么出来的结果都是乱码啊。。。。。。

正确编码的Reader应该没有乱码问题。

因为Linux是unicode(utf-8)的，不是国标，(GB2312)

词库，我强制使用 utf-8 编码。

reader 层里没有编码的概念了

是你的Performance.java里面hardcode的。。嘿嘿

34 楼 chenlb 2009-04-15  

mikeandmore 写道

chenlb 写道

mikeandmore 写道

囧，为什么出来的结果都是乱码啊。。。。。。

正确编码的Reader应该没有乱码问题。

因为Linux是unicode(utf-8)的，不是国标，(GB2312)

词库，我强制使用 utf-8 编码。

reader 层里没有编码的概念了

33 楼 mikeandmore 2009-04-15  

chenlb 写道

mikeandmore 写道

囧，为什么出来的结果都是乱码啊。。。。。。

正确编码的Reader应该没有乱码问题。

因为Linux是unicode(utf-8)的，不是国标，(GB2312)

32 楼 mikeandmore 2009-04-15  

5.57s user
0.28s system
99% cpu
5.871 total

user是用户态的时间。
system是内核态的时间。

31 楼 chenlb 2009-04-15  

mikeandmore 写道

囧，为什么出来的结果都是乱码啊。。。。。。

正确编码的Reader应该没有乱码问题。

30 楼 chenlb 2009-04-15  

楼上的结果， 8.68s 是总时间？ user 0.30s 是什么意思，词库加载时间？

29 楼 mikeandmore 2009-04-15  

===========================MMSEG4J=============================
mikeandmore% time java -cp build/mmseg4j-1.7-beta.jar:. Performance /mnt/source/workspace/segc > /dev/null 2>/dev/null
java -cp build/mmseg4j-1.7-beta.jar:. Performance /mnt/source/workspace/segc   8.68s user 0.30s system 100% cpu 8.912 total

=============================SEGC==============================
C Version:
mikeandmore% time ./test > /dev/null 2>/dev/null
./test > /dev/null 2> /dev/null  5.57s user 0.28s system 99% cpu 5.871 total

Python Version:
mikeandmore% time python test_per.py >/dev/null 2>/dev/null
python test_per.py > /dev/null 2> /dev/null  17.32s user 0.26s system 99% cpu 17.593 total

28 楼 mikeandmore 2009-04-15  

囧，为什么出来的结果都是乱码啊。。。。。。

27 楼 mikeandmore 2009-04-14  

chenlb 写道

mikeandmore 写道

刚才改成了StringIO。Python拷贝词结果能到1.16M/s。竟然能和以前一样。。。

1.7 beta 版的可能能与你的pk, 我机子上 complex 是 1200kb/s左右

啊，我明天测试一下。。。  

26 楼 chenlb 2009-04-12  

mikeandmore 写道

刚才改成了StringIO。Python拷贝词结果能到1.16M/s。竟然能和以前一样。。。

1.7 beta 版的可能能与你的pk, 我机子上 complex 是 1200kb/s左右

25 楼 chenlb 2009-04-07  

mikeandmore 写道

或许是搜狗词库？
我用的就是mmseg-cpp那个词库的。。。

词库基本没影响, 可能是还有不必要的数组复制.

24 楼 mikeandmore 2009-04-07  

刚才改成了StringIO。
Python拷贝词结果能到1.16M/s。竟然能和以前一样。。。

23 楼 mikeandmore 2009-04-07  

或许是搜狗词库？
我用的就是mmseg-cpp那个词库的。。。

22 楼 mikeandmore 2009-04-07  

python的太慢了。。。没办法，我的核心库只负责计算下一个分词词的长度，Python的[:]来substring实在开销太大了。。。现在正在把以前的换成StringIO。。。然后再测试看看，以前比较土，不知道有StringIO这东西。。。T_T

C的和以前差不多。。。2.36M/s
我的测试环境P4 3.06G, 1.5GDDR2, debian Linux2.6.26

21 楼 chenlb 2009-04-07  

mikeandmore 写道

chenlb 写道

mikeandmore 写道

呃。。。忘了说了。。。
性能。。我这个项目的目的是性能的。。。

1.5版的分词速度simple算法是 1100kb/s左右、complex算法是 700kb/s左右，（测试机：AMD athlon 64 2800+ 1G内存 xp）。

simple > paoding(900Kb/s左右) > complex > ik & mik > je

后续的版本努力提升性能....

C版本，2.6M/s
python版本惨不忍睹。。。。。T_T
但是如果不对结果进行字符串拷贝的话。
python wrapper是1.16M/s

都是complex算法

如果对结果拷贝, 是多少? 你机器怎么样?

我测试的都是分出词的, 近10M的几篇小说进行,5次测试的平均值.

20 楼 mikeandmore 2009-04-07  

chenlb 写道

mikeandmore 写道

呃。。。忘了说了。。。
性能。。我这个项目的目的是性能的。。。

1.5版的分词速度simple算法是 1100kb/s左右、complex算法是 700kb/s左右，（测试机：AMD athlon 64 2800+ 1G内存 xp）。

simple > paoding(900Kb/s左右) > complex > ik & mik > je

后续的版本努力提升性能....

C版本，2.6M/s
python版本惨不忍睹。。。。。T_T
但是如果不对结果进行字符串拷贝的话。
python wrapper是1.16M/s

都是complex算法

19 楼 chenlb 2009-04-07  

mikeandmore 写道

呃。。。忘了说了。。。
性能。。我这个项目的目的是性能的。。。

1.5版的分词速度simple算法是 1100kb/s左右、complex算法是 700kb/s左右，（测试机：AMD athlon 64 2800+ 1G内存 xp）。

simple > paoding(900Kb/s左右) > complex > ik & mik > je

后续的版本努力提升性能....

18 楼 mikeandmore 2009-04-07  

chenlb 写道

mikeandmore 写道

赞...
话说可以考虑跟我的segc PK试试看...哈哈...

http://github.com/mikeandmore/segc/tree/master

PK 那方面?

呃。。。忘了说了。。。
性能。。我这个项目的目的是性能的。。。