精华频道 → 开源软件
阅读更多

开源软件
名家访谈 开源 Java 中文分词器 Ansj 作者孙健专访  

2012-11-05  编辑 wangguo 评论(226条) 有170166人浏览
Ansj 分词 Java ictclas

声明：ITeye精华文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

Ansj 是一个开源的 Java 中文分词工具，基于中科院的 ictclas 中文分词算法，比其他常用的开源分词工具（如mmseg4j）的分词准确率更高。

在线演示：http://ansj.sdapp.cn/demo/seg.jsp
官网地址：http://www.ansj.org/
Github地址：https://github.com/ansjsun/ansj_seg

我们本期采访了Ansj的作者孙健，请他为大家详细介绍一下这个分词工具。

ITeye期待并致力于为国内优秀的开源项目提供一个免费的推广平台，如果你和你的团队希望将自己的开源项目介绍给更多的开发者，或者你希望我们对哪些开源项目进行专访，请告诉我们，发站内短信给ITeye管理员或者发邮件到webmaster@iteye.com即可。

先来个自我介绍吧！ Top

孙健，胸无大志，没想过创业，没想过发财，只想高高兴兴写两行代码，做了近五年Java程序员，写过页面，干过运维，做过人力，忽悠过客户，擅长字符串操作，擅长数据结构和算法。现在主要从事检索、自然语言处理、数据挖掘等方面工作。

介绍一下Ansj！ Top

Ansj中文分词是一款纯Java的、主要应用于自然语言处理的、高精度的中文分词工具，目标是“准确、高效、自由地进行中文分词”，可用于人名识别、地名识别、组织机构名识别、多级词性标注、关键词提取、指纹提取等领域，支持行业词典、用户自定义词典。

上面是客套话，先说明一下Ansj命名的由来吧。本来开始打算叫totoro分词（同事帮忙起的名），最后发现好多厕所中卫生洁具都叫“TOTO” ^_^

正好我注册了Ansj.org域名，于是乎，就叫这个名字吧。

你认为中文分词的难点是什么？ Top

在这里说分词有点老生常谈了。的确，中文分词已经非常成熟了，但是之间有一些问题依旧比较难解。个人认为大致有以下几点吧：

1.  中文歧义的识别

比较出名的一句话“结婚的和尚未结婚的”，如果使用正向最大匹配，容易分成“结婚/的/和尚/未/结婚的”，于是有的学者试图倒过来识别，逆向匹配会大于正向。但是碰到这句“结合成分子时”，采用逆向最大匹配，则会分为“结合/成分/子时”，更有甚者像“咬了猎人的狗”这种语意不明的词语，就更不容易正确分词了。这是中文分词的软肋。下面是些典型的歧义句：

  • 交叉歧义（多种切分交织在一起）：内塔内亚胡说的/确实/在理
  • 组合歧义（不同情况下切分不同）：这个人/手上有痣、我们公司人手
  • 真歧义（几种切分都可以）：乒乓球拍/卖/完了、乒乓球/拍卖/完了
2.  实体名识别

这个是中文分词遇到的最大的难点，也是最最紧迫的。实体名识别包括人名识别、地名识别、机构名识别，还包括有监督识别和无监督识别。有监督的还好，无监督基本是无解的，比如“王大力发球”是“王大力”还是“大力发球”，一般人都难以识别。

3.  新词热词发现

目前常用的新词发现还是一个比较有研究性的课题，虽然有些论文在准确率很高，但是大多是封闭测试，这意味着结果很难应用到实际工程中。目前Ansj采用的新词发现方式比较简单，采用了高频词的匹配方式，不使用规则，用统计重复串识别新词，根据词性去掉干扰词，虽然有一定的效果，但还是差强人意。

4.  颗粒度问题

这个就是一个规则探讨的问题了，比如“北京大学”是“北京”+“大学”还是“北京大学”，人各有志，就连同一个人不同时间的标注也有可能是有区别的，虽然这个问题严格上来说不属于技术问题，但是对分词结果的评测却有着很大的关系，Ansj采用“能识别就识别”的策略方针，所以在真正R值的时候偏低，总之一句话，适合学术的不一定适合工业，反之亦然。

简单介绍一下Ansj分词用到的算法，其分词原理是什么？ Top

Ansj并非我创新，可以说是一个ictclas的Java版本，基本原理一致，只不过在分词优化算法上做了一些改进。

该算法实现分词有以下几个步骤：

  1. 全切分，原子切分；
  2. N最短路径的粗切分，根据隐马尔科夫模型和viterbi算法，达到最优路径的规划；
  3. 人名识别；
  4. 系统词典补充；
  5. 用户自定义词典的补充；
  6. 词性标注（可选）

Ansj分词的准确率大概是多少？ Top

这是我采用人民日报1998年1月语料库的一个测试结果，首先要说明的是这份人工标注的语料库本身就有错误。

  • P（准确率）：0.984887218571267
  • R（召回率）：0.9626488103178712
  • F（综合指标F值）：0.9736410471396494

在歧义、未登录词问题上，Ansj表现怎样？ Top

歧异方面的处理方式自我感觉还可以，基于“最佳实践规则+统计”的方式，虽然还有一部分歧异无法识别，但是已经完全能满足工程应用了。

至于未登录词的识别，目前重点做了中文人名的识别，效果还算满意，识别方式用的“字体+前后监督”的方式，也算是目前我所知道的效果最好的一种识别方式了。

Ansj的性能如何？ Top

在我的测试中，Ansj的效率已经远超ictclas的其他开源实现版本。

核心词典利用双数组规划，每秒钟能达到千万级别的粗分。在我的MacBookAir上面，分词速度大约在300w/字/秒，在酷睿i5+4G内存组装机器上，更是达到了400w+/字/秒的速度。

如何添加自定义词典？ Top

Ansj已经实现了用户自定义词典的动态添加删除，当然，也支持从文件加载词典。

从硬盘加载用户自定义词典的方法：

用户自定义词典默认路径：项目目录/library/userLibrary/userLibrary.dic

格式为：[自定义词]  [词性]  [词频]，如：csdn创新院  userDefine  1000，中间用TAB键隔开

原分词结果：[csdn， 创新， 院， 是， 一个， 好， 公司]

增加词典后：[csdn创新院， 是， 一个， 好， 公司]

详细内容见：用户自定义词典的添加

用户自定义词典的动态添加删除方法见：用户自定义词典的动态添加删除Demo

你在开发过程中，遇到哪些困难？ Top

最大的困难是训练样本和语料库的不足，遗憾国内没有共享，大多数都是收费的，而且好贵。

你认为Ansj还需要在哪些方面进行完善？ Top

我打算下一版的改进将围绕未登录词进行，采用crf来做新词的识别。当然随着系统的庞大，每次修改都要考虑效率内存占用。

虽然已经着手开始进行中，但是进展一直不快。有兴趣的同学可以多提意见，可以通过Github参与到该项目中，让我们做一个真正的Java版的高准确率分词。

Github地址：https://github.com/ansjsun/ansj_seg
  • 大小: 44.8 KB


评论 共 226 条
46 楼 iDogDogDog 2012-11-06 11:00
嗯 在线测了一下，
成都市长长我两岁
还是不行，感觉可能还是训练样本太少.
45 楼 yuhe 2012-11-06 10:47
居然还有人在争论语言效率问题，可见这群人是多么的无知。10有89，是乳臭未干的小民工。
44 楼 TheMatrix 2012-11-06 09:57
研究生经验碰到导师让搞这类课题研究的，就是让他帮他设计一套软件。。。
43 楼 meifangzi 2012-11-06 09:47
看看评论,都是一帮什么都没做过的人说做过的人做的不好

真正有过自己成就的人才不会轻易说别人的东东不好

42 楼 truekbcl 2012-11-06 09:37
ansjsun 写道
fyland 写道

一般情况下..是让他换机器的...说实话..还没碰到几个..因为java慢必须要改成c的....不用swing..基本上都还可以...还有...营造一个好的论坛环境别吵了..多大点事啊....
我评论的是针对用JAVA写分词系统，而有人在评论中说“真的是眼高手低”，那就是针对个人了！


我以前在中科院的时候..c做的快速分词能达到20m每秒.我用java实现的也差不多.

.还有..我经常把一些研究生的作业改写成java的有的时候.效率会比c高不少.虚拟机内部对字符串有优化.在这个分词中将词典和词都加载到了内存中.所以.很少做了字符串拆分..创造对象尽量用引用.少写new..都是一些细节技巧..如果你看了我的源码.也许会发现..大量的引用..在分词加载完毕后.很少用new来实例化对象.这些都和语言无关...至于内存占用率..这个至少空闲内存100m..一般台式机我想应该能接受吧..你要非把他放手机里跑这个的确不合适..

还有.其实开发效率和可维护性.才是一个软件的关键.硬件发展太快.很多以前无法实现的技术现在都能做到了..任何人都不应该写天书一样的代码.

1.为什么没见过几个c语言做动态网页的.
2.为什么人们有了汇编还要创建其他语言.

需要考虑到业务节点的瓶颈.还需要考虑个个语言的通讯成本.总总因素.

首先支持楼主。
对于前面楼主说的，"C如果写得不好，还不如java"，这个话没有意义。只能说是人的问题，还是不能说java比C快。
c/c++最大的问题还是在于二进制不友好。c/c++的开发效率并不比java这些低，麻烦的就是使用三方库，你得用很多时间去整合。如果c/c++库可以和后来的语言一样方便使用动态库，那么c/c++的网站必然会多起来。而且现在的编译器优化效果是相当好。基本上，可以免费获得很大的效率提升。
汇编确实很麻烦，不是难，而是繁琐。开发效率实在太低。
41 楼 ansjsun 2012-11-06 09:23
zhengeili 写道
八百标兵奔北坡，炮兵并排北边跑，炮兵怕把标兵碰，标兵怕碰炮兵炮

[八百/m, 标兵/n, 奔/v, 北坡/userDefine, ，/w, 炮兵/n, 并排/d, 北边/f, 跑/v, ，/w, 炮兵/n, 怕/v, 把/p, 标兵/n, 碰/v, ，/w, 标兵/n, 怕/v, 碰/v, 炮兵/n, 炮/n, ]
40 楼 zhengeili 2012-11-06 08:50
八百标兵奔北坡，炮兵并排北边跑，炮兵怕把标兵碰，标兵怕碰炮兵炮
39 楼 jzl_root 2012-11-05 23:56
能添加词库，不错不错，比ictclas好多了
38 楼 raptor 2012-11-05 18:46
楼主的分词还是做的很不错的，比较同意楼主说的C写不好还不如java，而且很多项目注重的是开发速度而不是性能，现在已经进入一个没必要和硬件较劲的年代，何必还要纠结这些，用java写分词不行吗？照我看楼主这个项目很有前瞻性，要支持起来
37 楼 半人马 2012-11-05 17:57
当我想顶的时候，发现没有这个选项。
36 楼 ansjsun 2012-11-05 17:26
fyland 写道

一般情况下..是让他换机器的...说实话..还没碰到几个..因为java慢必须要改成c的....不用swing..基本上都还可以...还有...营造一个好的论坛环境别吵了..多大点事啊....
我评论的是针对用JAVA写分词系统，而有人在评论中说“真的是眼高手低”，那就是针对个人了！


我以前在中科院的时候..c做的快速分词能达到20m每秒.我用java实现的也差不多.

.还有..我经常把一些研究生的作业改写成java的有的时候.效率会比c高不少.虚拟机内部对字符串有优化.在这个分词中将词典和词都加载到了内存中.所以.很少做了字符串拆分..创造对象尽量用引用.少写new..都是一些细节技巧..如果你看了我的源码.也许会发现..大量的引用..在分词加载完毕后.很少用new来实例化对象.这些都和语言无关...至于内存占用率..这个至少空闲内存100m..一般台式机我想应该能接受吧..你要非把他放手机里跑这个的确不合适..

还有.其实开发效率和可维护性.才是一个软件的关键.硬件发展太快.很多以前无法实现的技术现在都能做到了..任何人都不应该写天书一样的代码.

1.为什么没见过几个c语言做动态网页的.
2.为什么人们有了汇编还要创建其他语言.

需要考虑到业务节点的瓶颈.还需要考虑个个语言的通讯成本.总总因素.
35 楼 fyland 2012-11-05 17:00
ansjsun 写道
fyland 写道
orange.lpai 写道
fyland 写道
一看原来是用JAVA写的，马上兴趣全无！
JAVA干这种活速度实在太差了！

你用C或者CPP写个试试看，真的是眼高手低！

如果是客户提要求，你也是这么回答的？
比如客户提一个“我要这个功能……”、“这个功能模块使用太慢了”，你是不是也回一句：你用X或者XXX写个试试看！

一般情况下..是让他换机器的...说实话..还没碰到几个..因为java慢必须要改成c的....不用swing..基本上都还可以...还有...营造一个好的论坛环境别吵了..多大点事啊....

我评论的是针对用JAVA写分词系统，而有人在评论中说“真的是眼高手低”，那就是针对个人了！
34 楼 ansjsun 2012-11-05 16:35
fyland 写道
orange.lpai 写道
fyland 写道
一看原来是用JAVA写的，马上兴趣全无！
JAVA干这种活速度实在太差了！

你用C或者CPP写个试试看，真的是眼高手低！

如果是客户提要求，你也是这么回答的？
比如客户提一个“我要这个功能……”、“这个功能模块使用太慢了”，你是不是也回一句：你用X或者XXX写个试试看！

一般情况下..是让他换机器的...说实话..还没碰到几个..因为java慢必须要改成c的....不用swing..基本上都还可以...还有...营造一个好的论坛环境别吵了..多大点事啊....
33 楼 fyland 2012-11-05 16:31
orange.lpai 写道
fyland 写道
一看原来是用JAVA写的，马上兴趣全无！
JAVA干这种活速度实在太差了！

你用C或者CPP写个试试看，真的是眼高手低！

如果是客户提要求，你也是这么回答的？
比如客户提一个“我要这个功能……”、“这个功能模块使用太慢了”，你是不是也回一句：你用X或者XXX写个试试看！
32 楼 fyland 2012-11-05 16:30
stoneage14 写道
fyland 写道
一看原来是用JAVA写的，马上兴趣全无！
JAVA干这种活速度实在太差了！

眼高手低的人可真多，真打击这个圈子的创造激情。

要不要像我D那样天天给你唱赞歌？
31 楼 huanghe036 2012-11-05 16:09
我用过，挺好的
30 楼 ansjsun 2012-11-05 15:08
huangyahui 写道
弱弱的问下支持solr不？

支持吧..反正支持lucene....ps 没用过solr...
29 楼 huangyahui 2012-11-05 15:06
弱弱的问下支持solr不？
28 楼 orange.lpai 2012-11-05 14:31
fyland 写道
一看原来是用JAVA写的，马上兴趣全无！
JAVA干这种活速度实在太差了！

你用C或者CPP写个试试看，真的是眼高手低！
27 楼 mfkvfn 2012-11-05 14:26
stoneage14 写道
fyland 写道
一看原来是用JAVA写的，马上兴趣全无！
JAVA干这种活速度实在太差了！

眼高手低的人可真多，真打击这个圈子的创造激情。

+1
26 楼 stoneage14 2012-11-05 14:08
fyland 写道
一看原来是用JAVA写的，马上兴趣全无！
JAVA干这种活速度实在太差了！

眼高手低的人可真多，真打击这个圈子的创造激情。
25 楼 aixuebo 2012-11-05 13:50
ansjsun 写道
aixuebo 写道
分词看过一些源码，比如IK和庖丁，想自己也弄一个出来，但是难点在于数据训练方面。
想问一下关于数据训练方面的知识……希望楼主介绍一下如何学习。



现在分词都是基于..统计 + 规则的..你之前提到的一些分词大都是基于规则的..基于统计的需要大规模的词频训练,训练好写.语料难搞到,这个模型还保持着itcclas 的语义模型..人名识别是自己写的...至于训练..如果不想写代码..你可以看看crf++ 很多工具可以 做的




是这样的，我就是想自己学习一下如何训练数据，如果会训练数据了，我不仅仅可以在这分词上应用，工作中很多地方都可以应用上，只是对如何训练数据一点都不了解，希望给出点学习指导,或者论文。
24 楼 ansjsun 2012-11-05 13:32
aixuebo 写道
分词看过一些源码，比如IK和庖丁，想自己也弄一个出来，但是难点在于数据训练方面。
想问一下关于数据训练方面的知识……希望楼主介绍一下如何学习。



现在分词都是基于..统计 + 规则的..你之前提到的一些分词大都是基于规则的..基于统计的需要大规模的词频训练,训练好写.语料难搞到,这个模型还保持着itcclas 的语义模型..人名识别是自己写的...至于训练..如果不想写代码..你可以看看crf++ 很多工具可以 做的
23 楼 fyland 2012-11-05 13:26
erliang20088 写道
erliang20088 写道
fyland 写道
erliang20088 写道
fyland 写道
zhangmiao_chp 写道
fyland 写道
一看原来是用JAVA写的，马上兴趣全无！
JAVA干这种活速度实在太差了！


楼上相当无知，决定系统性能的是数据结构和算法，和语言没有关系，算法提升的性能是成倍的，代码写的好不好要看你的功力强不强，和兵器有毛关系。支持楼主

到底谁无知？
同一种算法，只能用JAVA实现，而不能用C实现？
我没有否认数据结构和算法在性能方面的重要性（事实上我提都没提），我语义的环境是假设在相同算法上，用C语言实现的中文分词会比用JAVA实现的在运行速度上要快得多！在占用CPU和内存使用上，C占的优势就更不用说了！硬件那是实实在在用银子堆起来的！
JAVA唯一的优势就是开发速度。



你能免费得到C写的分词吗？ 不要说开源的C写的分词，效果很差~

开源C写的分词器效果很差？何以见得？
开源JAVA写的分词器效果就很好？



这个开源分词我一直在使，而且辅助做了分词测试，数据很显然，我还是建议楼主真心用一把试试看，就当学习了~

有跟其他C语言实现的开源分词器做对比测试吗？把分词速度和准确率做一个对比图，然后再把CPU占用率和内存使用也分别做一个对比图。
22 楼 aixuebo 2012-11-05 13:24
分词看过一些源码，比如IK和庖丁，想自己也弄一个出来，但是难点在于数据训练方面。
想问一下关于数据训练方面的知识……希望楼主介绍一下如何学习。
21 楼 erliang20088 2012-11-05 13:18
erliang20088 写道
fyland 写道
erliang20088 写道
fyland 写道
zhangmiao_chp 写道
fyland 写道
一看原来是用JAVA写的，马上兴趣全无！
JAVA干这种活速度实在太差了！


楼上相当无知，决定系统性能的是数据结构和算法，和语言没有关系，算法提升的性能是成倍的，代码写的好不好要看你的功力强不强，和兵器有毛关系。支持楼主

到底谁无知？
同一种算法，只能用JAVA实现，而不能用C实现？
我没有否认数据结构和算法在性能方面的重要性（事实上我提都没提），我语义的环境是假设在相同算法上，用C语言实现的中文分词会比用JAVA实现的在运行速度上要快得多！在占用CPU和内存使用上，C占的优势就更不用说了！硬件那是实实在在用银子堆起来的！
JAVA唯一的优势就是开发速度。



你能免费得到C写的分词吗？ 不要说开源的C写的分词，效果很差~

开源C写的分词器效果很差？何以见得？
开源JAVA写的分词器效果就很好？



这个开源分词我一直在使，而且辅助做了分词测试，数据很显然，我还是建议楼主真心用一把试试看，就当学习了~
20 楼 erliang20088 2012-11-05 13:14
fyland 写道
erliang20088 写道
fyland 写道
zhangmiao_chp 写道
fyland 写道
一看原来是用JAVA写的，马上兴趣全无！
JAVA干这种活速度实在太差了！


楼上相当无知，决定系统性能的是数据结构和算法，和语言没有关系，算法提升的性能是成倍的，代码写的好不好要看你的功力强不强，和兵器有毛关系。支持楼主

到底谁无知？
同一种算法，只能用JAVA实现，而不能用C实现？
我没有否认数据结构和算法在性能方面的重要性（事实上我提都没提），我语义的环境是假设在相同算法上，用C语言实现的中文分词会比用JAVA实现的在运行速度上要快得多！在占用CPU和内存使用上，C占的优势就更不用说了！硬件那是实实在在用银子堆起来的！
JAVA唯一的优势就是开发速度。



你能免费得到C写的分词吗？ 不要说开源的C写的分词，效果很差~

开源C写的分词器效果很差？何以见得？
开源JAVA写的分词器效果就很好？

19 楼 ansjsun 2012-11-05 13:13
fyland 写道
zhangmiao_chp 写道
fyland 写道
一看原来是用JAVA写的，马上兴趣全无！
JAVA干这种活速度实在太差了！


楼上相当无知，决定系统性能的是数据结构和算法，和语言没有关系，算法提升的性能是成倍的，代码写的好不好要看你的功力强不强，和兵器有毛关系。支持楼主

到底谁无知？
同一种算法，只能用JAVA实现，而不能用C实现？
我没有否认数据结构和算法在性能方面的重要性（事实上我提都没提），我语义的环境是假设在相同算法上，用C语言实现的中文分词会比用JAVA实现的在运行速度上要快得多！在占用CPU和内存使用上，C占的优势就更不用说了！硬件那是实实在在用银子堆起来的！
JAVA唯一的优势就是开发速度。


怎么又吵起来了...你实际测测就知道了..

18 楼 fyland 2012-11-05 13:12
erliang20088 写道
fyland 写道
zhangmiao_chp 写道
fyland 写道
一看原来是用JAVA写的，马上兴趣全无！
JAVA干这种活速度实在太差了！


楼上相当无知，决定系统性能的是数据结构和算法，和语言没有关系，算法提升的性能是成倍的，代码写的好不好要看你的功力强不强，和兵器有毛关系。支持楼主

到底谁无知？
同一种算法，只能用JAVA实现，而不能用C实现？
我没有否认数据结构和算法在性能方面的重要性（事实上我提都没提），我语义的环境是假设在相同算法上，用C语言实现的中文分词会比用JAVA实现的在运行速度上要快得多！在占用CPU和内存使用上，C占的优势就更不用说了！硬件那是实实在在用银子堆起来的！
JAVA唯一的优势就是开发速度。



你能免费得到C写的分词吗？ 不要说开源的C写的分词，效果很差~

开源C写的分词器效果很差？何以见得？
开源JAVA写的分词器效果就很好？
17 楼 fastw 2012-11-05 13:11
我觉得这是我用过最好的中文分词系统,分词好,效率快,学习的路过...

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

Global site tag (gtag.js) - Google Analytics