精华频道 → 开源软件
阅读更多

开源软件
名家访谈 开源 Java 中文分词器 Ansj 作者孙健专访  

2012-11-05  编辑 wangguo 评论(226条) 有169824人浏览
Ansj 分词 Java ictclas

声明：ITeye精华文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

Ansj 是一个开源的 Java 中文分词工具，基于中科院的 ictclas 中文分词算法，比其他常用的开源分词工具（如mmseg4j）的分词准确率更高。

在线演示：http://ansj.sdapp.cn/demo/seg.jsp
官网地址：http://www.ansj.org/
Github地址：https://github.com/ansjsun/ansj_seg

我们本期采访了Ansj的作者孙健，请他为大家详细介绍一下这个分词工具。

ITeye期待并致力于为国内优秀的开源项目提供一个免费的推广平台，如果你和你的团队希望将自己的开源项目介绍给更多的开发者，或者你希望我们对哪些开源项目进行专访，请告诉我们，发站内短信给ITeye管理员或者发邮件到webmaster@iteye.com即可。

先来个自我介绍吧！ Top

孙健，胸无大志，没想过创业，没想过发财，只想高高兴兴写两行代码，做了近五年Java程序员，写过页面，干过运维，做过人力，忽悠过客户，擅长字符串操作，擅长数据结构和算法。现在主要从事检索、自然语言处理、数据挖掘等方面工作。

介绍一下Ansj！ Top

Ansj中文分词是一款纯Java的、主要应用于自然语言处理的、高精度的中文分词工具，目标是“准确、高效、自由地进行中文分词”，可用于人名识别、地名识别、组织机构名识别、多级词性标注、关键词提取、指纹提取等领域，支持行业词典、用户自定义词典。

上面是客套话，先说明一下Ansj命名的由来吧。本来开始打算叫totoro分词（同事帮忙起的名），最后发现好多厕所中卫生洁具都叫“TOTO” ^_^

正好我注册了Ansj.org域名，于是乎，就叫这个名字吧。

你认为中文分词的难点是什么？ Top

在这里说分词有点老生常谈了。的确，中文分词已经非常成熟了，但是之间有一些问题依旧比较难解。个人认为大致有以下几点吧：

1.  中文歧义的识别

比较出名的一句话“结婚的和尚未结婚的”，如果使用正向最大匹配，容易分成“结婚/的/和尚/未/结婚的”，于是有的学者试图倒过来识别，逆向匹配会大于正向。但是碰到这句“结合成分子时”，采用逆向最大匹配，则会分为“结合/成分/子时”，更有甚者像“咬了猎人的狗”这种语意不明的词语，就更不容易正确分词了。这是中文分词的软肋。下面是些典型的歧义句：

  • 交叉歧义（多种切分交织在一起）：内塔内亚胡说的/确实/在理
  • 组合歧义（不同情况下切分不同）：这个人/手上有痣、我们公司人手
  • 真歧义（几种切分都可以）：乒乓球拍/卖/完了、乒乓球/拍卖/完了
2.  实体名识别

这个是中文分词遇到的最大的难点，也是最最紧迫的。实体名识别包括人名识别、地名识别、机构名识别，还包括有监督识别和无监督识别。有监督的还好，无监督基本是无解的，比如“王大力发球”是“王大力”还是“大力发球”，一般人都难以识别。

3.  新词热词发现

目前常用的新词发现还是一个比较有研究性的课题，虽然有些论文在准确率很高，但是大多是封闭测试，这意味着结果很难应用到实际工程中。目前Ansj采用的新词发现方式比较简单，采用了高频词的匹配方式，不使用规则，用统计重复串识别新词，根据词性去掉干扰词，虽然有一定的效果，但还是差强人意。

4.  颗粒度问题

这个就是一个规则探讨的问题了，比如“北京大学”是“北京”+“大学”还是“北京大学”，人各有志，就连同一个人不同时间的标注也有可能是有区别的，虽然这个问题严格上来说不属于技术问题，但是对分词结果的评测却有着很大的关系，Ansj采用“能识别就识别”的策略方针，所以在真正R值的时候偏低，总之一句话，适合学术的不一定适合工业，反之亦然。

简单介绍一下Ansj分词用到的算法，其分词原理是什么？ Top

Ansj并非我创新，可以说是一个ictclas的Java版本，基本原理一致，只不过在分词优化算法上做了一些改进。

该算法实现分词有以下几个步骤：

  1. 全切分，原子切分；
  2. N最短路径的粗切分，根据隐马尔科夫模型和viterbi算法，达到最优路径的规划；
  3. 人名识别；
  4. 系统词典补充；
  5. 用户自定义词典的补充；
  6. 词性标注（可选）

Ansj分词的准确率大概是多少？ Top

这是我采用人民日报1998年1月语料库的一个测试结果，首先要说明的是这份人工标注的语料库本身就有错误。

  • P（准确率）：0.984887218571267
  • R（召回率）：0.9626488103178712
  • F（综合指标F值）：0.9736410471396494

在歧义、未登录词问题上，Ansj表现怎样？ Top

歧异方面的处理方式自我感觉还可以，基于“最佳实践规则+统计”的方式，虽然还有一部分歧异无法识别，但是已经完全能满足工程应用了。

至于未登录词的识别，目前重点做了中文人名的识别，效果还算满意，识别方式用的“字体+前后监督”的方式，也算是目前我所知道的效果最好的一种识别方式了。

Ansj的性能如何？ Top

在我的测试中，Ansj的效率已经远超ictclas的其他开源实现版本。

核心词典利用双数组规划，每秒钟能达到千万级别的粗分。在我的MacBookAir上面，分词速度大约在300w/字/秒，在酷睿i5+4G内存组装机器上，更是达到了400w+/字/秒的速度。

如何添加自定义词典？ Top

Ansj已经实现了用户自定义词典的动态添加删除，当然，也支持从文件加载词典。

从硬盘加载用户自定义词典的方法：

用户自定义词典默认路径：项目目录/library/userLibrary/userLibrary.dic

格式为：[自定义词]  [词性]  [词频]，如：csdn创新院  userDefine  1000，中间用TAB键隔开

原分词结果：[csdn， 创新， 院， 是， 一个， 好， 公司]

增加词典后：[csdn创新院， 是， 一个， 好， 公司]

详细内容见：用户自定义词典的添加

用户自定义词典的动态添加删除方法见：用户自定义词典的动态添加删除Demo

你在开发过程中，遇到哪些困难？ Top

最大的困难是训练样本和语料库的不足，遗憾国内没有共享，大多数都是收费的，而且好贵。

你认为Ansj还需要在哪些方面进行完善？ Top

我打算下一版的改进将围绕未登录词进行，采用crf来做新词的识别。当然随着系统的庞大，每次修改都要考虑效率内存占用。

虽然已经着手开始进行中，但是进展一直不快。有兴趣的同学可以多提意见，可以通过Github参与到该项目中，让我们做一个真正的Java版的高准确率分词。

Github地址：https://github.com/ansjsun/ansj_seg
  • 大小: 44.8 KB


评论 共 226 条
226 楼 qq394829044 2017-02-20 18:09
39031 [http-bio-8080-exec-7] ERROR org.apache.solr.servlet.SolrDispatchFilter  [   mycore] ? null:java.lang.RuntimeException: java.lang.NoSuchMethodError: org.ansj.lucene.util.AnsjTokenizer.<init>(Lorg/apache/lucene/util/AttributeFactory;Lorg/ansj/splitWord/Analysis;Ljava/lang/String;Z)V
        at org.apache.solr.servlet.HttpSolrCall.sendError(HttpSolrCall.java:593)
        at org.apache.solr.servlet.HttpSolrCall.call(HttpSolrCall.java:465)
        at org.apache.solr.servlet.SolrDispatchFilter.doFilter(SolrDispatchFilter.java:227)
        at org.apache.solr.servlet.SolrDispatchFilter.doFilter(SolrDispatchFilter.java:196)
        at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:241)
        at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:208)
        at org.apache.catalina.core.StandardWrapperValve.invoke(StandardWrapperValve.java:220)
        at org.apache.catalina.core.StandardContextValve.invoke(StandardContextValve.java:122)
        at org.apache.catalina.core.StandardHostValve.invoke(StandardHostValve.java:171)
        at org.apache.catalina.valves.ErrorReportValve.invoke(ErrorReportValve.java:102)
        at org.apache.catalina.valves.AccessLogValve.invoke(AccessLogValve.java:950)
        at org.apache.catalina.core.StandardEngineValve.invoke(StandardEngineValve.java:116)
        at org.apache.catalina.connector.CoyoteAdapter.service(CoyoteAdapter.java:408)
        at org.apache.coyote.http11.AbstractHttp11Processor.process(AbstractHttp11Processor.java:1040)
        at org.apache.coyote.AbstractProtocol$AbstractConnectionHandler.process(AbstractProtocol.java:607)
        at org.apache.tomcat.util.net.JIoEndpoint$SocketProcessor.run(JIoEndpoint.java:316)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
        at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61)
        at java.lang.Thread.run(Thread.java:724)
Caused by: java.lang.NoSuchMethodError: org.ansj.lucene.util.AnsjTokenizer.<init>(Lorg/apache/lucene/util/AttributeFactory;Lorg/ansj/splitWord/Analysis;Ljava/lang/String;Z)V
        at org.apache.lucene.analysis.ansj.AnsjTokenizerFactory.create(AnsjTokenizerFactory.java:31)
        at org.apache.lucene.analysis.util.TokenizerFactory.create(TokenizerFactory.java:75)
        at org.apache.solr.analysis.TokenizerChain.createComponents(TokenizerChain.java:64)
        at org.apache.lucene.analysis.Analyzer.tokenStream(Analyzer.java:179)
        at org.apache.solr.handler.AnalysisRequestHandlerBase.getQueryTokenSet(AnalysisRequestHandlerBase.java:148)
        at org.apache.solr.handler.FieldAnalysisRequestHandler.analyzeValues(FieldAnalysisRequestHandler.java:214)
        at org.apache.solr.handler.FieldAnalysisRequestHandler.handleAnalysisRequest(FieldAnalysisRequestHandler.java:182)
        at org.apache.solr.handler.FieldAnalysisRequestHandler.doAnalysis(FieldAnalysisRequestHandler.java:102)
        at org.apache.solr.handler.AnalysisRequestHandlerBase.handleRequestBody(AnalysisRequestHandlerBase.java:63)
        at org.apache.solr.handler.RequestHandlerBase.handleRequest(RequestHandlerBase.java:143)
        at org.apache.solr.core.SolrCore.execute(SolrCore.java:2064)
        at org.apache.solr.servlet.HttpSolrCall.execute(HttpSolrCall.java:654)
        at org.apache.solr.servlet.HttpSolrCall.call(HttpSolrCall.java:450)
        ... 18 more

神，这个是什么问题呀，jar包冲突了么，希望神能给解答下？
225 楼 shiqinfu 2016-12-02 17:29
shiqinfu 写道
楼主。。求解一个问题，用你的方法无法导入用户自定义的词典包，用的maven
应该说，能导入但起不到任何作用
224 楼 shiqinfu 2016-12-02 17:25
楼主。。求解一个问题，用你的方法无法导入用户自定义的词典包，用的maven
223 楼 andyshar 2016-09-09 22:17
ansjsun。好久不见啊，几年前就用过ansj。想念。
最近研究机器学习。觉得中文智能分析大有可为啊。
222 楼 huigaotang 2016-08-10 17:37
孙大哥，请问只想将文本根据自定义的词库分词该怎么操作，具体该操作哪个类呢？感谢啊！
221 楼 huigaotang 2016-08-04 11:25
大师，您的分词系统中说的自定义词库是指用户自己将词语以文本方式存储吗？可不可以通过读取数据库中的词汇，再将读取出的词汇存储在文档中形成自己的词库呢？请指教，谢谢
220 楼 lishujuncat 2016-07-11 16:32
大师你好，刚开始学自然语言处理，想问下 ansj这个是不是只处理string啊，需要自己吧文本中的每一句话获取出来在进行分词处理，不能一次处理一个文本问题？
219 楼 miaopeiwen 2015-12-28 10:35
fdgghghjfgh 写道
请问一下，lucene5.3集成ansj分词器，Analyzer analyzer = new AnsjAnalyzer();没有参数指定哪种分词方式，是因为默认了分词方式吗？
默认是ToAnalysis
218 楼 lliiqiang 2015-11-30 14:50
英文由26个字母组成，词汇由字母组成，它天生的由空格分割词汇，不需要计算机再分词,中文由很多汉字组成,需要读者分词，计算机处理分词很麻烦。
217 楼 fdgghghjfgh 2015-10-01 13:32
请问一下，lucene5.3集成ansj分词器，Analyzer analyzer = new AnsjAnalyzer();没有参数指定哪种分词方式，是因为默认了分词方式吗？
216 楼 BeMyself_wangl 2015-04-02 16:45
lucene4.7 使用最新的ansj 版本，
对内容： “甲午年十大文史图书盘点”
生成索引后

使用关键词 “甲午年”  ，“甲午” 搜索
都搜索不出结果。

使用ansj 对 “甲午年十大文史图书盘点”
的分词结果：
[甲午年/b, 十/m, 大/a, 文史/n, 图书/n, 盘点/vn]

why?
215 楼 ansjsun 2014-11-17 14:17
dsx1013 写道
dsx1013 写道
这个为什么没有跟别的分词一样 给个停用词字典，自己加载呢？感觉还要自己去读字典再加再加进去有点麻烦呢，楼主有没有想过整合这快呢？初学者，别见怪哈

补充问一句，加了停用词后，原本的为N的词性都变了，没在词性说明中找到nis,nnt对应的说明
[检察院/n,董事长/n,有限公司/n]
[检察院/nis,董事长/nnt,有限公司/nis]


你加的不是停用词词典。是用户自定义词典把。。你e可以参看我的文档

http://nlpchina.github.io/ansj_seg/
214 楼 ansjsun 2014-11-17 14:16
wyyina 写道
wyyina 写道
wyyina 写道
楼主你好，为什么 我导入ansj_seg-2.0.7.jar包 测试一下List<Term> parse = NlpAnalysis.parse("洁面仪配合洁面深层清洁毛孔");
    System.out.println(parse);
这个代码 eclispe提示 我的包错误

找到原因了 要导入nlp-lang的一个包  但我在官网没看到~

不报错了 但是运行出来 内存溢出！ Java heap space


把jvm内存给大点
213 楼 dsx1013 2014-09-29 16:19
dsx1013 写道
这个为什么没有跟别的分词一样 给个停用词字典，自己加载呢？感觉还要自己去读字典再加再加进去有点麻烦呢，楼主有没有想过整合这快呢？初学者，别见怪哈

补充问一句，加了停用词后，原本的为N的词性都变了，没在词性说明中找到nis,nnt对应的说明
[检察院/n,董事长/n,有限公司/n]
[检察院/nis,董事长/nnt,有限公司/nis]
212 楼 dsx1013 2014-09-29 16:03
这个为什么没有跟别的分词一样 给个停用词字典，自己加载呢？感觉还要自己去读字典再加再加进去有点麻烦呢，楼主有没有想过整合这快呢？初学者，别见怪哈
211 楼 wyyina 2014-09-25 17:50
wyyina 写道
wyyina 写道
楼主你好，为什么 我导入ansj_seg-2.0.7.jar包 测试一下List<Term> parse = NlpAnalysis.parse("洁面仪配合洁面深层清洁毛孔");
    System.out.println(parse);
这个代码 eclispe提示 我的包错误

找到原因了 要导入nlp-lang的一个包  但我在官网没看到~

不报错了 但是运行出来 内存溢出！ Java heap space
210 楼 wyyina 2014-09-25 17:47
wyyina 写道
楼主你好，为什么 我导入ansj_seg-2.0.7.jar包 测试一下List<Term> parse = NlpAnalysis.parse("洁面仪配合洁面深层清洁毛孔");
    System.out.println(parse);
这个代码 eclispe提示 我的包错误

找到原因了 要导入nlp-lang的一个包  但我在官网没看到~
209 楼 wyyina 2014-09-25 17:40
楼主你好，为什么 我导入ansj_seg-2.0.7.jar包 测试一下List<Term> parse = NlpAnalysis.parse("洁面仪配合洁面深层清洁毛孔");
    System.out.println(parse);
这个代码 eclispe提示 我的包错误
208 楼 zcl243 2014-08-07 17:43
你好，楼主，我设的自定义词典，不起作用，按照文档上的三种方法都试了，起不到作用
207 楼 ansjsun 2014-07-23 19:42
jenight 写道
楼主，我发现那个lucene的插件分出来的token会将逗号，《》书名号等都符号都作为一个词，这个看上去没有意义，谁会搜索一个逗号呢？有什么方法可以去掉这些符号？


lucene插件支持 停用词表
206 楼 jenight 2014-07-18 11:46
楼主，我发现那个lucene的插件分出来的token会将逗号，《》书名号等都符号都作为一个词，这个看上去没有意义，谁会搜索一个逗号呢？有什么方法可以去掉这些符号？
205 楼 garfieldkai 2014-07-12 00:13
请问索引分词是什么算法原理，能有一个大概的说明么？谢谢
204 楼 ansjsun 2014-02-15 12:08
louiswang 写道
十分感谢你的回答：
1.测试时内存是调整到1024m的
2.并且先测试一句话加载词库到内存
3.测试简单的一句话，然后累计测试是可以达到180w字/s,比如测试“我是中国人”，测试十万次，计算总时间为time，500000/time.
4.测试大文本进行反复测试，明显效率下降很多，一般在30w/s
5.我是抽取关键词使用，所以必须获取词性，大文本获取词性，内存瞬间上G
6.另外我只需要分词结果，不需要人名 新词 等发现策略，这个自己有单独的模块去实现了。

我qq 93618236 ，合适的话加我下，我把测试文本传给你。



明白了你加我吧..5144694
203 楼 louiswang 2014-02-15 10:06
十分感谢你的回答：
1.测试时内存是调整到1024m的
2.并且先测试一句话加载词库到内存
3.测试简单的一句话，然后累计测试是可以达到180w字/s,比如测试“我是中国人”，测试十万次，计算总时间为time，500000/time.
4.测试大文本进行反复测试，明显效率下降很多，一般在30w/s
5.我是抽取关键词使用，所以必须获取词性，大文本获取词性，内存瞬间上G
6.另外我只需要分词结果，不需要人名 新词 等发现策略，这个自己有单独的模块去实现了。

我qq 93618236 ，合适的话加我下，我把测试文本传给你。
202 楼 ansjsun 2014-02-14 23:34
louiswang 写道
我把8w字的文档提前分句然后拼装结果，测试结果如下：
List<Term> terms = ToAnalysis.parse(lines[i]);
163ms


new NatureRecognition(terms).recognition();
214ms
说明文本过长建立到一个图里面对获取词性影响很大


还有一个慢的原因.如果内存不够.你把内存调整大点..应该速度会快..试试调整到 -xms1024m
201 楼 ansjsun 2014-02-14 22:47
louiswang 写道

多谢解答，
测试没算读取文本的时间，采用的就是ToAnaysis方法 ，测试一个8w字的文档：
List<Term> terms = ToAnalysis.parse(input);
占时间：143ms

new NatureRecognition(terms).recognition();
占时间：2473ms

另外有几个疑问：
1.为何不根据空格和标点分割建立多个有向图，这样计算最短路径时应该会提高效率。
2.标注词性时候占用时间过长，能否在分词的过程中去标注词性而非出来结果后再标注
3.有咩有考虑如果一个句子过长，假设一句话全是汉字且非常长的情况下，计算最短路径时会比较耗时。
请问你qq多少，我加你qq聊下。


1.空格和标点对分词结果也有影响的.比如 人名 顿号 人名 都是需要考虑进来的
2.词性标注如果分词的时候就标注.速度会慢更多.词性标注.不建议句子太长.太长的话对内存占用太多..
3.其实最短路径.和句子长短关系不大.短句反而时间长..


最后.我估计你时间长是把加载词典的时间也算进去了吧?否则不可能这么慢...你可以在分词前先分一句话.."孙健123好公司...."类似这样然后在开始算时间
200 楼 louiswang 2014-02-14 17:04
我把8w字的文档提前分句然后拼装结果，测试结果如下：
List<Term> terms = ToAnalysis.parse(lines[i]);
163ms


new NatureRecognition(terms).recognition();
214ms
说明文本过长建立到一个图里面对获取词性影响很大
199 楼 louiswang 2014-02-14 16:50

多谢解答，
测试没算读取文本的时间，采用的就是ToAnaysis方法 ，测试一个8w字的文档：
List<Term> terms = ToAnalysis.parse(input);
占时间：143ms

new NatureRecognition(terms).recognition();
占时间：2473ms

另外有几个疑问：
1.为何不根据空格和标点分割建立多个有向图，这样计算最短路径时应该会提高效率。
2.标注词性时候占用时间过长，能否在分词的过程中去标注词性而非出来结果后再标注
3.有咩有考虑如果一个句子过长，假设一句话全是汉字且非常长的情况下，计算最短路径时会比较耗时。

请问你qq多少，我加你qq聊下。
198 楼 ansjsun 2014-02-14 14:12
louiswang 写道
我测试了分词速度，大文本在28w/s，用户词库自己整的，有30万左右，是什么原因呢

1.你不是在lucene中用的吧？
2.你用的NlpAnalysis吧？

你常识用下 ToAnalysis 。这个速度快。应该是200w/s左右。。。还有你读文本的方式。。最好能把代码发上来我看看
197 楼 louiswang 2014-02-14 12:33
请问你的测试分词速度模型是什么样的，谢谢。

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

Global site tag (gtag.js) - Google Analytics