精华频道 → 开源软件
阅读更多

开源软件
名家访谈 开源 Java 中文分词器 Ansj 作者孙健专访  

2012-11-05  编辑 wangguo 评论(226条) 有170160人浏览
Ansj 分词 Java ictclas

声明：ITeye精华文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

Ansj 是一个开源的 Java 中文分词工具，基于中科院的 ictclas 中文分词算法，比其他常用的开源分词工具（如mmseg4j）的分词准确率更高。

在线演示：http://ansj.sdapp.cn/demo/seg.jsp
官网地址：http://www.ansj.org/
Github地址：https://github.com/ansjsun/ansj_seg

我们本期采访了Ansj的作者孙健，请他为大家详细介绍一下这个分词工具。

ITeye期待并致力于为国内优秀的开源项目提供一个免费的推广平台，如果你和你的团队希望将自己的开源项目介绍给更多的开发者，或者你希望我们对哪些开源项目进行专访，请告诉我们，发站内短信给ITeye管理员或者发邮件到webmaster@iteye.com即可。

先来个自我介绍吧！ Top

孙健，胸无大志，没想过创业，没想过发财，只想高高兴兴写两行代码，做了近五年Java程序员，写过页面，干过运维，做过人力，忽悠过客户，擅长字符串操作，擅长数据结构和算法。现在主要从事检索、自然语言处理、数据挖掘等方面工作。

介绍一下Ansj！ Top

Ansj中文分词是一款纯Java的、主要应用于自然语言处理的、高精度的中文分词工具，目标是“准确、高效、自由地进行中文分词”，可用于人名识别、地名识别、组织机构名识别、多级词性标注、关键词提取、指纹提取等领域，支持行业词典、用户自定义词典。

上面是客套话，先说明一下Ansj命名的由来吧。本来开始打算叫totoro分词（同事帮忙起的名），最后发现好多厕所中卫生洁具都叫“TOTO” ^_^

正好我注册了Ansj.org域名，于是乎，就叫这个名字吧。

你认为中文分词的难点是什么？ Top

在这里说分词有点老生常谈了。的确，中文分词已经非常成熟了，但是之间有一些问题依旧比较难解。个人认为大致有以下几点吧：

1.  中文歧义的识别

比较出名的一句话“结婚的和尚未结婚的”，如果使用正向最大匹配，容易分成“结婚/的/和尚/未/结婚的”，于是有的学者试图倒过来识别，逆向匹配会大于正向。但是碰到这句“结合成分子时”，采用逆向最大匹配，则会分为“结合/成分/子时”，更有甚者像“咬了猎人的狗”这种语意不明的词语，就更不容易正确分词了。这是中文分词的软肋。下面是些典型的歧义句：

  • 交叉歧义（多种切分交织在一起）：内塔内亚胡说的/确实/在理
  • 组合歧义（不同情况下切分不同）：这个人/手上有痣、我们公司人手
  • 真歧义（几种切分都可以）：乒乓球拍/卖/完了、乒乓球/拍卖/完了
2.  实体名识别

这个是中文分词遇到的最大的难点，也是最最紧迫的。实体名识别包括人名识别、地名识别、机构名识别，还包括有监督识别和无监督识别。有监督的还好，无监督基本是无解的，比如“王大力发球”是“王大力”还是“大力发球”，一般人都难以识别。

3.  新词热词发现

目前常用的新词发现还是一个比较有研究性的课题，虽然有些论文在准确率很高，但是大多是封闭测试，这意味着结果很难应用到实际工程中。目前Ansj采用的新词发现方式比较简单，采用了高频词的匹配方式，不使用规则，用统计重复串识别新词，根据词性去掉干扰词，虽然有一定的效果，但还是差强人意。

4.  颗粒度问题

这个就是一个规则探讨的问题了，比如“北京大学”是“北京”+“大学”还是“北京大学”，人各有志，就连同一个人不同时间的标注也有可能是有区别的，虽然这个问题严格上来说不属于技术问题，但是对分词结果的评测却有着很大的关系，Ansj采用“能识别就识别”的策略方针，所以在真正R值的时候偏低，总之一句话，适合学术的不一定适合工业，反之亦然。

简单介绍一下Ansj分词用到的算法，其分词原理是什么？ Top

Ansj并非我创新，可以说是一个ictclas的Java版本，基本原理一致，只不过在分词优化算法上做了一些改进。

该算法实现分词有以下几个步骤：

  1. 全切分，原子切分；
  2. N最短路径的粗切分，根据隐马尔科夫模型和viterbi算法，达到最优路径的规划；
  3. 人名识别；
  4. 系统词典补充；
  5. 用户自定义词典的补充；
  6. 词性标注（可选）

Ansj分词的准确率大概是多少？ Top

这是我采用人民日报1998年1月语料库的一个测试结果，首先要说明的是这份人工标注的语料库本身就有错误。

  • P（准确率）：0.984887218571267
  • R（召回率）：0.9626488103178712
  • F（综合指标F值）：0.9736410471396494

在歧义、未登录词问题上，Ansj表现怎样？ Top

歧异方面的处理方式自我感觉还可以，基于“最佳实践规则+统计”的方式，虽然还有一部分歧异无法识别，但是已经完全能满足工程应用了。

至于未登录词的识别，目前重点做了中文人名的识别，效果还算满意，识别方式用的“字体+前后监督”的方式，也算是目前我所知道的效果最好的一种识别方式了。

Ansj的性能如何？ Top

在我的测试中，Ansj的效率已经远超ictclas的其他开源实现版本。

核心词典利用双数组规划，每秒钟能达到千万级别的粗分。在我的MacBookAir上面，分词速度大约在300w/字/秒，在酷睿i5+4G内存组装机器上，更是达到了400w+/字/秒的速度。

如何添加自定义词典？ Top

Ansj已经实现了用户自定义词典的动态添加删除，当然，也支持从文件加载词典。

从硬盘加载用户自定义词典的方法：

用户自定义词典默认路径：项目目录/library/userLibrary/userLibrary.dic

格式为：[自定义词]  [词性]  [词频]，如：csdn创新院  userDefine  1000，中间用TAB键隔开

原分词结果：[csdn， 创新， 院， 是， 一个， 好， 公司]

增加词典后：[csdn创新院， 是， 一个， 好， 公司]

详细内容见：用户自定义词典的添加

用户自定义词典的动态添加删除方法见：用户自定义词典的动态添加删除Demo

你在开发过程中，遇到哪些困难？ Top

最大的困难是训练样本和语料库的不足，遗憾国内没有共享，大多数都是收费的，而且好贵。

你认为Ansj还需要在哪些方面进行完善？ Top

我打算下一版的改进将围绕未登录词进行，采用crf来做新词的识别。当然随着系统的庞大，每次修改都要考虑效率内存占用。

虽然已经着手开始进行中，但是进展一直不快。有兴趣的同学可以多提意见，可以通过Github参与到该项目中，让我们做一个真正的Java版的高准确率分词。

Github地址：https://github.com/ansjsun/ansj_seg
  • 大小: 44.8 KB


评论 共 226 条
16 楼 fyland 2012-11-05 13:11
erliang20088 写道
fyland 写道
一看原来是用JAVA写的，马上兴趣全无！
JAVA干这种活速度实在太差了！


这是传统看法了，现在硬件提升很快，在效率和效果都能接受的情况下，用Java写一些以前C/C++的高效程序，完全没有问题。还是希望用数据说明问题~

硬件是实实在在用银子堆积起来的，同样算法的中文分词器，用C实现的也许2000块钱的机器就能非常良好的运行，用JAVA实现的也许6000块的机器都有点卡顿。
15 楼 erliang20088 2012-11-05 13:10
fyland 写道
zhangmiao_chp 写道
fyland 写道
一看原来是用JAVA写的，马上兴趣全无！
JAVA干这种活速度实在太差了！


楼上相当无知，决定系统性能的是数据结构和算法，和语言没有关系，算法提升的性能是成倍的，代码写的好不好要看你的功力强不强，和兵器有毛关系。支持楼主

到底谁无知？
同一种算法，只能用JAVA实现，而不能用C实现？
我没有否认数据结构和算法在性能方面的重要性（事实上我提都没提），我语义的环境是假设在相同算法上，用C语言实现的中文分词会比用JAVA实现的在运行速度上要快得多！在占用CPU和内存使用上，C占的优势就更不用说了！硬件那是实实在在用银子堆起来的！
JAVA唯一的优势就是开发速度。



你能免费得到C写的分词吗？ 不要说开源的C写的分词，效果很差~
14 楼 fyland 2012-11-05 13:06
zhangmiao_chp 写道
fyland 写道
一看原来是用JAVA写的，马上兴趣全无！
JAVA干这种活速度实在太差了！


楼上相当无知，决定系统性能的是数据结构和算法，和语言没有关系，算法提升的性能是成倍的，代码写的好不好要看你的功力强不强，和兵器有毛关系。支持楼主

到底谁无知？
同一种算法，只能用JAVA实现，而不能用C实现？
我没有否认数据结构和算法在性能方面的重要性（事实上我提都没提），我语义的环境是假设在相同算法上，用C语言实现的中文分词会比用JAVA实现的在运行速度上要快得多！在占用CPU和内存使用上，C占的优势就更不用说了！硬件那是实实在在用银子堆起来的！
JAVA唯一的优势就是开发速度。
13 楼 erliang20088 2012-11-05 13:02
fyland 写道
一看原来是用JAVA写的，马上兴趣全无！
JAVA干这种活速度实在太差了！


这是传统看法了，现在硬件提升很快，在效率和效果都能接受的情况下，用Java写一些以前C/C++的高效程序，完全没有问题。还是希望用数据说明问题~
12 楼 fyland 2012-11-05 13:00
ansjsun 写道
fyland 写道
ansjsun 写道
fyland 写道
一看原来是用JAVA写的，马上兴趣全无！
JAVA干这种活速度实在太差了！

是运行速度.还是..开发速度?

运行速度！


那就是你偏见了...c写不好还不如java呢..很多时候看数据结构和算法..对程序优化有很大的提升空间的..这个分词速度绝对不必ict差的..

这个很简单，用其他开源的中文分词器做一个对比，比较一下分词速度和准确率！
JAVA占用CPU资源和内存就不必说了，在操作字符串方面JAVA一向效率低下！
11 楼 zhangmiao_chp 2012-11-05 13:00
fyland 写道
一看原来是用JAVA写的，马上兴趣全无！
JAVA干这种活速度实在太差了！


楼上相当无知，决定系统性能的是数据结构和算法，和语言没有关系，算法提升的性能是成倍的，代码写的好不好要看你的功力强不强，和兵器有毛关系。支持楼主
10 楼 erliang20088 2012-11-05 12:56
用过该分词组件相当不错，效果很理想，打算参考一下，也自写一个，不知道你用了多长时间完成这个分词器？
9 楼 ansjsun 2012-11-05 12:52
fyland 写道
ansjsun 写道
fyland 写道
一看原来是用JAVA写的，马上兴趣全无！
JAVA干这种活速度实在太差了！

是运行速度.还是..开发速度?

运行速度！


那就是你偏见了...c写不好还不如java呢..很多时候看数据结构和算法..对程序优化有很大的提升空间的..这个分词速度绝对不必ict差的..
8 楼 fyland 2012-11-05 12:49
ansjsun 写道
fyland 写道
一看原来是用JAVA写的，马上兴趣全无！
JAVA干这种活速度实在太差了！

是运行速度.还是..开发速度?

运行速度！
7 楼 ansjsun 2012-11-05 12:48
fyland 写道
一看原来是用JAVA写的，马上兴趣全无！
JAVA干这种活速度实在太差了！

是运行速度.还是..开发速度?
6 楼 fyland 2012-11-05 12:47
一看原来是用JAVA写的，马上兴趣全无！
JAVA干这种活速度实在太差了！
5 楼 jeffsui 2012-11-05 12:34
这个必须支持,中文分词系统！
4 楼 orange.lpai 2012-11-05 12:33
沙发！强烈支持，真心想协助打造一个开源的Java分词系统！
3 楼 wen12128 2012-11-05 12:29
值得学习
2 楼 freish 2012-11-05 12:25
good
1 楼 litaoshoujiao 2012-11-05 11:47
非常不错，顶起！

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • 国内外优秀开源项目创始人专访

    这几年陆续采访了国内外一些优秀开源项目的zuozh

  • R语言︱文本挖掘之中文分词包——Rwordseg包(原理、功能、详解)

    笔者寄语：与前面的RsowballC分词不同的地方在于这是一个中文的分词包，简单易懂，分词是一个非常重要的步骤，可以通过一些字典，进行特定分词。大致分析步骤如下： 数据导入——选择分词字典——分词 但是下载...

  • 中文分词工具Rwordseg

    Ansj 也是一个开源的 Java 中文分词工具，基于中科院的 ictclas 中文分词算法，采用隐马尔科夫模型（Hidden Markov Model, HMM）。作者孙健重写了一个Java版本，并且全部开源，使得 Ansi 可用于人名识别、地名识别...

  • 中文分词的应用 新浪和庖丁两种方式对比

    中文分词相比于英文难度要大得多，涉及到自然语言的理解和处理。分词也是文本挖掘中的关键技术之一，百度也是因为中文分词相比于google更优秀，才做到中文的检索结果更优。实际上新浪、百度云服务上很多开发者也开放...

  • Lucene下分词工具的学习探讨

    今天一天学习的东西不多，除了看《Lucene实战》第20页的程序，就是研究Java版本的开源分词器了！ 在网上找到了两种分词器，ansj和imdict,本质上没有什么区别，都是用采用ICTCLAS的核心。个人觉得ansj要更好一些，...

  • NLP自然语言处理干货贴

    摘要：作者：苏剑林 来源网站：科学空间 原文链接：OCR技术浅探：9. 代码共享(完) 文件说明： 1. image... 2.OCR技术浅探：8. 综合评估 摘要：作者：苏剑林 来源网站：科学空间 原文链接：OCR技术浅探：8. 综合...

  • 计算机术语.pdf

    计算机术语.pdf

  • 包括缺陷和有限视场效应的Etalon模型 matlab代码.rar

    1.版本：matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。

  • 基于PLC和组态软件的智能停车场收费系统：电气控制与梯形图程序详解

    内容概要：本文详细介绍了基于PLC（可编程逻辑控制器）和组态软件的智能停车场收费系统的实现方法和技术细节。首先，文章概述了系统的总体架构，指出PLC用于控制停车场的电气设备，而组态软件则提供直观的操作界面。接着，深入解析了PLC梯形图程序的具体逻辑，包括车辆检测、闸门控制、收费计算等功能模块。此外，文章还讨论了接线图的设计原则和注意事项，如防止电磁干扰、确保系统稳定性的措施。最后，介绍了组态画面的设计思路及其优化方法，如动态显示车位状态、实时更新收费信息等。通过这些内容，读者能够全面了解智能停车场收费系统的内部运作机制。 适合人群：从事自动化控制、工业物联网、智能交通等领域的工作技术人员，尤其是对PLC编程和组态软件应用感兴趣的工程师。 使用场景及目标：适用于新建或改造停车场项目的规划与实施阶段，帮助工程师理解和设计类似的自动化控制系统，提高停车场管理效率和服务质量。 其他说明：文中提供了大量实际案例和技术细节，有助于读者更好地掌握相关技术和应对实际工程中的挑战。

  • MATLAB实现电-气-热综合能源系统耦合优化调度模型

    内容概要：本文详细介绍了利用MATLAB及其工具箱YALMIP和求解器CPLEX/Gurobi构建电-气-热综合能源系统耦合优化调度模型的方法。首先，文章描述了电网部分采用39节点系统进行直流潮流建模，气网部分则使用比利时20节点配气网，并对Weymouth方程进行了线性化处理，将非线性问题转化为线性规划问题。热网部分引入了热电联产(CHP)和电转气(P2G)设备，实现了热电耦合。通过模块化设计，代码能够灵活地添加新的能量存储或转换设备。实验结果显示，相比单一网络优化，三网耦合优化降低了12.6%的系统总成本，并显著改善了负荷峰谷差。 适合人群：从事能源系统优化研究的专业人士，尤其是熟悉MATLAB编程和优化理论的研究人员和技术人员。 使用场景及目标：适用于希望深入了解综合能源系统耦合优化调度机制的研究人员和技术人员。主要目标是掌握如何使用MATLAB搭建电-气-热耦合优化模型，理解各个子系统的数学建模方法以及它们之间的相互作用。 其他说明：文中提供了详细的代码片段和解释，帮助读者更好地理解和复现模型。此外，还讨论了一些实际应用中的注意事项，如求解器的选择、参数调优等。

  • 计算机三级网络机试考试试题及答案(下).pdf

    计算机三级网络机试考试试题及答案(下).pdf

  • NX MCD时序仿真中机械臂抓取仿真的参数配置与PLC联动实现

    内容概要：本文详细介绍了使用NX MCD进行机械臂抓取仿真的方法和技术要点。首先探讨了运行时参数的配置，如夹爪力度的动态调整和位置控制的脚本编写。接着讨论了条件仿真序列的设计，包括状态机跳转、阻塞等待、异步响应和超时保护等关键概念。此外，文章还讲解了与PLC的联合仿真，展示了如何通过TIA Portal实现抓取力度的动态补偿以及信号同步。最后分享了一些实用的调试技巧，如使用半速模式观察力学变化、设置碰撞检测触发器等。 适合人群：从事自动化设备开发、机械臂控制系统设计的技术人员，尤其是对NX MCD和PLC有一定了解的工程师。 使用场景及目标：适用于需要进行复杂机械臂抓取仿真的项目，帮助工程师更好地理解和掌握NX MCD与时序仿真的核心技术，提高仿真精度和可靠性。 其他说明：文中提供了大量具体的代码片段和配置示例，便于读者快速上手实践。同时强调了参数化配置的重要性，指出这是为了在现场调试时提供更大的灵活性。

  • 计算机数控系统.pdf

    计算机数控系统.pdf

  • 基于Qt框架的音频采集与播放工具

    本人创作，禁止商用

  • 大型流水线贴膜机PLC与触摸屏程序：初学者必备的工业控制项目

    内容概要：本文详细介绍了一款大型流水线贴膜机的PLC程序和触摸屏程序，涵盖多个控制工艺如上下气缸控制、输送带电机控制、贴膜伺服控制等。程序适用于西门子S7-1200 PLC和KTP700触摸屏，支持V13及以上版本。文中提供了详细的代码示例和分析，解释了各个控制部分的工作原理及其优化技巧。此外，还介绍了异常处理机制、报警处理模块、以及触摸屏界面上的一些实用功能，如动画流程图显示和参数微调。 适合人群：工业自动化领域的初学者，尤其是对PLC编程和运动控制感兴趣的工程师和技术人员。 使用场景及目标：① 学习PLC编程和触摸屏程序设计的基础知识；② 掌握常见工业控制元件的编程方法和优化技巧；③ 提高对复杂控制系统的设计和调试能力。 其他说明：文章强调了程序中的关键技术和注意事项，如定时器保护、光电开关连锁、位置补偿算法等，有助于初学者避免常见错误并提高系统的可靠性和安全性。

  • 基于51单片机的多点测温系统：利用DS18B20传感器与LCD1602实现实时温度监测

    内容概要：本文详细介绍了基于51单片机的多点测温系统的构建方法。系统采用五个DS18B20数字温度传感器进行温度采集，并将数据实时显示在LCD1602屏幕上。文中涵盖了硬件连接、单总线通信协议、温度读取与显示的具体实现细节，以及常见问题的解决方案。特别强调了ROM匹配算法的应用，确保多个传感器在同一总线上能够正确通信。此外，还提供了Proteus仿真的注意事项和一些调试技巧。 适合人群：对嵌入式系统开发感兴趣的初学者和有一定单片机基础的研发人员。 使用场景及目标：适用于恒温箱监控、多房间温控等应用场景，旨在帮助开发者掌握多点温度监测系统的搭建方法和技术要点。 其他说明：文中附有完整的硬件连接图和核心代码片段，便于读者理解和实践。同时提到了一些扩展功能，如温度单位切换、阈值报警等，增加了项目的趣味性和实用性。

  • 直流电机模糊PID控制技术详解及其Python与C语言实现

    内容概要：本文详细介绍了将模糊控制与传统PID相结合应用于直流电机控制的方法。首先阐述了传统PID控制在面对负载突变或转速大幅变化时的局限性，随后引入模糊PID的概念并展示了具体的实现步骤。文中提供了完整的Python和C语言代码示例，涵盖模糊规则表的设计、隶属度函数的选择以及参数自适应调整机制。此外，作者还分享了多个实用的经验技巧，如参数调整范围限制、误差量化因子选择、抗积分饱和算法的应用等。并通过实验数据对比证明了模糊PID相比传统PID在响应速度和稳定性方面的优势。 适合人群：具有一定自动化控制理论基础和技术实践经验的研发人员，尤其是从事电机控制系统开发的技术人员。 使用场景及目标：适用于需要提高直流电机控制系统鲁棒性和响应速度的实际工程项目。主要目标是在保持系统稳定的前提下，缩短调节时间和减少超调量，从而提升整体性能。 其他说明：尽管模糊PID能够显著改善某些特定条件下的控制效果，但仍需注意合理设置初始参数和调整幅度限制。同时，对于不同类型的电机和应用场景，可能还需要进一步优化模糊规则和隶属度函数。

  • 计算机试题office应用.pdf

    计算机试题office应用.pdf

  • 强化学习算法的功能实现，举了一个小例子，运行无问题 matlab代码.rar

    1.版本：matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。

Global site tag (gtag.js) - Google Analytics