CQ V2.0分词bates(基于双数组tire树)

再发一个版本吧..
具体实现了如下功能

用户自定义词典
其中你可以再userLibrary中加入你要分的词
英文分词



数字分词

量词分词

比如16月 16日 16年.......

支持了中文姓名的识别...

分词量很多..
速度没好意思测试..如果有人测试了麻烦告诉我下...

希望大家能多给指正...ansj在这里谢谢大家了

评论

8 楼 ansjsun 2011-08-17  

kfliyangfan 写道

你好，刚刚开始看代码，有个问题想请假下，GetWords接口中正向最大取词、正向最小匹配取词这些方法都注释掉了，现在CQ2.0版本中怎么实现这些功能呢？

谢谢你的关注..这个好像1.0做了..2.0没有完全做完我就发上来了..当初写这个的时候凭着爱好写的..发上来玩玩..没想到这么多人对这个感兴趣..但是我主要做的是j2ee...没有很多时间鼓捣这东西..如果我要是将来能做这方面我一定把这个程序完善了..

7 楼 kfliyangfan 2011-03-02  

你好，刚刚开始看代码，有个问题想请假下，GetWords接口中正向最大取词、正向最小匹配取词这些方法都注释掉了，现在CQ2.0版本中怎么实现这些功能呢？

6 楼 ansjsun 2011-02-24  

monsterfairy 写道

我看了下Demo，有两个概念不太明白，全文正向最大标记，全文正向最小标记，下面的取词我可以理解为匹配，那这个标记怎么理解?

标记就是取词..也许我命名不太规范

5 楼 ansjsun 2011-02-24  

yangfuchao418 写道

能不能交流下。

可以交流..不过都是很久前写的代码了..最近没有做过更新..

4 楼 monsterfairy 2011-02-23  

我看了下Demo，有两个概念不太明白，全文正向最大标记，全文正向最小标记，下面的取词我可以理解为匹配，那这个标记怎么理解?

3 楼 sebarzi 2010-09-01  

多谢楼主啊！

2 楼 ansjsun 2010-03-19  

都能下载了哈..直接的源码..好久没弄个这个东西了..单位的事情多..现在感觉..双数组..主要就是速度快.内存小.灵活性不是很好.,.如果辞典不变的话..双数组是最好的选择..如果变的话..还是那种传统的辞典比较合适...

1 楼 yangfuchao418 2010-03-17  

谢谢楼主，能不能交流下。