基于词典的最大匹配的Lucene中文分词程序

把自己之前完成的基于词典的最大匹配的中文分词程序修改成基于Lucene。其中包括了3种词典的组织形式：简单顺序存储SimpleDictionary，首字Hash词典HashDictionary，双重Hash词典；例外实现了两种分词算法：正向最大匹配MaxMatchSegment与反向最大匹配分词ReverseMaxMatchSegment；最后使用使只需根据需要配置spring的配置文件即可选择词典的组织方式与分词算法组装成为分词程序。

运行所需：spring-core.jar   lucene-core.jar

希望大家能试用一下我的分词程序，指出我设计的不足，共同学习。

接下来的目标：完成1、寻找更优的词典组织 2、统计识别未登录词 3、人名识别 4、歧义消除

评论

20 楼 linliangyi2007 2007-08-27  

修订版更新了
IKAnalyzer V2.0.2 Lucene中文分词器下载地址 ： http://download.csdn.net/source/236243

19 楼 billgmh 2007-08-15  

linliangyi2007 写道

http://download.csdn.net/source/227957
这个分词器也是基于正向切分算法的，跟楼主交流一下

应该是我向你多学习才对，对很多算法的理解不是很透彻……

18 楼 linliangyi2007 2007-08-15  

http://download.csdn.net/source/227957
这个分词器也是基于正向切分算法的，跟楼主交流一下

17 楼 billgmh 2007-07-04  

delphixf 写道

DictionaryUtil<HashDictionary> util=new Dictionary<HashDictionary>();
HashDictionary dic=util.readDictionary("HashDic.stu");
dic.insertWord("非负权图");

在HashDictionary中插入新词“非负权图”，再次运用这个字典分词，结果：
基于,0,2)
(非,2,3)
(负,3,4)
(权,4,5)
(图,5,6)
(最短路径,6,10)
(算法,10,12)
(中文,12,14)
(分词的,14,17)
(研究,17,19)
楼主！请教

我在我最新的版本上试了一下是可以识别，可能是我在发布这个版本的代码有误，对你造成不便，实在是对不起。我把我新版本的代码上传了，麻烦你更新一下，谢谢

16 楼 billgmh 2007-07-04  

amigobot 写道

为什么要基于字典分词呢？ 难道就为了节省空间
(最短路径,6,10)
如果我查 最短 就会没有返回， 这难道对吗？ 反正google不是这样的。
我还是倾向于一元分词， 更精确。

楼上说的没错，基于词典的分词用于建立索引时不能很好地将所有内容都涵盖，所以后来我对算法做了一下改进，在基于词典的基础上加入了一元分词来希望把内容都涵盖进去。

PS:基于词典的分词主要是想用在对查询语句进行切分。而且中文分词不止应用在搜索引擎领域，还能用在机械翻译等方面，这样基于词典分词就有意义了

15 楼 amigobot 2007-07-03  

为什么要基于字典分词呢？ 难道就为了节省空间
(最短路径,6,10)
如果我查 最短 就会没有返回， 这难道对吗？ 反正google不是这样的。
我还是倾向于一元分词， 更精确。

14 楼 delphixf 2007-06-28  

DictionaryUtil<HashDictionary> util=new Dictionary<HashDictionary>();
HashDictionary dic=util.readDictionary("HashDic.stu");
dic.insertWord("非负权图");

在HashDictionary中插入新词“非负权图”，再次运用这个字典分词，结果：
基于,0,2)
(非,2,3)
(负,3,4)
(权,4,5)
(图,5,6)
(最短路径,6,10)
(算法,10,12)
(中文,12,14)
(分词的,14,17)
(研究,17,19)
楼主！请教

13 楼 billgmh 2007-06-22  

delphixf 写道

楼主，字典文件。您的格式为.stu。请问如何打开。

词典文件是我用Java ObjectWriter将整个词典类实例序列化后写入的文件，用户也可以使用自己自定义txt文件作为词典，使用方法如下：

DictionaryImpl dic=new HashDictionary();
dic.loadDictionary("词典.txt");

另外用户也可以使用我预先定义好的文件stu

DictionaryUtil<HashDictionary> util=new Dictionary<HashDictionary>();
HashDictionary dic=util.readDictionary("HashDic.stu");

12 楼 dihin 2007-06-21  

楼主的头像我很喜欢 呵呵

11 楼 delphixf 2007-06-21  

我在字典中插入一个新词。再次分词。结果一样啊。

10 楼 delphixf 2007-06-21  

楼主，字典文件。您的格式为.stu。请问如何打开。

9 楼 eagleming 2007-06-11  

请教楼主，怎么在nutch下运用啊

[e-mail]

8 楼 hgjn 2007-04-24  

我对你这个分词方法非常感兴趣！
代码有点长，美女能不能顺便给个测试的程序啊 ？
我的邮箱是：[e-mail]
我们可有长期探讨探讨
谢谢！

7 楼 Gellan 2007-04-22  

那里有lucene-core.jar?谢谢

6 楼 duooluu 2007-03-21  

改天来学习

5 楼 echo_0815 2007-03-21  

支持，感谢billgmh

4 楼 cngump 2007-03-14  

不错.支持。

3 楼 jelly 2007-03-14  

顶，很好，这个很有研究价值

2 楼 billgmh 2007-03-11  

最后补充词典文件

1 楼 billgmh 2007-03-11  

补充一些文件