推荐ruby中文分词器－ RMMSeg

20顶
0踩

2008-03-05 10:57 by 见习编辑 robbin 评论(5) 有13243人浏览

rmmseg Ruby RoR

声明：ITeye资讯文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

用RoR开发网站经常遇到的一个困扰就是Ruby缺乏良好的中文分词器，虽然ferret可以实现lucene的绝大部分功能，但是ferret自身并没有中文分词器，甚至连CJK两分分词器都没有，因此很多RoR网站不得不通过各种方式去访问lucene来解决分词问题，但RMMSeg项目发布以后，这一切已经成为历史。

RMMSeg是pluskid(浙江大学的学生)开发的ruby中文分词器，在2008年2月份刚刚发布的。RMMSeg使用了基于词库的最大匹配算法进行中文分词，并且辅以相应的修正算法，而RMMSeg带的词库有大约12万中文词汇，已经比较全面了。根据作者自己博客上面的测试，中文分词的准确率可以达到98%以上。

经过JavaEye网站的试用，RMMSeg当前的0.1.5版本已经可以在小型的ruby应用当中实际使用了，分词的效果也还不错。当然由于RMMSeg目前是纯ruby代码的实现，因此索引的性能还是有点慢，比目前JavaEye的单字拆分算法慢5倍左右。但考虑到全文检索的索引都是后台job去运行，所以稍微慢一点也可以接受。pluskid计划在接下来的版本当中使用C来实现一部分功能，提高性能，降低内存耗用。

安装rmmseg很简单：

gem install rmmseg

然后就可以在应用程序当中构造RMMSeg的中文分词器了：

require 'rmmseg'
require 'rmmseg/ferret'

analyzer = RMMSeg::Ferret::Analyzer.new do |tokenizer|
  Ferret::Analysis::LowerCaseFilter.new(tokenizer)
end

RMMSeg项目相当令人振奋，有了好的中文分词器，RoR在国内的互联网应用就扫除了一大障碍。在这里也呼吁大家关注和使用RMMSeg项目，帮助RMMSeg项目发展的更好。

RMMSeg的官方网站在： http://rmmseg.rubyforge.org/
pluskid的博客：http://pluskid.lifegoo.com

作者的Email: pluskid AT gmail DOT com

分享到：

20
顶

0
踩

评论共 5 条请登录后发表评论

5 楼 tianshuaiorc 2012-03-30 13:04

4 楼 tianshuaiorc 2012-03-30 13:04

3 楼 carlosbdw 2008-03-07 00:30

ruby如何调用MMSEG呢？

2 楼 carlosbdw 2008-03-06 17:12

以上哪种中文分词工具可以辨别出词形?

1 楼我想我是海 2008-03-05 13:11

MMSEG算法是台湾一个朋友的作品：
[url]http://technology.chtsai.org/mmseg/[url]
在Java方面，早就有一个实现：
[url]http://www.solol.org/projects/mmseg/[url]
与Lucene的整合也提供了：
[url]http://www.solol.org/blogs/200710/200710242000.html[url]

实践过程中，分词效果的确极佳。以前通过比较，比Javaeye上现有的分词算法效果都要好。

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

JFreeChart 高手请进！

我现在的项目中要求，图中的标签（就是一个类型的）默认的是在正下方，不知道能不能改为在右方。

求JFreechart绘制折线图！！高手请进！！急！急！急！

编译出的结果没有折线图求高手帮忙写个折线图的代码 00001.TXT的文件的数据是： 2009 11 05 25.38 25.46 24.85 25.05 28931192 727022400.000 2009 11 06 25.39 25.69 24.81 25.10 30297501 762726336.000 ...

JAVA上百实例源码以及开源项目

笔者当初为了学习JAVA，收集了很多经典源码，源码难易程度分为初级、中级、高级等，详情看源码列表，需要的可以直接下载！这些源码反映了那时那景笔者对未来的盲目，对代码的热情、执着，对IT的憧憬、向往！...

Java高手真经. 高级编程卷：Java Web高级开发技术：EJB+消息通信+分布式+开源框架...

【书名】Java高手真经. 高级编程卷：Java Web高级开发技术：EJB+消息通信+分布式+开源框架【作者】刘中兵【ISBN】978-7-121-09217-6【出版社】电子工业出版社【出版日期】2009年9月【定价】...

转的一杂谈

网站架构（页面静态化，图片服务器分离,负载均衡）方案全解析文章分类:综合技术 ...但是对于大量内容并且频繁更新的网站，我们无法全部手动去挨个实现，于是出现了我们常见的信息发布系统CMS，像我们常访问的各个门户...

webmagic采集CSDN的Java_WebDevelop页面

请大家帮帮我，谢谢，耽误你们点时间，帮我指导指导，我做了2天都没有做出来，明天就要交作业了，请大家帮帮我。 , 请教hibernate排序问题, java 权限管理, 如何实现在jsp页面中选择txt文件，点击下载时进行下载, ...

一个程序员的多年珍藏--收藏

一个高手推荐的4本必读书：中文版：下載文件 Contributing to Eclipse Principles, Patterns and PlugIns.pdf (23.29 MB) 英文版：下載文件 Contributing to Eclipse Principles, Patt ... (4.93 ...

一个程序员多年的收藏

一个高手推荐的4本必读书：中文版：下載文件 Contributing to Eclipse Principles, Patterns and PlugIns.pdf (23.29 MB) 英文版：下載文件 Contributing to Eclipse Principles, Patt ... (4.93 MB)...

other 猿多年收藏

一个高手推荐的4本必读书：中文版：下載文件 Contributing to Eclipse Principles, Patterns and PlugIns.pdf (23.29 MB) 英文版：下載文件 Contributing to Eclipse Principles, Patt ... (4.93 MB) 下載文件 ...

收藏吧少年

有一种收藏叫转载

多年的收藏

个人书签

- 精选文摘 - ITeye精华 Selenium - Web Browser Automation Apache JMeter - Apache JMeter™ 请不要再使用低级别的AOP API - 开涛的博客 - ITeye技术网站高效 JavaEE 开发框架 JessMA v3.2.1 正式发布 - 编程语言...

Java高级面试题解析（二）：百度Java面试题前200页（精选）

高手答案： get和post是HTTP协议中的两种发送请求的方法，HTTP底层都是TCP/IP，故get和post都是TCP链接，二者能做的事情其实都是一样的，给get加上request body，给post加上url参数，技术上都是可以实现的。而导致...

基于net的超市管理系统源代码（完整前后端+sqlserver+说明文档+LW）.zip

功能说明：环境说明：开发软件：VS 2017 （版本2017以上即可，不能低于2017）数据库：SqlServer2008r2（数据库版本无限制，都可以导入）开发模式：mvc。。。

LABVIEW程序实例-公式节点.zip

labview程序代码参考学习使用，希望对你有所帮助。

大米商城开源版damishop(适合外贸)

大米外贸商城系统简称damishop 完全开源版，只需做一种语言一键开启全球133中语言自动翻译功能，价格实现自动汇率转换,集成微信支付宝 paypal以及国外主流支付方式，自带文章博客系统。软件架构基于MVC+语言包模式,增加控制台，API导入产品方便对接其他系统（带json示例数据）。使用要求 PHP7.4+ MYSQL5.6+ REDIS(可选) 安装方法 composer install 打开安装向导安装 http://您的域名/install 特色 1、缓存层增加时间与批量like删除 2、API产品导入方便对接其他系统 3、增加控制台命令行，命令行生成语言翻译包 4、后台一键开启自动翻译模式，支持全球133中语言，由于google代理翻译需要收费，这个功能需要付费。 5、可选购物车与ajax修改购物车产品 6、一键结算checkout 7、增加网站前台自定义路由方便seo 更新日志 v3.9.7 集成鱼码支付接口，方便个人站长即使收款到账使用 v3.9.3 更新内容 1:增加ueditor与旧编辑器切换 2:增加可视化布局插

LABVIEW程序实例-通过全局变量接收数据.zip

labview程序代码参考学习使用，希望对你有所帮助。

20顶0踩