推荐ruby中文分词器－ RMMSeg

20顶
0踩

2008-03-05 10:57 by 见习编辑 robbin 评论(5) 有13300人浏览

rmmseg Ruby RoR

声明：ITeye资讯文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

用RoR开发网站经常遇到的一个困扰就是Ruby缺乏良好的中文分词器，虽然ferret可以实现lucene的绝大部分功能，但是ferret自身并没有中文分词器，甚至连CJK两分分词器都没有，因此很多RoR网站不得不通过各种方式去访问lucene来解决分词问题，但RMMSeg项目发布以后，这一切已经成为历史。

RMMSeg是pluskid(浙江大学的学生)开发的ruby中文分词器，在2008年2月份刚刚发布的。RMMSeg使用了基于词库的最大匹配算法进行中文分词，并且辅以相应的修正算法，而RMMSeg带的词库有大约12万中文词汇，已经比较全面了。根据作者自己博客上面的测试，中文分词的准确率可以达到98%以上。

经过JavaEye网站的试用，RMMSeg当前的0.1.5版本已经可以在小型的ruby应用当中实际使用了，分词的效果也还不错。当然由于RMMSeg目前是纯ruby代码的实现，因此索引的性能还是有点慢，比目前JavaEye的单字拆分算法慢5倍左右。但考虑到全文检索的索引都是后台job去运行，所以稍微慢一点也可以接受。pluskid计划在接下来的版本当中使用C来实现一部分功能，提高性能，降低内存耗用。

安装rmmseg很简单：

gem install rmmseg

然后就可以在应用程序当中构造RMMSeg的中文分词器了：

require 'rmmseg'
require 'rmmseg/ferret'

analyzer = RMMSeg::Ferret::Analyzer.new do |tokenizer|
  Ferret::Analysis::LowerCaseFilter.new(tokenizer)
end

RMMSeg项目相当令人振奋，有了好的中文分词器，RoR在国内的互联网应用就扫除了一大障碍。在这里也呼吁大家关注和使用RMMSeg项目，帮助RMMSeg项目发展的更好。

RMMSeg的官方网站在： http://rmmseg.rubyforge.org/
pluskid的博客：http://pluskid.lifegoo.com

作者的Email: pluskid AT gmail DOT com

分享到：

20
顶

0
踩

评论共 5 条请登录后发表评论

5 楼 tianshuaiorc 2012-03-30 13:04

4 楼 tianshuaiorc 2012-03-30 13:04

3 楼 carlosbdw 2008-03-07 00:30

ruby如何调用MMSEG呢？

2 楼 carlosbdw 2008-03-06 17:12

以上哪种中文分词工具可以辨别出词形?

1 楼我想我是海 2008-03-05 13:11

MMSEG算法是台湾一个朋友的作品：
[url]http://technology.chtsai.org/mmseg/[url]
在Java方面，早就有一个实现：
[url]http://www.solol.org/projects/mmseg/[url]
与Lucene的整合也提供了：
[url]http://www.solol.org/blogs/200710/200710242000.html[url]

实践过程中，分词效果的确极佳。以前通过比较，比Javaeye上现有的分词算法效果都要好。

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

JFreeChart 高手请进！

我现在的项目中要求，图中的标签（就是一个类型的）默认的是在正下方，不知道能不能改为在右方。

求JFreechart绘制折线图！！高手请进！！急！急！急！

编译出的结果没有折线图求高手帮忙写个折线图的代码 00001.TXT的文件的数据是： 2009 11 05 25.38 25.46 24.85 25.05 28931192 727022400.000 2009 11 06 25.39 25.69 24.81 25.10 30297501 762726336.000 ...

JAVA上百实例源码以及开源项目

笔者当初为了学习JAVA，收集了很多经典源码，源码难易程度分为初级、中级、高级等，详情看源码列表，需要的可以直接下载！这些源码反映了那时那景笔者对未来的盲目，对代码的热情、执着，对IT的憧憬、向往！...

Java高手真经. 高级编程卷：Java Web高级开发技术：EJB+消息通信+分布式+开源框架...

【书名】Java高手真经. 高级编程卷：Java Web高级开发技术：EJB+消息通信+分布式+开源框架【作者】刘中兵【ISBN】978-7-121-09217-6【出版社】电子工业出版社【出版日期】2009年9月【定价】...

转的一杂谈

网站架构（页面静态化，图片服务器分离,负载均衡）方案全解析文章分类:综合技术 ...但是对于大量内容并且频繁更新的网站，我们无法全部手动去挨个实现，于是出现了我们常见的信息发布系统CMS，像我们常访问的各个门户...

webmagic采集CSDN的Java_WebDevelop页面

请大家帮帮我，谢谢，耽误你们点时间，帮我指导指导，我做了2天都没有做出来，明天就要交作业了，请大家帮帮我。 , 请教hibernate排序问题, java 权限管理, 如何实现在jsp页面中选择txt文件，点击下载时进行下载, ...

一个程序员的多年珍藏--收藏

一个高手推荐的4本必读书：中文版：下載文件 Contributing to Eclipse Principles, Patterns and PlugIns.pdf (23.29 MB) 英文版：下載文件 Contributing to Eclipse Principles, Patt ... (4.93 ...

一个程序员多年的收藏

一个高手推荐的4本必读书：中文版：下載文件 Contributing to Eclipse Principles, Patterns and PlugIns.pdf (23.29 MB) 英文版：下載文件 Contributing to Eclipse Principles, Patt ... (4.93 MB)...

other 猿多年收藏

一个高手推荐的4本必读书：中文版：下載文件 Contributing to Eclipse Principles, Patterns and PlugIns.pdf (23.29 MB) 英文版：下載文件 Contributing to Eclipse Principles, Patt ... (4.93 MB) 下載文件 ...

收藏吧少年

有一种收藏叫转载

多年的收藏

个人书签

- 精选文摘 - ITeye精华 Selenium - Web Browser Automation Apache JMeter - Apache JMeter™ 请不要再使用低级别的AOP API - 开涛的博客 - ITeye技术网站高效 JavaEE 开发框架 JessMA v3.2.1 正式发布 - 编程语言...

Java高级面试题解析（二）：百度Java面试题前200页（精选）

高手答案： get和post是HTTP协议中的两种发送请求的方法，HTTP底层都是TCP/IP，故get和post都是TCP链接，二者能做的事情其实都是一样的，给get加上request body，给post加上url参数，技术上都是可以实现的。而导致...

3 Android SqliteManager 源码.zip

基于S7-200 PLC的煤矿排水系统智能控制：三台水泵联动与备援策略

内容概要：本文详细介绍了基于S7-200 PLC的煤矿排水系统智能控制方案，重点讨论了三台水泵（两台工作水泵和一台备用水泵）的联动与备援策略。系统通过超声波液位传感器实时监测水位，根据不同水位情况自动控制水泵的启停。具体而言，水位低时不启动水泵，水位介于中水位和高水位之间时启动1号水泵，水位超过高水位则启动1号和2号水泵共同工作。若1号或2号水泵出现故障，系统会自动启用3号备用水泵。此外，MCGS6.2组态画面用于实时监控水位和水泵状态，帮助操作员及时应对异常情况，确保矿井安全。适合人群：从事煤矿自动化控制领域的技术人员、矿业工程管理人员及相关研究人员。使用场景及目标：适用于需要提高煤矿排水系统自动化水平的场合，旨在提升矿井排水效率和安全性，减少人工干预，确保矿井生产安全。其他说明：文中提到的技术方案不仅提高了排水系统的可靠性，还为未来的智能化矿山建设提供了有益借鉴。

scratch少儿编程逻辑思维游戏源码-灌篮之王.zip

scratch少儿编程逻辑思维游戏源码-飞翔马里奥(2).zip

scratch少儿编程逻辑思维游戏源码-火柴人大战中世纪战争.zip

scratch少儿编程逻辑思维游戏源码-几何冲刺(2).zip