资讯频道 → 编程语言
阅读更多

20顶
0踩

编程语言

原创新闻 推荐ruby中文分词器 － RMMSeg

2008-03-05 10:57 by 见习编辑 robbin 评论(5) 有13269人浏览
rmmseg Ruby RoR

声明：ITeye资讯文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

用RoR开发网站经常遇到的一个困扰就是Ruby缺乏良好的中文分词器，虽然ferret可以实现lucene的绝大部分功能，但是ferret自身并没有中文分词器，甚至连CJK两分分词器都没有，因此很多RoR网站不得不通过各种方式去访问lucene来解决分词问题，但RMMSeg项目发布以后，这一切已经成为历史。

RMMSeg是pluskid(浙江大学的学生)开发的ruby中文分词器，在2008年2月份刚刚发布的。RMMSeg使用了基于词库的最大匹配算法进行中文分词，并且辅以相应的修正算法，而RMMSeg带的词库有大约12万中文词汇，已经比较全面了。根据作者自己博客上面的测试，中文分词的准确率可以达到98%以上。

经过JavaEye网站的试用，RMMSeg当前的0.1.5版本已经可以在小型的ruby应用当中实际使用了，分词的效果也还不错。当然由于RMMSeg目前是纯ruby代码的实现，因此索引的性能还是有点慢，比目前JavaEye的单字拆分算法慢5倍左右。但考虑到全文检索的索引都是后台job去运行，所以稍微慢一点也可以接受。pluskid计划在接下来的版本当中使用C来实现一部分功能，提高性能，降低内存耗用。

安装rmmseg很简单： 

gem install rmmseg


然后就可以在应用程序当中构造RMMSeg的中文分词器了： 

require 'rmmseg'
require 'rmmseg/ferret'

analyzer = RMMSeg::Ferret::Analyzer.new do |tokenizer|
  Ferret::Analysis::LowerCaseFilter.new(tokenizer)
end


RMMSeg项目相当令人振奋，有了好的中文分词器，RoR在国内的互联网应用就扫除了一大障碍。在这里也呼吁大家关注和使用RMMSeg项目，帮助RMMSeg项目发展的更好。

RMMSeg的官方网站在： http://rmmseg.rubyforge.org/
pluskid的博客：http://pluskid.lifegoo.com

作者的Email: pluskid AT gmail DOT com


20
顶
0
踩
评论 共 5 条 请登录后发表评论
5 楼 tianshuaiorc 2012-03-30 13:04
 
4 楼 tianshuaiorc 2012-03-30 13:04
    
3 楼 carlosbdw 2008-03-07 00:30
ruby如何调用MMSEG呢？
2 楼 carlosbdw 2008-03-06 17:12
以上哪种中文分词工具可以辨别出词形?
1 楼 我想我是海 2008-03-05 13:11
MMSEG算法是台湾一个朋友的作品：
[url]http://technology.chtsai.org/mmseg/[url]
在Java方面，早就有一个实现：
[url]http://www.solol.org/projects/mmseg/[url]
与Lucene的整合也提供了：
[url]http://www.solol.org/blogs/200710/200710242000.html[url]

实践过程中，分词效果的确极佳。以前通过比较，比Javaeye上现有的分词算法效果都要好。

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • JFreeChart 高手请进！

    我现在的项目中要求，图中的标签（就是 一个类型的）默认的是在正下方，不知道能不能改为在 右方。

  • 求JFreechart绘制折线图！！高手请进！！急！急！急！

    编译出的结果 没有折线图 求高手帮忙写个折线图的代码 00001.TXT的文件的数据是： 2009 11 05 25.38 25.46 24.85 25.05 28931192 727022400.000 2009 11 06 25.39 25.69 24.81 25.10 30297501 762726336.000 ...

  • JAVA上百实例源码以及开源项目

    笔者当初为了学习JAVA，收集了很多经典源码，源码难易程度分为初级、中级、高级等，详情看源码列表，需要的可以直接下载！ 这些源码反映了那时那景笔者对未来的盲目，对代码的热情、执着，对IT的憧憬、向往！...

  • Java高手真经. 高级编程卷：Java Web高级开发技术：EJB+消息通信+分布式+开源框架...

    【书名】Java高手真经. 高级编程卷：Java Web高级开发技术：EJB+消息通信+分布式+开源框架【作者】刘中兵【ISBN】978-7-121-09217-6【出版社】电子工业出版社【出版日期】2009年9月【定 价】...

  • 转的一杂谈

    网站架构（页面静态化，图片服务器分离,负载均衡）方案全解析 文章分类:综合技术 ...但是对于大量内容并且频繁更新的网站，我们无法全部手动去挨个实现，于是出现了我们常见的信息发布系统CMS，像我们常访问的各个门户...

  • webmagic采集CSDN的Java_WebDevelop页面

    请大家帮帮我，谢谢，耽误你们点时间，帮我指导指导，我做了2天都没有做出来，明天就要交作业了，请大家帮帮我。 , 请教hibernate排序问题, java 权限管理, 如何实现在jsp页面中选择txt文件，点击下载时进行下载, ...

  • 一个程序员的多年珍藏--收藏

    一个高手推荐的4本必读书：   中文版： 下載文件 Contributing to Eclipse Principles, Patterns and PlugIns.pdf (23.29 MB) 英文版： 下載文件 Contributing to Eclipse Principles, Patt ... (4.93 ...

  • 一个程序员多年的收藏

    一个高手推荐的4本必读书： 中文版： 下載文件 Contributing to Eclipse Principles, Patterns and PlugIns.pdf (23.29 MB) 英文版： 下載文件 Contributing to Eclipse Principles, Patt ... (4.93 MB)...

  • other 猿 多年收藏

    一个高手推荐的4本必读书： 中文版：下載文件 Contributing to Eclipse Principles, Patterns and PlugIns.pdf (23.29 MB) 英文版：下載文件 Contributing to Eclipse Principles, Patt ... (4.93 MB) 下載文件 ...

  • 收藏吧 少年

    一个高手推荐的4本必读书：   中文版： 下載文件 Contributing to Eclipse Principles, Patterns and PlugIns.pdf (23.29 MB) 英文版： 下載文件 Contributing to Eclipse Principles, Patt ... (4.93 ...

  • 有一种收藏叫转载

    一个高手推荐的4本必读书：   中文版： 下載文件 Contributing to Eclipse Principles, Patterns and PlugIns.pdf (23.29 MB) 英文版： 下載文件 Contributing to Eclipse Principles, Patt ... (4.93 ...

  • 多年的收藏

    一个高手推荐的4本必读书： 中文版： 下載文件 Contributing to Eclipse Principles, Patterns and PlugIns.pdf (23.29 MB) 英文版： 下載文件 Contributing to Eclipse Principles, Patt ... (4.93...

  • 个人书签

    - 精选文摘 - ITeye精华 Selenium - Web Browser Automation Apache JMeter - Apache JMeter™ 请不要再使用低级别的AOP API - 开涛的博客 - ITeye技术网站 高效 JavaEE 开发框架 JessMA v3.2.1 正式发布 - 编程语言...

  • Java高级面试题解析（二）：百度Java面试题前200页（精选）

    高手答案： get和post是HTTP协议中的两种发送请求的方法，HTTP底层都是TCP/IP，故get和post都是TCP链接，二者能做的事情其实都是一样的，给get加上request body，给post加上url参数，技术上都是可以实现的。 而导致...

  • COMSOL激光增材制造技术：热流力三场耦合模型的构建与模拟研究,COMSOL激光增材制造中热-流-力三场耦合模型的研究与应用：基于固体传热、固体力学、层流和动网格技术的多物理场分析,comsol激光

    COMSOL激光增材制造技术：热流力三场耦合模型的构建与模拟研究,COMSOL激光增材制造中热-流-力三场耦合模型的研究与应用：基于固体传热、固体力学、层流和动网格技术的多物理场分析,comsol激光增材制造热-流-力三场偶合模型 选用固体传热，固体力学，层流和动网格，考虑热物性以及马兰戈尼效应、表面张力，相变潜热，热对流和热辐射等 【软件工具】COMSOL5.6 【备注】，comsol三维模型 ,核心关键词：comsol; 激光增材制造; 热-流-力三场偶合模型; 固体传热; 固体力学; 层流; 动网格; 热物性; 马兰戈尼效应; 表面张力; 相变潜热; 热对流; 热辐射; COMSOL5.6; 三维模型。,COMSOL 5.6激光增材制造三场耦合模型

  • 基于PLL的SMO滑模观测器算法在永磁同步电机无传感器矢量控制中的应用及其与反正切SMO的对比：有效消除转速抖动,基于PLL的SMO滑模观测器算法在永磁同步电机无传感器矢量控制中的应用及其与反正切SM

    基于PLL的SMO滑模观测器算法在永磁同步电机无传感器矢量控制中的应用及其与反正切SMO的对比：有效消除转速抖动,基于PLL的SMO滑模观测器算法在永磁同步电机无传感器矢量控制中的应用及其与反正切SMO的对比：有效消除转速抖动,基于PLL的SMO滑模观测器算法，永磁同步电机无传感器矢量控制，跟基于反正切的SMO做对比，可以有效消除转速的抖动。 ,基于PLL的SMO滑模观测器算法; 永磁同步电机无传感器矢量控制; 反正切SMO; 转速抖动消除。,基于PLL SMO滑模观测器：永磁同步电机无传感器矢量控制新算法，优化抖动消除效能

  • 【毕业设计】java-springboot+vue个人云盘管理系统实现源码（完整前后端+mysql+说明文档+LunW）.zip

    【毕业设计】java-springboot+vue个人云盘管理系统实现源码（完整前后端+mysql+说明文档+LunW）.zip

  • 【语音识别】基于matlab自适应滤波器LMS算法鸟类物种识别【含Matlab源码 9977期】.mp4

    海神之光上传的视频是由对应的完整代码运行得来的，完整代码皆可运行，亲测可用，适合小白； 1、从视频里可见完整代码的内容 主函数：main.m； 调用函数：其他m文件；无需运行 运行结果效果图； 2、代码运行版本 Matlab 2019b；若运行有误，根据提示修改；若不会，私信博主； 3、运行操作步骤 步骤一：将所有文件放到Matlab的当前文件夹中； 步骤二：双击打开main.m文件； 步骤三：点击运行，等程序运行完得到结果； 4、仿真咨询 如需其他服务，可私信博主； 4.1 博客或资源的完整代码提供 4.2 期刊或参考文献复现 4.3 Matlab程序定制 4.4 科研合作

  • 【毕业设计】java-springboot-vue电影推荐系统实现源码（完整前后端-mysql-说明文档-LunW）.zip

    【毕业设计】java-springboot-vue电影推荐系统实现源码（完整前后端-mysql-说明文档-LunW）.zip

  • 基于OpenCV和Python的实时口罩识别系统：支持摄像头与图片检测，界面简洁操作便捷,基于OpenCV的口罩识别系统 相关技.

    基于OpenCV和Python的实时口罩识别系统：支持摄像头与图片检测，界面简洁操作便捷,基于OpenCV的口罩识别系统 相关技术：python，opencv，pyqt （请自行安装向日葵远程软件，以便提供远程帮助） 软件说明：读取用户设备的摄像头，可实时检测画面中的人的口罩佩戴情况，并给予提示。 有基础的同学，可稍作修改，检测图片。 第一张为运行主界面。 第二张为部分代码截图。 第三和第四张为运行界面。 ,基于OpenCV的口罩识别系统; Python; OpenCV; PyQt; 远程协助; 摄像头读取; 实时检测; 口罩佩戴情况提示; 代码截图; 运行界面。,"基于OpenCV与Python的口罩识别系统：实时检测与提醒"

Global site tag (gtag.js) - Google Analytics