博客首页 → 分词原理

最新文章列表

lucene 分词原理

Lucene是一个高性能的 java 全文检索工具包，它使用的是倒排文件索引结构。该结构及相应的生成算法如下：  0）设有两篇文章 1 和 2  文 ...
lucene分词原理 
duguyiren3476 评论(0) 有1505人浏览 2012-06-15 10:34

lucene 分词原理2

建立索引和查询的过程中，都是以基本的语素项为单位的。基本的语素项就是通过分词得到。这个过程决定了索引单元金额最终的匹配过程。  分词在文本索引的建立过程和用户提交检索过程中都存在。利用相同的分词器，把短语或者句子切分成相同的结果，才能保证检索过程顺利进行。  1、 英文分词的原理  基本的处理流程是：输入文本、词汇分割、词汇过滤（去除停留词）、词干提取（形态还原）、大写转为小写、结果输出 ...
Lucene搜索引擎分词原理词典分词词频统计 
晨必须的 评论(0) 有1247人浏览 2012-05-31 21:07

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics