`

中文分词算法 之 基于词典的正向最小匹配算法

阅读更多

在之前的博文中介绍了基于词典的正向最大匹配算法比如我们切分句子: 中华人民共和国万岁万岁万万岁,使用正向最大匹配算法的切分结果为:[中华人民共和国, 万岁, 万岁, 万万岁],可以看到,切分出来的词是很长的,粒度很粗,如果我们想要切分出很细粒度的词,该怎么办呢?

 

本文介绍正向最小匹配算法,该算法和正向最大匹配算法相得益彰,一个强调细粒度,一个强调粗粒度。

 

使用正向最小匹配算法,必须注意的一点是:词典中不能有单字词,词的长度至少为2!我们看正向最小匹配算法正向最大匹配算法的代码比较:

 

 

切分效果如下:

 

切分句子: 中华人民共和国万岁万岁万万岁
正向最大匹配: [中华人民共和国, 万岁, 万岁, 万万岁]
正向最小匹配: [中华, 人民, 共和, 国, 万岁, 万岁, 万万, 岁]
切分句子: 杨尚川是APDPlat应用级产品开发平台的作者
正向最大匹配: [杨尚川, 是, APDPlat, 应用, 级, 产品开发, 平台, 的, 作者]
正向最小匹配: [杨尚川, 是, APDPlat, 应用, 级, 产品, 开发, 平台, 的, 作者]
切分句子: 美国加州大学的科学家发现
正向最大匹配: [美国加州大学, 的, 科学家, 发现]
正向最小匹配: [美国, 加州, 大学, 的, 科学, 家, 发现]

  

 

 

代码托管于GITHUB

 

参考资料:

1、中文分词十年回顾

2、中文信息处理中的分词问题

3、汉语自动分词词典机制的实验研究

4、由字构词_中文分词新方法

5、汉语自动分词研究评述

 

NUTCH/HADOOP视频教程

 

  • 大小: 139.6 KB
1
1
分享到:
评论

相关推荐

    正向最大匹配中文分词算法

    但不管实现如何,目前而言的分词系统绝大多数都是基于中文词典的匹配算法。其中最为常见的是最大匹配算法 (Maximum Matching,以下简称MM算法) 。MM算法有三种:一种正向最大匹配,一种逆向最大匹配和双向匹配。本...

    基于正向、逆向的最大分词算法实现

    总之,“基于正向、逆向的最大分词算法实现”是一个涵盖了词典管理、搜索策略、歧义解决等多个方面的综合性任务。通过理解和运用这些算法,我们可以构建高效、准确的中文分词系统,为后续的自然语言处理任务提供强大...

    正向最大匹配算法实现中文分词

    目前,分词系统绝大多数都是基于中文词典的匹配算法。其中最为常见的是最大匹配算法 (Maximum Matching,以下简称MM算法) 。MM算法有三种:一种正向最大匹配,一种逆向最大匹配和双向匹配。本程序实现了正向最大匹配...

    正向最大匹配算法 分词算法

    正向最大匹配(Forward Maximum Matching,FMM)算法是一种在自然语言处理中广泛使用的中文分词方法。在中文文本处理中,由于汉字不带有明显的边界标识,因此需要借助特定的算法来将连续的汉字序列切分成有意义的...

    中文分词工具word-1.0,Java实现的中文分词组件多种基于词典的分词算法

    word分词是一个Java实现的中文分词组件,提供了多种基于...4、中文分词算法 之 基于词典的正向最小匹配算法 5、中文分词算法 之 基于词典的逆向最小匹配算法 5、Java开源项目cws_evaluation:中文分词器分词效果评估

    中文分词程序-正向最大匹配算法及逆向最大匹配算法

    在这个“中文分词程序”中,包含了两种常见的分词算法:正向最大匹配算法(Forward Maximum Matching, FMM)和逆向最大匹配算法(Backward Maximum Matching, BMM)。 正向最大匹配算法是一种自左向右的分词策略。...

    最新逆向最大匹配分词算法 盘古分词 分词算法 中文分词 源码

    逆向最大匹配分词算法(Reverse Maximum Matching,RMM)是一种常见的中文分词技术,广泛应用于自然语言处理、搜索引擎和信息检索等领域。该算法的基本思想是从待分词文本的末尾开始,向前寻找最长的已存在于词典中...

    基于逆向匹配的中文分词算法

    通过与其他分词算法(如正向最大匹配法、双向最大匹配法等)进行对比,可以更直观地看出基于逆向匹配的中文分词算法的优势与不足。实验结果表明,RMM算法在处理未登录词方面表现更优,尤其是在处理长难句时能够保持...

    改进的正向最大匹配分词算法

    ### 改进的正向最大匹配分词算法 #### 概述 本文旨在介绍一种改进的正向最大匹配分词算法(MMSEG),该算法针对传统最大匹配算法存在的不足进行了优化,特别是在处理交集型歧义字段方面有所创新。通过引入预处理、互...

    matlab中文分词——最大正向匹配法.rar

    在NLP领域,MATLAB可以用于构建和测试各种分词算法。 最大正向匹配法(Maximum Forward Matching,MFM)是一种常用的分词策略。该方法的基本思想是从左到右扫描待分词的句子,每次选取词典中最长的词作为匹配候选,...

    一种基于改进最大匹配快速中文分词算法

    ### 基于改进最大匹配快速中文分词算法的知识点 #### 一、中文分词技术概述 中文分词作为自然语言处理中的基础步骤,在文本分析、机器翻译、信息检索等多个领域发挥着至关重要的作用。它主要负责将连续的中文字符...

    几种基于词典的中文分词算法评价

    ### 几种基于词典的中文分词算法评价 #### 中文分词技术的重要性 中文分词技术在中文信息处理领域扮演着至关重要的角色。随着信息技术的发展,无论是政府决策、企业经营还是个人生活,信息的有效获取都变得越来越...

    一个简单的分词系统(可以选择正向最大匹配分词或逆向最大匹配)

    在这个简单的分词系统中,提供了两种主要的分词算法:正向最大匹配(Forward Maximum Matching, FMM)和逆向最大匹配(Backward Maximum Matching, BMM)。下面我们将详细探讨这两种方法及其应用。 首先,正向最大...

    python正向最大匹配分词和逆向最大匹配分词

    在本文中,我们将讨论 Python 实现的正向最大匹配分词和逆向最大匹配分词算法,并提供完整的源代码。 正向最大匹配分词 正向最大匹配分词是一种常用的分词算法,它从左到右扫描输入字符串,并尽可能地找到最长的...

    中文分词的正向和反向最大匹配算法

    在处理新闻文本时,除了基本的分词算法,还需要考虑新闻特点,如时间敏感性、事件相关性和专业术语。因此,可能需要定期更新词典,增加新出现的专有名词,或者利用命名实体识别技术来精确识别人名、地名、机构名等。...

    中文分词-正向最大匹配法和逆向最大匹配法的实现

    需要注意的是,Python提供了许多现成的中文分词库,如jieba,它们已经实现了包括正向、逆向匹配在内的多种分词算法,并且优化了性能。但在学习和理解分词原理时,自己动手实现这些方法是非常有益的。 总的来说,...

    中文分词算法研究整理资料

    在这个“中文分词算法研究整理资料”中,我们可以期待找到关于如何处理中文文本,尤其是如何进行有效分词的各种方法和技术。 中文分词的难度在于汉字的组合方式灵活,一个词组可以由一个或多个汉字组成,而且没有...

    基于词典的最大匹配的Lucene中文分词程序

    基于词典的最大匹配分词法是常见的中文分词策略之一。 最大匹配法(MaxMatch Algorithm)的基本思想是从待分词的字符串两端向中间扩展,尝试匹配词典中的最长词汇。词典是预先准备好的,包含了常见和重要的中文词汇...

    正向最大匹配分词算法及KNN文本分类算法python实现.zip

    正向最大匹配分词算法(Forward Maximum Matching, FMM)是自然语言处理(NLP)领域中常用的一种中文分词方法。它的工作原理是从待分词的文本的起始位置开始,每次尝试匹配尽可能长的词语,直到文本末尾。在匹配过程...

Global site tag (gtag.js) - Google Analytics