`

HanLP-基于HMM-Viterbi的人名识别原理介绍

 
阅读更多

 

Hanlp自然语言处理包中的基于HMM-Viterbi处理人名识别的内容大概在年初的有分享过这类的文章,时间稍微久了一点,有点忘记了。看了 baiziyu 分享的这篇比我之前分享的要简单明了的多。下面就把文章分享给大家交流学习之用,部分内容有做修改。 

 

本文主要介绍一下HanLP是如何利用HMM来做人名识别的。基本思想是把词语序列作为观测序列,将角色序列作为隐藏序列,当模型预测出最佳隐藏状态序列后,利用模式最大匹配法,匹配出人名实体。下边说一模型的三要素在这个应用中所对应的内容,因为训练阶段就是要求解这三个要素的值。

假设有下边的观测序列和其对应的隐藏序列

 

观察值序列:词1 词2 … 词n

隐变量序列:角色1 角色2 … 角色n

训练阶段:统计三个要素(三个矩阵的元素值)

初始概率分布:

 



 

各隐变量标记意义列于下表

 



 

状态转移概率分布:

 



 

观测概率分布:

 



 

有关这些概率值的计算都很简单,就是频率法,留在后边介绍隐马时候再写。

预测阶段:

根据训练得到的三个要素,利用Viterbi算法求解得到了最优隐藏变量序列 角色1* 角色2* ... 角色n*

最大模式匹配阶段:

利用下边的模式串匹配出人名

{ BBCD, BBE, BBZ, BCD, BEE,BE,BG,BXD,BZ,CD,EE,FB, Y,XD}

基于HMM-Viterbi标注的人名识别原理就介绍到这里,我想我应该把原理说清楚了,如果你还没有看明白,就等着后续的有关隐马的文章吧。基于隐马的人名识别会很容把以一个姓氏作为开头的词语识别为人名,特别是地名中有人名字的,因此,人工整理出一些非常用姓氏的人名,以及一些地名是必要的,后续如果整理出来了,我应该会放到专栏文章里,毕竟都是公开语料上做的,也就不涉及什么别的不方便。

 

  • 大小: 28.1 KB
  • 大小: 191.1 KB
  • 大小: 209.6 KB
  • 大小: 158.2 KB
分享到:
评论

相关推荐

    实验报告-基于GMM-HMM的语音识别.doc

    实验结果表明,基于HMM-GMM模型的语音识别系统可以达到较高的识别率,並且可以满足实际应用的需求。实验结果也表明,HMM-GMM模型可以处理 隐状态的问题,并且可以对语音信号进行有效的预测。 本文档对基于GMM-HMM的...

    hanlp-1.7.2-release.zip

    1. 高精度:HanLP采用混合分词模型,结合了基于概率的隐马尔可夫模型(HMM)和最大熵模型(MaxEnt),以及基于规则的分词方法,确保了较高的分词准确率。 2. 快速高效:通过并行计算和优化的算法设计,HanLP在保持高...

    人工智能-语音识别-基于HMM和改进BP算法的非特定人连接数字语音识别.pdf

    人工智能-语音识别-基于HMM和改进BP算法的非特定人连接数字语音识别.pdf

    人工智能NER作业-基于HMM模型实现命名实体识别python源码+数据+实验报告.zip

    人工智能NER作业-基于HMM模型实现命名实体识别python源码+数据+实验报告.zip 基本原理 1. HMM假设了前一次的转移情况仅仅和上一次状态有关。HMM认为有一个发生概率矩阵用于处理每 一个标签生成不同的词汇的概率以及...

    基于HMM的语音识别系统,python实现版本

    **基于HMM的语音识别系统Python实现** 在人工智能领域,语音识别是一项关键技术,它使得机器能够理解人类的口头指令,从而实现人机交互。隐马尔科夫模型(Hidden Markov Model, HMM)是语音识别中最常用的统计建模...

    基于HMM的动态手势识别

    基于HMM的动态手势识别

    NER-CRF-HMM-master_HMM_HMM-CRF用于命名实体识别_语音识别_

    命名实体识别(NER)是自然语言处理(NLP)领域的一个关键任务,它涉及识别文本中的特定实体,如人名、地名、组织名等。在这个项目“NER-CRF-HMM-master”中,开发者利用隐马尔可夫模型(HMM)和条件随机场(CRF)这...

    人工智能自然语言处理应用-基于HMM与CRF的命名实体识别

    在NLP中,命名实体识别(NER)是一项基础但至关重要的任务,它的目标是从文本中识别出具有特定意义的实体,如人名、地名、组织名等。本资源探讨了如何利用隐马尔可夫模型(HMM)和条件随机场(CRF)这两种统计建模...

    论文研究-基于HMM和WNN的心音信号身份识别研究.pdf

    将隐马尔可夫模型(HMM)与小波神经网络(WNN)相结合,提出了一种基于心音信号的身份识别方法。该方法首先利用HMM对心音信号进行时序建模,并计算出待识别心音信号的输出概率评分;再将此识别概率评分作为小波神经...

    语音识别hmm工具箱HMM.rar

    “语音识别hmm工具箱HMM.rar”是一个用于语音识别的软件包,基于HMM理论,包含了特征提取、模型训练、解码等一系列功能,能帮助开发者快速构建语音识别系统。在实际操作中,用户需要了解HMM的基本原理,并掌握如何...

    论文研究-基于HMM-EGARCH的银行间同业拆放利率市场波动预测研究.pdf

    论文研究-基于HMM-EGARCH的银行间同业拆放利率市场波动预测研究.pdf, 针对中国金融市场呈现出的多波动状态的典型事实特征, 以上海银行间同业拆放利率(Shibor)市场为研究...

    GMM-HMM语音识别原理1

    《GMM-HMM语音识别原理详解》 在语音识别领域,GMM-HMM(高斯混合模型-隐马尔科夫模型)是一种广泛应用的建模技术。本文将深入探讨GMM和HMM的基本概念,以及它们如何协同工作以实现语音识别。 1. 隐马尔科夫模型...

    HMM模型+Viterbi算法实例1

    【HMM模型与Viterbi算法】 隐马尔科夫模型(Hidden Markov Model, HMM)是一种在统计学和机器学习中广泛使用的概率模型,主要用于处理时序数据,其中观察序列是由一些不可见的(或隐藏的)状态序列生成的。在本例中...

    Matlab-基于HMM的不定长英文数字串语音识别Mtalab源码(带项目完成PPT报告).zip

    基于HMM的不定长英文数字串语音识别 Matlab_基于HMM的不定长英文数字串语音识别Mtalab源码(带项目完成PPT报告).zip matlab源码 语音识别+PPT报告 Matlab_基于HMM的不定长英文数字串语音识别Mtalab源码(带项目完成PPT...

Global site tag (gtag.js) - Google Analytics