前言:隐含马尔可夫模型是一个数学模型,到目前为之,它一直被认为是实现快速精确的语音识别系统的最成功的方法。复杂的语音识别问题通过隐含马尔可夫模型能非常简单地被表述、解决,让我不由由衷地感叹数学模型之妙。
自然语言是人类交流信息的工具。很多自然语言处理问题都可以等同于通信系统中的解码问题 -- 一个人根据接收到的信息,去猜测发话人要表达的意思。这其实就象通信中,我们根据接收端收到的信号去分析、理解、还原发送端传送过来的信息。以下该图就表示了一个典型的通信系统:
其中 s1,s2,s3...表示信息源发出的信号。o1, o2, o3 ... 是接受器接收到的信号。通信中的解码就是根据接收到的信号 o1, o2, o3 ...还原出发送的信号 s1,s2,s3...。
其实我们平时在说话时,脑子就是一个信息源。我们的喉咙(声带),空气,就是如电线和光缆般的信道。听众耳朵的就是接收端,而听到的声音就是传送过来的信号。根据声学信号来推测说话者的意思,就是语音识别。这样说来,如果接收端是一台计算机而不是人的话,那么计算机要做的就是语音的自动识别。同样,在计算机中,如果我们要根据接收到的英语信息,推测说话者的汉语意思,就是机器翻译; 如果我们要根据带有拼写错误的语句推测说话者想表达的正确意思,那就是自动纠错。
那么怎么根据接收到的信息来推测说话者想表达的意思呢?我们可以利用叫做“隐含马尔可夫模型”(Hidden Markov Model)来解决这些问题。以语音识别为例,当我们观测到语音信号 o1,o2,o3 时,我们要根据这组信号推测出发送的句子 s1,s2,s3。显然,我们应该在所有可能的句子中找最有可能性的一个。用数学语言来描述,就是在已知 o1,o2,o3,...的情况下,求使得条件概率
P (s1,s2,s3,...|o1,o2,o3....) 达到最大值的那个句子 s1,s2,s3,...
当然,上面的概率不容易直接求出,于是我们可以间接地计算它。利用贝叶斯公式并且省掉一个常数项,可以把上述公式等价变换成
P(o1,o2,o3,...|s1,s2,s3....) * P(s1,s2,s3,...)
其中
P(o1,o2,o3,...|s1,s2,s3....) 表示某句话 s1,s2,s3...被读成 o1,o2,o3,...的可能性, 而
P(s1,s2,s3,...) 表示字串 s1,s2,s3,...本身能够成为一个合乎情理的句子的可能性,所以这个公式的意义是用发送信号为 s1,s2,s3...这个数列的可能性乘以 s1,s2,s3...本身可以一个句子的可能性,得出概率。
(读者读到这里也许会问,你现在是不是把问题变得更复杂了,因为公式越写越长了。别着急,我们现在就来简化这个问题。)我们在这里做两个假设:
第一,s1,s2,s3,... 是一个马尔可夫链,也就是说,si 只由 si-1 决定 (详见系列一);
第二, 第 i 时刻的接收信号 oi 只由发送信号 si 决定(又称为独立输出假设, 即 P(o1,o2,o3,...|s1,s2,s3....) = P(o1|s1) * P(o2|s2)*P(o3|s3)...。
那么我们就可以很容易利用算法 Viterbi 找出上面式子的最大值,进而找出要识别的句子 s1,s2,s3,...。
满足上述两个假设的模型就叫隐含马尔可夫模型。我们之所以用“隐含”这个词,是因为状态 s1,s2,s3,...是无法直接观测到的。
隐含马尔可夫模型的应用远不只在语音识别中。在上面的公式中,如果我们把 s1,s2,s3,...当成中文,把 o1,o2,o3,...当成对应的英文,那么我们就能利用这个模型解决机器翻译问题; 如果我们把 o1,o2,o3,...当成扫描文字得到的图像特征,就能利用这个模型解决印刷体和手写体的识别。
P (o1,o2,o3,...|s1,s2,s3....) 根据应用的不同而又不同的名称,在语音识别中它被称为“声学模型” (Acoustic Model), 在机器翻译中是“翻译模型” (Translation Model) 而在拼写校正中是“纠错模型” (Correction Model)。 而P (s1,s2,s3,...) 就是我们在系列一中提到的语言模型。
在利用隐含马尔可夫模型解决语言处理问题前,先要进行模型的训练。 常用的训练方法由伯姆(Baum)在60年代提出的,并以他的名字命名。隐含马尔可夫模型在处理语言问题早期的成功应用是语音识别。七十年代,当时 IBM 的 Fred Jelinek (贾里尼克) 和卡内基·梅隆大学的 Jim and Janet Baker (贝克夫妇,李开复的师兄师姐) 分别独立地提出用隐含马尔可夫模型来识别语音,语音识别的错误率相比人工智能和模式匹配等方法降低了三倍 (从 30% 到 10%)。 八十年代李开复博士坚持采用隐含马尔可夫模型的框架, 成功地开发了世界上第一个大词汇量连续语音识别系统 Sphinx。
我最早接触到隐含马尔可夫模型是几乎二十年前的事。那时在《随机过程》(清华“著名”的一门课)里学到这个模型,但当时实在想不出它有什么实际用途。几年后,我在清华跟随王作英教授学习、研究语音识别时,他给了我几十篇文献。 我印象最深的就是贾里尼克和李开复的文章,它们的核心思想就是隐含马尔可夫模型。复杂的语音识别问题居然能如此简单地被表述、解决,我由衷地感叹数学模型之妙。
原文地址:http://googlechinablog.com/2006/04/blog-post_17.html
分享到:
相关推荐
隐马尔可夫模型及其在自然语言处理中的应用
"人工智能-图像处理-三马尔可夫场在SAR图像处理中的应用" 人工智能在图像处理中的应用是一个热门的话题,特别是在合成孔径雷达(SAR)图像处理中。SAR 图像具有高分辨率、全天时、全天候等优点,但是在图像理解和...
**输入输出隐马尔可夫模型(Input-Output Hidden Markov Model, IOHMM)**是一种统计建模方法,常用于处理序列数据,特别是在自然语言处理、语音识别、行为识别和生物信息学等领域。它是传统的隐马尔可夫模型...
在探究股市预测方法时,研究者们不断尝试将各种数学模型与统计学工具应用于这一领域,以期能够更准确地分析和预测股票价格的变化趋势。本文讨论的灰色-马尔可夫链模型正是其中一种结合了两种不同预测方法的复合模型...
隐马尔可夫模型hmm及其在语音处理中的应用
隐马尔可夫模型(Hidden Markov Model, HMM)是一种统计模型,用于描述一个含有隐含未知参数的马尔可夫过程。在HMM中,状态并不是直接可见的,但受状态影响的某些变量则是可见的。因此,HMM是一个双重随机过程,由...
隐马尔可夫模型作为一种强大的概率图模型,在处理序列预测问题时具有独特的优势。通过对马尔可夫过程的基础理论介绍,我们了解了一阶马尔可夫模型的基本概念和隐马尔可夫模型的结构组成。此外,还介绍了如何进行模型...
隐马尔可夫模型(Hidden Markov Model,HMM)是一种统计模型,被广泛应用于模式识别、自然语言处理等领域。HMM的核心思想是通过一个可以观察的马尔可夫过程来描述一个隐含的状态序列,其中状态不可直接观察到,但每...
基于隐马尔可夫模型实现的地图匹配c++源码(带详细注释).zip数据结构课设-基于隐马尔可夫模型实现的地图匹配c++源码(带详细注释).zip数据结构课设-基于隐马尔可夫模型实现的地图匹配c++源码(带详细注释).zip数据结构...
### 隐马尔可夫模型在多序列比对中的应用 #### 1. 引言 随着现代生物学研究的进步,尤其是基因组测序技术的发展,科学家们面临着海量的生物序列数据。这些数据包括但不限于DNA序列、RNA序列及蛋白质序列等。如何...
隐马尔可夫模型及其在自然语言处理中的应用
总的来说,马尔可夫模型及其扩展如HMM是理解序列数据并进行预测的关键工具,在现代计算机科学中扮演着重要角色,尤其在处理自然语言和时间序列数据时。通过理解和应用这些模型,我们可以构建出能够模拟复杂序列模式...
隐马尔可夫模型(Hidden Markov Model,简称HMM)是概率统计领域中的一个重要模型,尤其在自然语言处理、语音识别、生物信息学等领域有着广泛的应用。在MATLAB环境中,我们可以利用其强大的数学计算能力和丰富的函数...
参考网上大神给的代码,自己调通了,使用隐马尔可夫模型进行中文分词
在本项目中,我们探讨的是如何使用Matlab进行时间序列分割处理,具体是基于隐马尔可夫模型(Hidden Markov Model, HMM)的回归HMMR(Hidden Markov Model for Regression)模型。这个仿真源码提供了一个深入理解HMMR...
《谷歌黑板报》系列文章深入探讨了数学在信息检索和自然语言处理中的核心作用以及其奇妙的应用。本文将从统计语言模型、中文分词、隐含马尔可夫模型、信息度量、布尔代数、图论、信息论、贾里尼克公式、相关性计算、...
- **自动语音识别**:这是马尔可夫模型最早的应用之一。通过对语音信号的分析,模型能够识别出特定的语音特征,进而转化为文本。在这个过程中,马尔可夫模型能够有效地捕捉语音信号的时间序列特性。 - **手写文本...
在实际应用中,隐马尔可夫模型可以用于解决很多问题,如语音识别、自然语言处理、计算生物学等领域中的 pattern recognition 和 sequence analysis 问题。例如,在语音识别中,可以使用隐马尔可夫模型来描述语音信号...