数学之美 系列七 -- 信息论在信息处理中的应用
2006年5月25日 上午 07:56:00
发表者:吴军, Google 研究员
我们已经介绍了
信息熵,它是信息论的基础,我们这次谈谈信息论在自然语言处理中的应用。
先看看信息熵和语言模型的关系。我们在
系列一中谈到语言模型时,没有讲如何定量地衡量一个语言模型的好坏,当然,读者会很自然地想到,既然语言模型能减少语音识别和机器翻译的错误,那么就拿一个语音识别系统或者机器翻译软件来试试,好的语言模型必然导致错误率较低。这种想法是对的,而且今天的语音识别和机器翻译也是这么做的。但这种测试方法对于研发语言模型的人来讲,既不直接、又不方便,而且很难从错误率反过来定量度量语言模型。事实上,在贾里尼克(
Fred Jelinek)的人研究语言模型时,世界上既没有像样的语音识别系统,更没有机器翻译。我们知道,语言模型是为了用上下文预测当前的文字,模型越好,预测得越准,那么当前文字的不确定性就越小。
信息熵正是对不确定性的衡量,因此信息熵可以直接用于衡量统计语言模型的好坏。贾里尼克从信息熵出发,定义了一个称为语言模型复杂度(Perplexity)的概念,直接衡量语言模型的好坏。一个模型的复杂度越小,模型越好。李开复博士在介绍他发明的 Sphinx 语音识别系统时谈到,如果不用任何语言模型(即零元语言模型)时,复杂度为997,也就是说句子中每个位置有 997 个可能的单词可以填入。如果(二元)语言模型只考虑前后词的搭配不考虑搭配的概率时,复杂度为 60。虽然它比不用语言模型好很多,但是和考虑了搭配概率的二元语言模型相比要差很多,因为后者的复杂度只有 20。
信息论中仅次于熵的另外两个重要的概念是“互信息”(Mutual Information) 和“相对熵”(Kullback-Leibler Divergence)。
“互信息”是信息熵的引申概念,它是对两个随机事件相关性的度量。比如说今天随机事件北京下雨和随机变量空气湿度的相关性就很大,但是和姚明所在的休斯敦火箭队是否能赢公牛队几乎无关。互信息就是用来量化度量这种相关性的。在自然语言处理中,经常要度量一些语言现象的相关性。比如在机器翻译中,最难的问题是词义的二义性(歧义性)问题。比如 Bush 一词可以是美国总统的名字,也可以是灌木丛。(有一个笑话,美国上届总统候选人凯里 Kerry 的名字被一些机器翻译系统翻译成了"爱尔兰的小母牛",Kerry 在英语中另外一个意思。)那么如何正确地翻译这个词呢?人们很容易想到要用语法、要分析语句等等。其实,至今为止,没有一种语法能很好解决这个问题,真正实用的方法是使用互信息。具体的解决办法大致如下:首先从大量文本中找出和总统布什一起出现的互信息最大的一些词,比如总统、美国、国会、华盛顿等等,当然,再用同样的方法找出和灌木丛一起出现的互信息最大的词,比如土壤、植物、野生等等。有了这两组词,在翻译 Bush 时,看看上下文中哪类相关的词多就可以了。这种方法最初是由吉尔(Gale),丘奇(Church)和雅让斯基(Yarowsky)提出的。
当时雅让斯基在宾西法尼亚大学是自然语言处理大师马库斯 (Mitch Marcus) 教授的博士生,他很多时间泡在贝尔实验室丘奇等人的研究室里。也许是急于毕业,他在吉尔等人的帮助下想出了一个最快也是最好地解决翻译中的二义性,就是上述的方法,这个看上去简单的方法效果好得让同行们大吃一惊。雅让斯基因而只花了三年就从马库斯那里拿到了博士,而他的师兄弟们平均要花六年时间。
信息论中另外一个重要的概念是“相对熵”,在有些文献中它被称为成“交叉熵”。在英语中是
Kullback-Leibler Divergence,是以它的两个提出者库尔贝克和莱伯勒的名字命名的。相对熵用来衡量两个正函数是否相似,对于两个完全相同的函数,它们的相对熵等于零。在自然语言处理中可以用相对熵来衡量两个常用词(在语法上和语义上)是否同义,或者两篇文章的内容是否相近等等。利用相对熵,我们可以到处信息检索中最重要的一个概念:词频率-逆向文档频率(TF/IDF)。我们下回会介绍如何根据相关性对搜索出的网页进行排序,就要用的餐TF/IDF 的概念。另外,在新闻的分类中也要用到相对熵和 TF/IDF。
对信息论有兴趣又有一定数学基础的读者,可以阅读斯坦福大学托马斯.科弗 (Thomas Cover) 教授的专著 "信息论基础"(Elements of Information Theory):
http://www.amazon.com/gp/product/0471062596/ref=nosim/103-7880775-7782209?n=283155http://www.cnforyou.com/query/bookdetail1.asp?viBookCode=17909科弗教授是当今最权威的信息论专家。
分享到:
相关推荐
信息论是一门研究信息处理、存储和传输的学科,其核心理论由克劳德·香农在1948年提出。信息论在通信领域的应用广泛,也逐步渗透到包括社会科学在内的其他学科领域,对人类的认知、记忆和遗忘等心理过程提供了新的...
本书不仅涵盖了信息论的经典内容,还探讨了其在其他科学领域以及工程实践中的应用。 在信息论中,信息的概念是指能够减少接收者不确定性的任何事物。信息论研究对象的目的在于找到信息传输和处理的最佳方法,以提高...
《信息论基础理论与应用》是一门深入探讨信息的本质、度量、传输和处理的学科。这门课程的课件涵盖了信息论的核心概念,旨在帮助学习者理解和掌握这一领域的基本原理,并通过习题解答来强化理论知识的应用。下面将...
### 矩阵在信息处理中的应用:非负矩阵分解(NMF)的发展及原理 #### 一、非负矩阵分解(NMF)概述 在信息处理领域,非负矩阵分解(Non-negative Matrix Factorization, NMF)是一种重要的数学工具,尤其在处理大规模...
5. 信息论的应用:信息论不仅在通信领域有广泛应用,而且在计算机科学、生物学、经济学和密码学等多个领域也扮演着重要角色。 6. 信号与系统:信号和系统是信息论中讨论信息处理的物理载体和工具。信号可以是模拟...
6. 信息论在其他领域的应用:信息论不仅用于通信领域,还可应用于机器学习、神经网络、生物信息学等多个领域。 对于上述提到的题目内容,虽然可能存在扫描识别上的问题,但依然可以看出信息论中的核心概念和计算...
《朱雪龙-应用信息论基础-习题答案》是一份详细解答了朱雪龙教授在《应用信息论基础》课程中的课后习题的资料。这份压缩包内容丰富,不仅包含了课程内的习题解析,还提供了大量的课外练习题,为学习者深入理解和掌握...
通过《信息论基础理论与应用》课后的答案,读者可以逐步理解并掌握这些理论,从而在实际问题中应用信息论原理,如数据压缩、通信系统设计、密码学和网络编码等领域。通过解答习题,不仅可以检验理论知识的掌握程度,...
6. **信息理论在通信中的应用**:如数字通信系统的性能分析,以及现代通信技术如CDMA、OFDM等如何利用信息论原理。 7. **信息论与其他领域的关系**:如与统计物理、概率论、机器学习等的交叉,以及在密码学、网络...
它不仅包含了丰富的信息论基础知识,还融入了大量实践案例,使得学习者不仅能够接触到理论,还能学习到信息论在实际问题中的应用。课后习题的设计,既是对理论知识的巩固,也是对学生理解力与应用能力的考验。通过...
六、信息论在实际应用中的例子 1. 数据压缩技术如JPEG图像压缩和MP3音频压缩,都是信息论原理的应用。 2. 无线通信中的扩频通信和信道均衡,也是基于信息论的理论基础。 这个习题答案集不仅有助于检验对基本概念的...
通过这些习题,学生可以逐步构建起对信息论知识体系的全面认识,进而提高其在实际问题中应用信息论知识的能力。 同时,为了更深入地理解和掌握信息论的精髓,学生应当结合教科书和参考文献,以及实际的项目操作。...
信息论不仅在理论上有着重要意义,也在实际中具有广泛的应用价值,比如在数字通信、数据压缩、密码学、网络通信等众多领域。随着科技的发展,信息论理论也在不断扩展和深化,其研究方法和应用范围正在不断拓展,为...
《信息论课件--相当经典》是一套涵盖了信息论基础及其实用技术的高质量教育资源,主要针对学习者深入了解和掌握信息论的基本概念、原理及其在通信、编码等领域的应用。这套课件以其深入浅出的讲解和丰富的实例,成为...
在第三部分中,我们讨论了信息论在实际生活中的应用,例如数据压缩、加密和error-correcting codes。这些技术都基于信息论的基本概念,并且在我们日常生活中发挥着重要的作用。 本章讨论了信息论的基本概念和应用,...
综上所述,信息论在沥青砼实验数据处理中的应用,说明了信息论不仅在通信领域有广泛应用,在数据分析和科学实验中同样具有重要的价值。通过信息论的方法,可以更深入地理解和处理实验数据,为科学研究提供更加精确的...