作者题记: 没有你,我永远也不可能知道语言还能被机器处理。
语音和语言处理大师——Fred Jelinek
转载 《数学之美 系列八-- 贾里尼克的故事和现代语言处理》
作者:Google 研究员,吴军
弗莱德里克.贾里尼克(Fred Jelinek)出生于捷克一个富有的犹太家庭。他的父母原本打算送他去英国的公学(私立学校)读书。为了教他德语,还专门请的一位德国的家庭女教师,但是第二次世界大战完全打碎了他们的梦想。他们先是被从家中赶了出去,流浪到布拉格。他的父亲死在了集中营,弗莱德自己成天在街上玩耍,完全荒废了学业。二战后,当他再度回到学校时,他的成绩一塌糊涂, 全部是 D,但是很快他就赶上了班上的同学。不过,他在小学时从来没有得过 A。1949年,他的母亲带领全家移民美国。在美国,贾里尼克一家生活非常贫困,全家基本是靠母亲做点心卖钱为生,弗莱德自己十四五岁就进工厂打工补助全家。
贾里尼克最初想成为一个律师,为他父亲那样的冤屈者辩护,但他很快意识到他那浓厚的外国口音将使他在法庭上的辩护很吃力。贾里尼克的第二个理想是成为医生,他想进哈佛大学医学院,但经济上他无法承担医学院 8 年高昂的学费。与此同时麻省理工学院给于了他一份(为东欧移民设的)全额奖学金。贾里尼克决定到麻省理工学电机工程。在那里,他遇到了信息论的鼻祖香农博士,和语言学大师贾格布森 Roman Jakobson (他提出了著名的通信六功能)[注释一],后来贾里尼克又陪着太太听最伟大的语言学家乔姆斯基(Noam Chomsky)的课。这三位大师对贾里尼克今后的研究方向--利用信息论解决语言问题产生的重要影响。
贾里尼克从麻省理工获得博士学位后,在哈佛大学教了一年书,然后到康乃尔大学任教。他之所以选择康乃尔大学,是因为找工作时和那里的一位语言学家谈得颇为投机。当时那位教授表示愿意和贾里尼克在利用信息论解决语言问题上合作。但是,等贾里尼克到康乃尔以后,那位教授表示对语言学在没有兴趣而转向写歌剧了。贾里尼克对语言学家的坏印象从此开始。加上后来他在 IBM 时发现语言学家们嘴上头头是道,干起活来高不成低不就,对语言学家从此深恶痛绝。他甚至说:"我每开除一名语言学家,我的语音识别系统错误率就降低一个百分点。" 这句话后来在业界广为流传,为每一个搞语音识别和语言处理的人所熟知。
贾里尼克在康乃尔十年磨一剑,潜心研究信息论,终于悟出了自然语言处理的真谛。1972年,贾里尼克到IBM华生实验室(IBM T.G.Watson Labs)做学术休假,无意中领导了语音识别实验室,两年后他在康乃尔和IBM之间选择了留在IBM。在那里,贾里尼克组建了阵容空前绝后强大的研究队伍,其中包括他的著名搭档波尔(Bahl),著名的语音识别 Dragon 公司的创始人贝克夫妇,解决最大熵迭代算法的达拉皮垂(Della Pietra)孪生兄弟,BCJR 算法的另外两个共同提出者库克(Cocke)和拉维夫(Raviv),以及第一个提出机器翻译统计模型的布朗。
七十年代的 IBM 有点像九十年代的微软和今天的 Google, 给于杰出科学家作任何有兴趣研究的自由。在那种宽松的环境里,贾里尼克等人提出了统计语音识别的框架结构。在贾里尼克以前,科学家们把语音识别问题当作人工智能问题和模式匹配问题。而贾里尼克把它当成通信问题,并用两个隐含马尔可夫模型(声学模型和语言模型)把语音识别概括得清清楚楚。这个框架结构对至今的语音和语言处理有着深远的影响,它从根本上使得语音识别有实用的可能。贾里尼克本人后来也因此当选美国工程院院士。
贾里尼克和波尔,库克以及拉维夫对人类的另一大贡献是 BCJR 算法,这是今天数字通信中应用的最广的两个算法之一(另一个是维特比算法)。有趣的是,这个算法发明了二十年后,才得以广泛应用。IBM 于是把它列为了 IBM 有史以来对人类最大贡献之一,并贴在加州 Amaden 实现室墙上。遗憾的是 BCJR 四个人已经全部离开 IBM,有一次IBM 的通信部门需要用这个算法,还得从斯坦福大学请一位专家去讲解,这位专家看到 IBM 橱窗里的成就榜,感慨万分。
贾里尼克和 IBM 一批最杰出的科学家在九十年代初离开了 IBM,他们大多数在华尔街取得了巨大的成功。贾里尼克的书生气很浓,于是去约翰霍普金斯大学建立了世界著名的 CLSP 实验室。每年夏天,贾里尼克邀请世界上 20-30 名顶级的科学家和学生到 CLSP 一起工作,使得 CLSP 成为世界上语音和语言处理的中心之一。
贾里尼克治学极为严谨,对学生要求也极严。他淘汰学生的比例极高,即使留下来的,毕业时间也极长。但是,另一方面,贾里尼克也千方百计利用自己的影响力为学生的学习和事业创造方便。贾里尼克为组里的每一位学生提供从进组第一天到离开组最后一天全部的学费和生活费。他还为每一位学生联系实习机会,并保证每位学生在博士生阶段至少在大公司实习一次。从他那里拿到博士学位的学生,全部任职于著名实验室,比如IBM, 微软,AT&T 和 Google 的实验室。为了提高外国人的英语水平,贾里尼克用自己的经费为他们请私人英语教师。
贾里尼克生活俭朴,一辆老式丰田车开了二十多年,比组里学生的车都破。他每年都邀请组里的学生和教授到家里做客,很多毕业了的学生也专程赶来聚会。在那里,他不再谈论学术问题,而会谈些巩俐的电影(他太太是哥伦比亚大学电影专业的教授),或是某著名教授被拉斯韦加斯的赌馆定为不受欢迎的人等等。但是他聚会的食物实在难吃,无非是些生胡萝卜和芹菜。后来贾里尼克掏钱让系里另一个教授承办聚会,那个教授每次请专业大厨在家作出极丰盛的晚宴,并准备许多美酒,从此这种聚会就转移到那个教授家了。
除了巩俐的电影,贾里尼克对中国的了解就是清华大学和青岛啤酒了。他有时会把两个名字搞混,有两次被香港科技大学的 Pascale 冯教授抓住。
贾里尼克说话心直口快,不留余地。在他面前谈论学术一定要十分严谨,否则很容易被他抓住辫子。除了刚才提到的对语言学家略有偏见的评论,他对许多世界级的大师都有过很多“刻薄”但又实事求是的评论,这些评论在业界广为流传。贾里尼克在四十多年的学术生涯中居然没有得罪太多的人 ,可以说是一个奇迹。
分享到:
相关推荐
统计语言模型的提出者之一是语音和语言处理的大师贾里尼克(Fred Jelinek)。他在IBM公司工作期间,利用大型计算机处理人类语言问题,并于1990年代初提出了统计语言模型。此后,李开复在语音识别领域进一步验证了...
首先成功利用数学方法解决自然语言处理问题的是语音和语言处理大师贾里尼克 (Fred Jelinek),当时贾里尼克在IBM公司做学术休假(Sabbatical Leave),领导了 -批杰出的科学家利用大型计算机来处理人类语言问题。...
《Fred Richards C++语言编程风格》是一本专为C++程序员设计的指南,旨在帮助他们理解和实践优秀的编程风格。此书由FRED(可能是作者的名字或一个特定的编程概念)编写,聚焦于C++这一强大的面向对象编程语言,旨在...
FRED Demo版虽然存在一些使用上的限制,但它仍然是一个非常有价值的工具,可以帮助用户初步了解FRED软件的基本操作和功能特点。对于希望深入了解光学设计领域的用户来说,这是一个非常好的起点。通过实践操作,用户...
**FRED光学软件操作手册** **一、FRED软件简介** FRED(Finite Difference, Raytracing and Diffraction)是一款强大的光学设计与分析软件,由美国Optical Research Associates(ORA)公司开发。它集成了有限差分...
FRED(Fast Ray-tracing and Electromagnetic Design)是一款由Optical Research Associates (ORA) 开发的高级光学设计和分析软件,其功能覆盖了从简单的光线追踪到复杂的电磁波模拟,适用于科研、教育和工业领域。...
贾里尼克(Fred Jelinek)是统计语言处理的先驱,他的工作极大地推动了NLP领域的发展,特别是将统计方法引入语言模型和语音识别。贾里尼克的故事激励了一代又一代的研究者,他的贡献被铭记在现代NLP技术中。 #### ...
在电子设计领域,FPGA(Field-Programmable Gate Array)...通过学习这些知识,你将能够理解和使用"FRED"这个程序,将其成功部署到FPGA上,实现预期的等精度测量功能。同时,这也将为你的FPGA设计能力打下坚实的基础。
FRED在此基础上引入了更多的公平性考虑,如动态调整丢包概率,使得在网络拥塞时,对高优先级和低优先级流量的处理更加公平。 在这个压缩包中,"fred.cc"是C++源代码文件,实现了FRED算法的具体逻辑。它会包含FRED的...
标题“Fred”可能指的是一个特定的字体或者设计项目,但基于提供的信息,我们可以深入探讨一下“字体”这一广泛的主题。 字体是文字的视觉表现形式,包括了字母、数字和符号的形状、大小、重量和间距等元素。在IT...
整体来看,《语音识别基本原理》这本书是一本详尽介绍语音识别技术和理论的经典之作,它不仅为学习者提供了深入理解语音识别所需的基本知识,也为该领域的研究和应用提供了宝贵的实践指导和灵感。该书的出版对于促进...
自然语言理解(Natural Language Understanding,简称NLU)是人工智能领域的一个重要分支,它关注如何使计算机能够理解和处理人类使用的自然语言。NLU的目标是让机器不仅能够识别文字或语音中的语义信息,还能够推理...
在MATLAB编程环境中,"fred2read"是一个用于从圣路易斯联邦储备银行(Federal Reserve Economic Data, FRED)的在线数据库下载和处理宏观经济数据的工具。FRED是一个广泛使用的资源,它提供了大量关于美国及全球的经济...
这款工具的强大之处在于其全面的数据恢复解决方案,它能够处理各种类型的硬盘故障、误删除、格式化、分区丢失等常见数据丢失场景。 在数据恢复领域,PowerDataRecovery4.6.5具有以下几个关键知识点: 1. **数据...
宏微“高压大电流NPTIGBT和FRED芯片”达到世界先进水平.pdf
Fred Wu在技术领域的旅程始于1997年,当他得到了自己的第一台电脑——一台Intel Pentium MMX 166Mhz。同年,他开始接触BBS(如上海热线)并通过33.6Kbps的调制解调器上网,这是当时互联网在中国刚刚起步的时期。也...
IGBT(Insulated Gate Bipolar Transistor,绝缘栅双极晶体管)、MOSFET(Metal-Oxide-Semiconductor Field-Effect Transistor,金属氧化物半导体场效应晶体管)和FRED(Fast Recovery Diode,快速恢复二极管)是...