诺亚方舟实验室李航：深度学习还局限在复杂的模式识别上

1顶
0踩

2015-07-08 14:56 by 副主编 mengyidan1988 评论(0) 有5119人浏览

数据挖掘华为

声明：ITeye资讯文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

华为技术有限公司诺亚方舟实验室主任李航认为，机器学习、数据挖掘和人工智能的研究，对华为未来的智能通信网络、智能企业管理、智能信息助手三个应用方向很有帮助，比如机器学习对SDN的控制能力、网络优化、人机交互、跨国交流等，都可以发挥很大的作用。

诺亚方舟实验室已经将采用深度学习（DL）提升自然语言处理（NLP）的能力（DL4NLP）作为一个研究重点，包括自然语言对话（包括知识问答）、机器翻译和图片搜索，实现以往的自然语言处理技术无法达到的效果。

李航认为，深度学习时代的到来是统计学习发展的必然趋势，今后若干年里深度学习还将是研究的热点，会有很多新技术开发出来，利用深度学习的应用也会有革命性的进步。尽管深度学习目前还停留在“复杂的模式识别（pattern recognition）”层面上，但它仍是最有效的方法，会极大推动人工智能的进步。

“如果把实现人工智能的理想比喻为登月，那么有些方法看起来好像是在爬树、在登山，基本不可行，而深度学习的方法好像是在做火箭，它至少能把我们带出地球大气圈，虽然可能还不能达到登月的目的。”他说。

李航还透露，诺亚方舟实验室在开发一个GPU、CPU与FPGA的异构深度学习平台。详情敬请期待后续报道。
李航采访实录

CSDN：诺亚实验室目前在ML/DL领域主要有哪些研究方向？具体的应用场景是什么？

李航：诺亚方舟实验室的研究领域是机器学习、数据挖掘、人工智能。我们特别聚焦在几大研究方向，包括深度学习、强化学习、流数据挖掘、图数据挖掘、时空数据挖掘、语音和语言处理、信息与知识管理。

我们的研究由三大应用牵引：智能通信网络、智能企业管理、智能信息助手，目标是为华为的未来发展做出重大贡献。华为的主要产品是通信设备、数据中心、智能手机；我们坚信大数据分析、人工智能能够使这些产品更加智能化，为用户提供全新的、更好的体验，实现跨越式的发展和进步。

智能通信网络包括SDN、网络规划与网络优化、网络维护三方面。SDN（Software Defined Networks）是未来网络的发展方向，其基本想法是将通信网络中的软件硬件剥离，将网络当作一个巨大的计算机来运行；用数据驱动、机器学习的方法帮助提升SDN的控制能力是很自然的选择，会极大提升网络的性能与效率。通信网络也看作是一个超大的图（graph），当中有大量数据在流动，怎样对网络的性能进行规划和优化是网络建设中的大问题；而数据驱动、机器学习的方法会帮助做出最优的选择。通信网络需要许多工程师维护，保证线路的畅通与高质量的通信实施，如何帮助工程师们迅速排除网络故障是通信领域的一个大问题；机器学习、人工智能技术可以帮助工程师做网络质量的预测，故障的自动诊断及自动排除。

智能企业管理也是个重要方向。对每个企业来说，客户、产品、员工都是其宝贵财富，而围绕着这些实体现在有大量的数据积累下来，如何利用这些大数据，做有效的客户关系管理、供应链管理、人力资源管理，对每个企业来说都是至关重要的，因为可以极大地提升企业的效益，企业的竞争力。从另一个角度看，企业中的知识、信息在运营中也以大数据的形式积累下来，包括结构化的数据和非结构化的数据，对每个企业来说这都是宝贵的资源，如何有效地利用这些信息与知识，挖掘更多的知识，构成了一个巨大的挑战，也提供了一个巨大的机会。还有，帮助员工之间、客户与企业之间提高交流的效率，继而提高企业的效益与竞争力，也是一个重要的问题，如像在华为这样的跨国公司，需要帮助员工克服语言障碍进行顺畅的交流。数据挖掘、机器学习等是帮助解决所有这些问题的最佳手段。

我们预见智能手机将会成为我们每个人的智能信息助手，提供信息推荐、信息抽取、信息管理、信息检索与问答、机器翻译、自然语言对话等几方面的功能。我们处在信息爆炸的时代，信息助手可以将外部的信息进行过滤把最有用的信息推荐给用户；用户与不同的人、物进行交流，信息助手可以将这其中的重要信息进行抽取；个人的信息也处于泛滥状态，如有大量的照片，信息助手可以帮助用户有效地管理个人信息；用户时常会遇到问题，信息助手可以帮助解答问题，访问信息；地球变得越来越小，用户需要与讲各种语言的人进行交流，信息助手可以给用户做翻译，克服语言障碍；作为一个贴心的“伙伴”，信息助手可以自如地用自然语言与用户交流。毫无疑问，智能信息助手需要先进的机器学习、人工智能技术构建。

CSDN：诺亚方舟实验室用DL做机器翻译获得了不错的效果，您认为其中的决定性因素是什么？您如何看到DL在NLP方面的潜力，是否会完全取代传统算法？

李航：用深度学习提高自然语言处理的能力是我们深度学习研究的一个重点，我们称之为Deep Learning for Natural Language Processing（DL4NLP），最近取得了不少的成果，可以说在业界处于领先地位。在DL4NLP中，我们主要考虑三个应用，自然语言对话（包括知识问答）、机器翻译、图片搜索。这里我想介绍一下前两个。

深度学习最近三、四年有了长足的发展，“深度强化学习”、“神经图灵机”等许多新的概念被提出。深度学习已不局限于模式识别，如图像识别、语音识别等，事实上已扩展到语言处理、知识利用、逻辑推理、自动控制等其他任务上。特别是基于深度学习的自然语言处理是当前深度学习研究的一个热点，诺亚实验室也希望自己在这方面做出重大贡献。

我们应该是用深度学习做自然语言对话最早的团队。自然语言对话包括单轮与多轮的，方法分基于检索的和基于生成的；可以认为，传统的自动问答系统属于单轮的、基于检索的特殊对话系统。我们在NTCIR组织了一个比赛，聚焦在中文、日文的单轮对话上，大家感兴趣的话可以参加。

我们用深度学习开发了几个模型做自然语言对话，包括单轮和多轮的，检索和生成的。这里介绍一下将在今年的自然语言处理顶会ACL发表的一篇论文。这个工作中我们开发了神经应答机（Neural Responding Machine），是一个单轮的对话系统，基于RNN(Recurrent Neural Network)模型，用编码器将问句转换成中间表示，再用解码器将中间表示转换成回答。用500万对话数据训练的该系统可以达到非常好的对话效果，自然回答的比率占70%以上。比如你说：“我想买一部三星手机”，系统回答：“还是支持一下国产的吧”。注意系统的回答是它看了许多对话的例子后自动生成的，而不是延用对话数据中已有的回答。系统能达到这种“智能”水平，确实让人惊叹。纯粹用数据驱动的方法建立起对话系统，以往的自然语言处理技术基本做不到，可以说深度学习给自然语言对话带来的技术进步是革命性的。

机器翻译经历了基于规则的和基于统计模型的两代技术，大家现在努力尝试用深度学习提高翻译的精度。有两种想法，一个是将深度模型集成到已有的统计翻译模型的框架中，比如BBN公司提出的方法就属于这类。另一个是彻底推翻传统的统计翻译模型，完全使用深度学习进行机器翻译，实现下一代技术。大家现在关心的是后者是否可以真正成为现实；事实上，在这方面谷歌、蒙特利尔大学各自提出了不同的模型，取得了重大的进展，受到广泛关注。

诺亚实验室在机器翻译方面的研究，采用两路齐头并进的策略，因为有许多问题需要探索，一方面研究完全基于深度学习的方法，另一方面也研究深度学习与传统模型融合的方法。我们也在与计算所、哈工大深研院合作。你提到的我们的机器翻译工作，都属于后者，有两篇今年的ACL论文。其中我们利用CNN（Convolutional Neural Network）改进了统计翻译模型中的翻译模型、语言模型，BLEU分数整体有两个点的提高，翻译模型胜过BBN模型。我们还在探索到底什么样的方法能对机器翻译带来巨大的进步。细节大家可以参照相关的CSDN报道。

我们目前为止的DL4NLP的工作，重点放在了句子的语义表示学习上，考虑用CNN或RNN模型在对话、翻译等问题中的应用。我们提出了一系列的模型，这些模型，以及业界已有的模型，到底在什么条件下工作得更好，还需要今后的研究去验证。我们DL4NLP的研究，今后会朝几个方向推动，考虑的还是以上的应用，但会把方法做得更深入，具体地关注以下问题：更复杂的深度模型（如多轮对话模型），深度模型与知识的融合，外部记忆的增强，深度学习与推理的结合等等。这些方向还有许多有意思的问题值得去探索。

CSDN：能否介绍诺亚搭建深度学习系统的过程，采用了哪些工具？为什么如此选择？

李航：诺亚实验室深度学习的研究主要是用GPU集群。我们也在开发一个深度学习的平台，是一个GPU、CPU与FPGA的异构平台。关于我们的深度学习平台，我们近期会有一些详细介绍。

CSDN：您在之前的访谈中谈到ML还需要提高学习能力，做到触类旁通、无师自通，您认为目前的挑战在哪里？技术路线上应当如何一步一步地实现这种能力？

李航：统计学习是现在机器学习的主流，大家也看到了它在许许多多应用中的成功案例。特别是现在处于大数据时代，又赶上人工智能的热潮，大家对机器学习技术的期待达到了空前的高度。但是我们应该清楚地认识到统计学习比起人的学习能力还有很多局限。比如，人的举一反三、触类旁通、无师自通的学习能力是现在的统计学习所远远不能达到的。当然，统计学习也有一些人不具备的学习能力，如大规模计算（对应着思考）、大规模存储（对应着记忆）。

深度学习其实是统计学习的一部分，或者说一个分支，其特点是复杂模型（复杂神经网络）的统计学习。深度学习时代的到来这也可以说是统计学习发展的必然趋势，因为现在数据更多了，计算机能力更强了，简单的问题用简单的方法已解决得差不多了。可以预见今后若干年里深度学习还将是研究的热点，会有很多新技术开发出来，利用深度学习的应用也会有革命性的进步。

但是，我们也应该看到，深度学习，至少是目前为止的深度学习，还是停留在“复杂的模式识别（pattern recognition）”层面上，我们有时感到它很智能，如上述的自然语言对话，但是它还只是总结并记忆住了复杂的模式，给出看似非常智能的结果。虽然我们上面说到，深度学习已扩展到推理、控制等任务，但目前为止的方法也还是局限在复杂模式识别的范围内。只是它学到的模式太复杂了，已超出了我们直观想象范围，我们感到很了不起。

Hinton、LeCun、Bengio三人最近在Science杂志上发表了题为“Deep Learning”的论文，他们预见非监督学习、语言处理、逻辑推理将是深度学习的重要发展方向。CSDN上也刊登了译文，大家可以参考。

今后的机器学习、深度学习会发展到什么水平，我们现在还看不太清楚，但有一点我们是深信不疑的，那就是它会极大地推动人工智能的进步。沿着这条路到底能走多远，是我们想知道的，也是让我们感到兴奋的。如果把实现人工智能的理想比喻为登月，那么有些方法看起来好像是在爬树、在登山，基本不可行，而深度学习的方法好像是在做火箭，它至少能把我们带出地球大气圈，虽然可能还不能达到登月的目的。

CSDN：对于机器学习的入门和进阶，您有哪些好的建议？

李航：机器学习的本质是“数学化的数据学”。所以，对机器学习技术的掌握，首先需要有好的数学基础，拥有足够的概率统计、计算理论、信息理论的知识；其次需要对数据处理有丰富的经验，经历足够多的开发、实验、观察。因为机器学习涉及的面非常广，所以需要一步一步地积累，不断地学习与钻研，这对初学者与专业人员都是一样的。我也是在这样鞭策自己。

机器学习的入门教材，我觉得最好的是Andrew Ng的机器学习讲座，他讲得确实很好，把重要的、基本的概念全部覆盖了，而且内容准确与清晰。中文的教材，据说周志华老师将出版一本入门的书，大家可以期待。

我写的《统计学习方法》并不是针对初学者的，目的是把最基本最核心的概念整理出来，让大家可以随时学习、参考，特别是对做应用的人。是工具书的定位，对有一定基础的人来说，可以成为入门书，但不适合所有人。

我自己经常参考的，统计学方面Hastie、Tibshirani 、Friedman的书，机器学习方面Bishop的书，信息理论是Cover与Thomas的书，都是领域的权威。机器学习领域太广，不太可能有一本书满足所有人的需求，大家可以根据自己的情况，有选择地学习。另外，现在网上有大量的学习资料，论文、书籍、代码、讲座、博客，大家都可以去有效地利用。

李航简介

华为技术有限公司诺亚方舟实验室主任，北京大学、南京大学兼职教授

日本京都大学电气电子工程系毕业，日本东京大学获得计算机科学博士学位。曾就职于日本NEC公司中央研究所，任研究员，以及微软亚洲研究院，任高级研究员与主任研究员。李航博士的研究方向包括信息检索，自然语言处理，统计机器学习，及数据挖掘。一直活跃在相关学术领域，曽出版过三部学术专著，并在顶级国际学术会议和国际学术期刊上发表过上百篇学术论文，拥有40项授权美国专利。

查看图片附件

来自: CSDN

分享到：

1
顶

0
踩

评论共 0 条请登录后发表评论

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

李航：深度学习还局限在复杂的模式识别上

华为技术有限公司诺亚方舟实验室主任李航认为，机器学习、数据挖掘和人工智能的研究，对华为未来的智能通信网络、智能企业管理、智能信息助手三个应用方向很有帮助，...诺亚方舟实验室已经将采用深度学习（DL）提升

华为诺亚方舟实验室主任李航：迎接自然语言处理新时代

作者简介：李航，华为技术有限公司诺亚方舟实验室主任。主要研究方向为信息检索、自然语言处理、机器学习等。本文经李航博士授权发布，未经作者允许不得转载。欢迎人工智能领域技术投稿、约稿、给文章纠错，请...

华为诺亚方舟实验室主任李航：神经符号处理开启自然语言处理新篇章

华为诺亚方舟实验室主任李航：神经符号处理开启自然语言处理新篇章本文作者：王金许 2017-07-26 19:29 导语：深度学习（神经处理）给自然语言处理带来了革命性的进步，基于深度学习的...

四位顶级AI大牛纵论：深度学习和大数据结合的红利还能持续多久？

然而深度学习并不是万能的，那么它的局限性在哪里？当遇到天花板时又该如何呢？ 4月8日，在 ADL 第78期“深度学习：从算法到应用”的 Panel 环节，四位顶级 AI 学术大牛同台纵论驱动这一轮 AI...

华为李航：NLP 有 5 个基本问题，深度学习有4个做得很好

对于自然语言理解，有两种...其本质原因是语言是一种复杂的现象。自然语言有5个重要特点，使得计算机实现自然语言处理很困难：语言是不完全有规律的，规律是错综复杂的。有一定的规律，也有很多例外。因为语言是

【AI技术生态论】字节跳动李航：自学机器学习，研究AI三十载，AI发展或进入平缓期

先后在 NEC 公司中央研究所、微软亚洲研究院、华为诺亚方舟实验室从事和领导 AI 技术研发，现任字节跳动人工智能实验室总监的李航，就是一位 AI 技术的坚实研究者和实践者。在字节跳动的一间会议室，笔者第一次...

字节跳动李航：自学机器学习，研究AI三十载，他说AI发展或进入平缓期

作者 | 夕颜出品 | AI科技大本营（ID:rgznai100）【导读】一阵凉风吹过人工智能，让这个曾是燥热的领域逐渐冷却下来，留下的是扎实地在做研究的人、机构、企业。...

字节跳动 AI Lab 总监李航：语言模型的过去、现在和未来

作者 | 李航编译 | 李梅、黄楠编辑 | 陈彩娴转自：AI科技评论从俄国数学家 Andrey Markov （安德烈·马尔可夫）提出著名的「马尔科夫链」以来，语言建模的研究已经有了 100 多年的历史。近年来，自然语言处理（NLP）...

李航：未来若干年，AI 技术发展可能会进入平缓期

来源：CSDN本文约8000字，建议阅读15分钟。人工智能的未来又将如何呢？一阵凉风吹过人工智能，让这个曾是燥热的领域逐渐冷却下来，留下的是扎实地在做研究的人、机构、企业...

深度学习

诺亚方舟实验室李航：深度学习还局限在复杂的模式识别上李航关于机器学习的入门和进阶的建议机器学习的本质是“数学化的数据学”。所以，对机器学习技术的掌握，首先需要有好的数学基础，拥有足够的概率统计、...

华为李航 NLP 有 5 个基本问题，深度学习有4个做得很好

深度学习如何入门？

beanfrog ，computer vision ...神经网络肯定是要学习的，主要是BP算法，可以看看PRML3、4、5三章，可先忽略其中的贝叶斯视角的解释。一些主要的算法理解要看具体的论文了，有个Matlab的程序不错，有基本算法的实

2024-2030全球与中国硅胶婴儿用品市场现状及未来发展趋势 Sample-Li Jinpan.pdf

QYResearch是全球知名的大型咨询公司，行业涵盖各高科技行业产业链细分市场，横跨如半导体产业链（半导体设备及零部件、半导体材料、集成电路、制造、封测、分立器件、传感器、光电器件）、光伏产业链（设备、硅料/硅片、电池片、组件、辅料支架、逆变器、电站终端）、新能源汽车产业链（动力电池及材料、电驱电控、汽车半导体/电子、整车、充电桩）、通信产业链（通信系统设备、终端设备、电子元器件、射频前端、光模块、4G/5G/6G、宽带、IoT、数字经济、AI）、先进材料产业链（金属材料、高分子材料、陶瓷材料、纳米材料等）、机械制造产业链（数控机床、工程机械、电气机械、3C自动化、工业机器人、激光、工控、无人机）、食品药品、医疗器械、农业等。

用于非线性模型预测控制 (NMPC) 的并行优化工具包.7z

Flow-Guided-Feature-Aggregation研究基于视频的目标检测FGFA框架.zip

目标检测（Object Detection）是计算机视觉领域的一个核心问题，其主要任务是找出图像中所有感兴趣的目标（物体），并确定它们的类别和位置。以下是对目标检测的详细阐述：一、基本概念目标检测的任务是解决“在哪里？是什么？”的问题，即定位出图像中目标的位置并识别出目标的类别。由于各类物体具有不同的外观、形状和姿态，加上成像时光照、遮挡等因素的干扰，目标检测一直是计算机视觉领域最具挑战性的任务之一。二、核心问题目标检测涉及以下几个核心问题：分类问题：判断图像中的目标属于哪个类别。定位问题：确定目标在图像中的具体位置。大小问题：目标可能具有不同的大小。形状问题：目标可能具有不同的形状。三、算法分类基于深度学习的目标检测算法主要分为两大类： Two-stage算法：先进行区域生成（Region Proposal），生成有可能包含待检物体的预选框（Region Proposal），再通过卷积神经网络进行样本分类。常见的Two-stage算法包括R-CNN、Fast R-CNN、Faster R-CNN等。 One-stage算法：不用生成区域提议，直接在网络中提取特征来预测物体分类和位置。常见的One-stage算法包括YOLO系列（YOLOv1、YOLOv2、YOLOv3、YOLOv4、YOLOv5等）、SSD和RetinaNet等。四、算法原理以YOLO系列为例，YOLO将目标检测视为回归问题，将输入图像一次性划分为多个区域，直接在输出层预测边界框和类别概率。YOLO采用卷积网络来提取特征，使用全连接层来得到预测值。其网络结构通常包含多个卷积层和全连接层，通过卷积层提取图像特征，通过全连接层输出预测结果。五、应用领域目标检测技术已经广泛应用于各个领域，为人们的生活带来了极大的便利。以下是一些主要的应用领域：安全监控：在商场、银行

习题集计算机原理习题集

【习题集】计算机原理习题集计算机原理习题集习题一 1．微型计算机的发展经历了哪几个时代？每个时代有哪些主要特点？ 2．简述Pentium4 微处理器的处理能力。 3．冯·诺依曼计算机的结构特点是什么？ 4．典型微机有哪三大总线？它们传送的是什么信息？ 5．什么叫微处理器？什么叫微型计算机？什么叫微型计算机系统？这三者有什么区别和联系？ 6．微处理器内部一般由哪些部分组成？各部分的主要功能是什么？ 7．试用示意图说明内存单元的地址和内存单元的内容，二者有何联系和区别？ 8．高级语言、汇编语言、机器语言有何区别？各有何特点？ 9．评价微型计算机性能的主要指标有哪些？试举例说明现在市场主流机型微型计算机的性能参数。 10．现代微型计算机的主板通常由哪些部分组成？主板上的总线扩展插槽有何用途？习题二 1．8086CPU从功能上分为哪两个工作部件？每个工作部件的功能、组成和特点分别是什么？ 2．8086CPU中有几个通用寄存器，有几个变址寄存器，有几个地址指针寄存器？它们中通常哪几个寄存器可作为地址寄存器使用？ 3．8086CPU的标志寄存器中有哪些标志位？它们的含义和作用是什么？

基于Spring Boot框架的尚融宝网络借贷平台.zip

基于Spring Boot框架的尚融宝网络借贷平台项目介绍尚融宝是一个网络借贷信息中介服务平台，致力为高成长人群提供专业的线上信贷及出借撮合服务。行业案例包括人人贷、拍拍贷等。技术架构前端 Node.js: Js运行环境 ES6: Js模块化版本 Axios: Ajax请求工具 Vue.js: 前端框架 ElementUI: 前端组件库 Vueelementadmin: 后台管理系统UI集成方案 NuxtJS: 前端服务器后端 SpringBoot: 微服务开发框架 SpringCloud: 微服务组件库 SpringCloud Alibaba: 阿里微服务组件库 MyBatis Plus: 持久层框架 Swagger2: API接口文档生成工具 LogBack: 日志系统 alibabaeasyExcel: Excel读写框架 Redis: 缓存中间件 MySQL: 关系型数据库 SpringTask: 定时任务 RabbitMQ: 消息中间件项目结构前端 srbadmin: 管理平台 srbsi

基于改进YOLOv5检测脑瘤

mdpi的一篇文章，文章内容是关于结合NLNN和YOLOv5对脑肿瘤进行检测（是检测不是分类也不是分割）的一篇文章，文章里面说清楚了数据集的来源以及如何处理的，可以大致看一看，了解下相关背景以及如何用YOLO检测脑瘤的文章的写法，另外NLNN这个点也有些创意，有点像简化版自注意力机制，可以找找相关代码看看

1顶0踩