【知识库专访】阿里孙佰贵：深度学习十问十答

1顶
0踩

2016-10-19 10:10 by 副主编 mengyidan1988 评论(0) 有7778人浏览

深度学习

声明：ITeye资讯文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

【编者按】深度学习，作为人工智能研究中一个新的领域，其动机在于建立可以模拟人脑进行去分析学习，模仿人脑的逻辑去解释数据的神经网络。为了帮助大家能够更加系统化的学习该门课程，知识库特邀请了CSDN社区专家、知识库特邀编辑孙佰贵精心绘制了深度学习知识图谱。

点击进入深度学习知识库

与此同时，我们还采访了孙佰贵（博客地址：http://blog.csdn.net/sunbaigui）老师，分享他是如何与深度学习结缘以及技术层面的理解与思考。

孙佰贵

CSDN：请先简单地介绍一下自己。

孙佰贵：我叫孙佰贵，本科毕业于宁波大学，本科期间曾参加ACM编程竞赛取得最好成绩是省赛银奖，地区赛铜奖。
硕士毕业于浙大CAD&CG国家重点实验室，硕士期间主要研究方向是计算机视觉（图像分割、视频分割、视频2D转3D）。
硕士毕业后来到阿里巴巴工作至今，主要研究和应用方向为深度学习，包括图像分类、图像搜索、广告点击率预测，曾发表一篇ACMMM长文，论文地址http://arxiv.org/abs/1609.06018。在本科大一做ACM编程竞赛开始就坚持着写博客，在csdn上已经陆续写了7、8年。

CSDN：能否分享一下，你是如何与深度学习结缘，并从事这个领域的。

孙佰贵：在本科大三的时候接触到人工智能课程，对里面的手写数字识别尤其感兴趣，当时手写数字识别是用BP（深度学习的基石）网络去做，感觉非常酷。于是打算考研进修，因为觉得人机交互是人工智能普及的必经之路，所以读研期间选择了计算机视觉。

刚入职阿里巴巴工作时也找了图像方向的岗位，当时进到组里的时候，我对组里的各个业务方向还有技术方向都详细研究了下，由于我对人工智能一直有强烈的兴趣所以就选择了当时组里比较新的深度学习方向，然后我当时就成了阿里第二批做深度学习的人，第一批做的人很少，大概就几个，我师兄就是其中一个。

CSDN：在深度学习领域，目前有很多开源的工具和库，开发者该如何选择适合他们的深度学习框架？

孙佰贵：通常一聊到开源，大家首先会看这个开源代码写的性能是否足够好，代码风格是否足够好，支持的特性是否特别前沿。但是往往以上几点都有可能成为误区，一个真正好的开源是要有足够大的开发者人气的，并且它必须是易扩展的，然后还要是易移植的，其实只要有前两点，那这个开源库是一定会不停的更新，这点非常重要，很多开源一时热，但没有开发者基础，往往很容易就冷掉了。

好的开源也要是易移植的，因为工业上用开源的话，一般都会用到线上，这就要求这个开源必须是非常容易移植的，caffe在工业界比较受欢迎。

以上都是基于工业上的需求去选的，一般做学术的话可能会更加要求少量编程，所以一般theano，torch在学术界很受欢迎。

CSDN：如何利用高性能计算加速深度学习算法？

孙佰贵：现在深度学习的加速也是一个非常火热的研究方向，在硬件方面一般采用FPGA或者GPU进行加速，在算法方面一般采用并行计算去加速。

CSDN：目前Intel和Nvidia两家都砸重金押注深度学习，并在处理器、软件栈、生态建设等展开全方位布局，您对此有何评价？

孙佰贵：从商业上来讲，当前这两家在处理器、软件栈、生态建设等方面的布局其实可以看做是一个问题，那就是要卖处理器。早前，Intel专注于CPU，Nvidia专注于GPU分工比较明确，最早Intel在GPU领域有集成显卡，一般情况下也能满足个人的需求，所以导致Nvidia的市场份额一直都不大。近几年工业界在深度学习方面的突飞猛进式的研究与业务拓展，迎来了GPU的高需求期，Nvidia凭借其在GPU独立显卡领域的优势迅速提升了其销售额，也使得Nvidia的市值在最近提升了很多。

从深度学习生态上来讲，Intel在深度学习上的发力，使得工业界之后有更多的选择，也能加速深度学习硬件层面上的突破式创新，对于开发者来讲多了一种选择，这无疑是一种福音。

CSDN：从工程应用角度，您认为一个深度学习平台的易用性和效率哪方面更重要？

孙佰贵：这两者缺一不可，线上的性能效率往往直接决定了该应用能不能上线；然而易用性往往决定了迭代速度；在互联网里，应用的迭代速度与效率都非常重要。

CSDN：目前Google，微软，Facebook，百度分别开源了自己的深度学习平台，形成百花齐放，百家争鸣的局面，您认为哪个更适合初学者，哪个更适合生产部署？

孙佰贵：这三家公司开源的深度学习平台，都带有一些局限性，有些门槛太高，有些专注于某个特定领域，我认为最适合初学者的还是非商业公司的开源，比如caffe，torch等。

从易部署角度来讲，Google的TF比较好。

CSDN：阿里哪些典型业务使用了深度学习，其有效性体现在哪些方面？

孙佰贵：阿里有很多语音，图像，视频相关的都使用了深度学习，有效性在于深度学习在这些方向上的效果都远高于传统算法，这些方向能放大深度学习擅长特征表达学习的优势，因为原先在这些方向上特征的抽取往往都是人工制定的，人工制定的特征存在一个问题，那就是它并不是适用于所有的数据场景的，深度学习可以在任一一个数据场景中学习出专属于这个数据集的特征描述，这是深度学习的优势所在。

CSDN：深度学习理论方面有哪些由于当前技术水平限制还不能用于工程实现？

孙佰贵：由于深度学习强依赖于硬件、集群、大数据，这使得深度学习是少数的工业界成果不输于学术界成果的领域。深度学习是一个重实践的领域，一般情况下，深度学习理论都是在实验上验证过而沉淀下来的，所以往往是先由工程后有理论。

CSDN：技术路线方面，对于DL的入门和进阶，您有什么建议？我们上线了知识库系统化学习的方法，您会怎样应用？

孙佰贵：DL入门的话一般挑一些权威的survey或者书籍，如下作者写的一些资料比较权威：Yoshua Bengio、Geoffrey Hinton、Yann LeCun、Andrew Ng，然后挑一个开源跟着教程去跑例子，比较推荐torch、theano、caffe。

DL进阶的话一定要选择一个开源去做详细的代码解读，比较推荐caffe，然后再去了解各种深度学习相关的领域以及竞赛，再就是一定要去arxiv网站上定期查看DL的相关文章，了解DL最新研究状况与动态。

技术学习一般都是由点及面，上线的知识库可能会很大，除了了解该技术全面的知识点外，还需要挑这里面的某个细分领域去做仔细的研究与学习=>>进入深度学习知识库

推荐阅读：

更多内容请关注CSDN知识库。该产品汇集了领域专家们精心绘制的各重点技术领域的知识图谱，及由特邀编辑（领域专家）从海量数据中层层筛选出的精华内容和资源（学习视频、实践Demo、图书）。知识图谱可以帮助开发者全局把控该技术领域，而精选内容更能让开发者从技术细节加深了解该领域的每个核心技术点。扫描以下二维码，获取更多CSDN知识库内容。