资讯频道 → 互联网
阅读更多

1顶
1踩

互联网

原创新闻 2017年深度学习十大趋势预测

2016-12-15 09:46 by 副主编 mengyidan1988 评论(0) 有6280人浏览
深度学习

声明：ITeye资讯文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

引用

原文：10 Deep Learning Trends and Predictions for 2017
作者：Carlos E. Perez
译者：KK4SBB
欢迎技术投稿、约稿、给文章纠错，请发送邮件至heyc@csdn.net

本文作者曾经多次预测了技术发展的趋势，最近的一次预测是“2011年软件发展的趋势与预测”。10项预言中，准确地命中了6项，比如JavaScript VM、NoSQL、大数据分析、私有云、Scala语言等等。今年，他对深度学习的发展趋势做了一个预测，主要是研究领域的趋势预测，而不是工业界的应用。

以下是作者对2017年度的预测内容。

硬件将加速倍增摩尔定律
作者根据其观察到Nvidia和Intel的发展动态，认为这是显而易见的趋势。由于Nvidia具有完整的深度学习生态系统，它们在整个2017年都将主导占据主导地位。在另一个深度学习生态系统成熟之前，没有人会抛弃Nvidia而追求其它的平台。Intel的Xeon Phi方案中途夭折，预计要到2017年年中才能在性能上追赶上Nvidia，那时基于Nervana的芯片才推向市场。Intel的FPGA方案可能因为成本原因而被云提供商所采纳。降低功耗是头等大事。预计到2017年年中，Intel的Nervana芯片每秒可完成30万亿次浮点运算。作者个人猜测，Nvidia目前已经能够实现每秒20万亿次浮点运算，他打赌Intel在2018年之前不会有太多动作。Intel手中的唯一可能的一张王牌是3D XPoint技术。这将有助于提高整个硬件堆栈，但不一定是提升核心能力。

卷积神经网络（CNN）将会统治而RNNs和LSTM将被淘汰
作者认为CNN模型将成为深度学习系统的主流模型。RNN和LSTM模型及其递归设置和嵌套的记忆节点将越来越少地使用，因为它们无法与CNN所抗衡。就如同GOTO在代码中消失一样，作者希望RNN和LSTM模型也被淘汰。

简单的调参工作将被元学习取代
当作者刚开始接触深度学习时，他认为优化算法，特别是二阶的算法能够有巨大的提升。如今，已经有替我们优化模型的深度学习模型了。我们不在需要费尽心思改进SGD算法了，作者认为重要的一个原因是元学习（meta-learning）能够根据领域自适应地优化学习过程。

可微分记忆网络将更常见
记忆模块将从核心节点中抽取出来，只是作为计算机制的一个独立组件，作者觉得这是一个很自然的结果或者说架构。他认为LSTM的遗忘门、输入门和输出门没有必要，它们可以被辅助的可微分记忆模块所取代。这呼应了作者对CNN模型的预测。

强化学习只会变得更具创造性
对于现实的观察永远是不完美的。我们身边存在着大量SGD无法解决的问题。因此，任何实践性的深度学习系统都必须包含某些形式的强化学习。除此之外，强化学习将会出现在各种深度学习的训练过程中。作者认为强化学习极大地促进了元学习。

对抗与合作学习将成为王牌
在过去，我们的深度学习系统都只有单一的目标函数。今后，作者希望看到两个或两个以上的网络合作或竞争来实现一个最佳的解决方案。参见“博弈论揭示了深度学习的未来”。

转移学习引领产业化
Andrew Ng认为这非常重要，作者也表示赞同！

更多的应用程序将使用深度学习组件
在2016年，我们已经看到深度学习在更大的搜索算法中用作一个功能评价组件。alphago采用深层学习来评估策略。谷歌的Gmail自动回复系统将深度学习与集束搜索(beam search)结合。作者希望看到更多的这类混合算法，而不是新的end-to-end的被训练的DL系统。

更多的采用设计模式
深度学习只是众多需要抽象结构的复杂领域之一。尽管它用到了很多高深的数学知识，仍有很多未经证明和模糊的概念可以借鉴在其它复杂领域已被证明是有效的方法，比如在软件开发领域有效。作者认为人们最终会从深度学习与模式设计中得到启发。

工程将超过理论
作者认为研究人员的背景和他们所使用的数学工具会给他们的研究方法带来偏见。深度学习系统和无监督学习系统等等这些新的东西可能我们从来没有遇到过。因此，他觉得没有证据表明我们的传统分析工具将对解开深度学习的谜团提供任何帮助。几十年来，物理学中大量的动态系统一直困扰着作者，他将此类比于深度学习系统。

然而，尽管我们缺乏了解其本质，但是将不会阻止工程上的应用。作者觉得深度学习几乎就像是生物技术或基因工程。我们已经创建了模拟学习机，我们不知道他们是如何工作的，但是这并没有阻止任何人进行创新。
1
顶
1
踩
评论 共 0 条 请登录后发表评论

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • Eclipse插件系列——SQLExplorer插件的安装和使用

    Eclipse插件系列——SQLExplorer插件的安装和使用

  • Eclipse插件系列——SQLExplorer插件

    原文：... 插件名称： SQLExplorer 插件分类： SQLEditor 插件版本： 2.2.4 插件主页：https://sqlexplorer.dev.java.net/ 下载地址：http://puzzle.dl.sourceforge.net/sourceforge/ec

  • 燃烧的远征java(二)-开发环境：Eclipse插件系列——SQLExplorer插件的安装和使用

    插件名称： SQLExplorer 插件分类： SQL Editor 插件版本： 2.2.4 插件主页：...下载地址：http://puzzle.dl.sourceforge.net/sourceforge/eclipsesql/net.sourceforge.sqlexplorer_2.2.4.zip插件介绍：

  • Eclipse和IntelliJ IDEA常用插件推荐总结——待续

    1.Eclipse 插件关键词：decompiler git IDE eExplorer gitblit maven SCM maven Analyzer java development kit platform m2e 插件： Enhanced Class Decompiler spring IDE eExplorer Java 8 support for m2e ...

  • eclipse plugin -- sqlexplorer

    Eclipse插件系列——SQLExplorer插件的安装和使用 Posted on 2006-07-20 17:28 百花岛主 阅读(3528) 评论(5) 编辑 收藏 所属分类: Eclipse插件基础 <!--...

  • Myeclipse学习总结（4）——Eclipse常用开发插件

    介绍：Eclipse的UML插件，支持UML活动图，class图，sequence图，usecase图等；支持与Javaclass/interface之间的相互导入导出。官方网站：...

  • Eclipse的插件大全

    Eclipse的插件大全 DTD 类型约束文件 1. Window->Preferences->XML->XML Catalog->User Specified Entries窗口中,选择Add 按纽 2.在Add XML Catalog Entry 对话框中选择或输入以下...

  • 最佳eclipse插件-top30

    来自：http://www.ajaxline.com/best-eclipse-plugins  PyDev - Python ...pyDev 使的程序员可以使用eclipse来开发Python、Jython和Iron Python应用，而且Pydev+eclipse也成为开发Python的首选IDE。   Eas

  • Android开发-eclipse插件（工具篇）

    一、 查看Android源码的Eclipse插件 网上能够搜到的Eclipse关联Android源码的方法，基本上都是下载源码，然后关联，或者就是在SDK Manager里面下载源码（还不是所有版本的源码都能下载），其实还有一种很方便的...

  • Eclipse插件大全-top30

    <br /> <br />pyDev 使的程序员可以使用eclipse来开发Python、Jython和Iron Python应用，而且Pydev+eclipse也成为开发Python的首选IDE。   EasyEclipse for LAMP   <br />...

  • eclipse插件

    来自：http://www.ajaxline.com/best-eclipse-plugins PyDev - Python Development Environment for EclipsepyDev 使的程序员可以使用eclipse来开发Python、Jython和Iron Python应用，而且Pydev+eclipse也成为开发...

  • Eclipse插件大全 挑选最牛的TOP30

    原文：http://developer.51cto.com/art/201007/214478.htmEclipse插件大全 挑选最牛的TOP...本文详细为各位介绍了最强的30个Eclipse插件。作者：阿风来源：51CTO翻译|2010-07-28 08:47 收藏 分享【51CTO译文】Ecl...

  • 智慧园区3D可视化解决方案PPT(24页).pptx

    在智慧园区建设的浪潮中，一个集高效、安全、便捷于一体的综合解决方案正逐步成为现代园区管理的标配。这一方案旨在解决传统园区面临的智能化水平低、信息孤岛、管理手段落后等痛点，通过信息化平台与智能硬件的深度融合，为园区带来前所未有的变革。 首先，智慧园区综合解决方案以提升园区整体智能化水平为核心，打破了信息孤岛现象。通过构建统一的智能运营中心（IOC），采用1+N模式，即一个智能运营中心集成多个应用系统，实现了园区内各系统的互联互通与数据共享。IOC运营中心如同园区的“智慧大脑”，利用大数据可视化技术，将园区安防、机电设备运行、车辆通行、人员流动、能源能耗等关键信息实时呈现在拼接巨屏上，管理者可直观掌握园区运行状态，实现科学决策。这种“万物互联”的能力不仅消除了系统间的壁垒，还大幅提升了管理效率，让园区管理更加精细化、智能化。 更令人兴奋的是，该方案融入了诸多前沿科技，让智慧园区充满了未来感。例如，利用AI视频分析技术，智慧园区实现了对人脸、车辆、行为的智能识别与追踪，不仅极大提升了安防水平，还能为园区提供精准的人流分析、车辆管理等增值服务。同时，无人机巡查、巡逻机器人等智能设备的加入，让园区安全无死角，管理更轻松。特别是巡逻机器人，不仅能进行360度地面全天候巡检，还能自主绕障、充电，甚至具备火灾预警、空气质量检测等环境感知能力，成为了园区管理的得力助手。此外，通过构建高精度数字孪生系统，将园区现实场景与数字世界完美融合，管理者可借助VR/AR技术进行远程巡检、设备维护等操作，仿佛置身于一个虚拟与现实交织的智慧世界。 最值得关注的是，智慧园区综合解决方案还带来了显著的经济与社会效益。通过优化园区管理流程，实现降本增效。例如，智能库存管理、及时响应采购需求等举措，大幅减少了库存积压与浪费；而设备自动化与远程监控则降低了维修与人力成本。同时，借助大数据分析技术，园区可精准把握产业趋势，优化招商策略，提高入驻企业满意度与营收水平。此外，智慧园区的低碳节能设计，通过能源分析与精细化管理，实现了能耗的显著降低，为园区可持续发展奠定了坚实基础。总之，这一综合解决方案不仅让园区管理变得更加智慧、高效，更为入驻企业与员工带来了更加舒适、便捷的工作与生活环境，是未来园区建设的必然趋势。

  • labelme标注的json转mask掩码图，用于分割数据集 批量转化，生成cityscapes格式的数据集

    labelme标注的json转mask掩码图，用于分割数据集 批量转化，生成cityscapes格式的数据集

  • （参考GUI）MATLAB GUI漂浮物垃圾分类检测.zip

    （参考GUI）MATLAB GUI漂浮物垃圾分类检测.zip

  • 人脸识别_OpenCV_活体检测_证件照拍照_Demo_1741778955.zip

    人脸识别项目源码实战

  • 人脸识别_科大讯飞_Face_签到系统_Swface_1741770704.zip

    人脸识别项目实战

  • 跟网型逆变器小干扰稳定性分析与控制策略优化simulink仿真模型和代码.zip

    本仿真模型基于MATLAB/Simulink（版本MATLAB 2016Rb）软件。建议采用matlab2016 Rb及以上版本打开。（若需要其他版本可联系代为转换） CSDN详情地址：https://blog.csdn.net/qq_50594161/article/details/146242453sharetype=blogdetail&sharerId=146242453&sharerefer=PC&sharesource=qq_50594161&spm=1011.2480.3001.8118

  • 16-1文本表示&词嵌入.ipynb

    实战练习分词、创建词表、文本处理

Global site tag (gtag.js) - Google Analytics