资讯频道 → 互联网
阅读更多

1顶
1踩

互联网

原创新闻 2017年深度学习十大趋势预测

2016-12-15 09:46 by 副主编 mengyidan1988 评论(0) 有6302人浏览
深度学习

声明：ITeye资讯文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

引用

原文：10 Deep Learning Trends and Predictions for 2017
作者：Carlos E. Perez
译者：KK4SBB
欢迎技术投稿、约稿、给文章纠错，请发送邮件至heyc@csdn.net

本文作者曾经多次预测了技术发展的趋势，最近的一次预测是“2011年软件发展的趋势与预测”。10项预言中，准确地命中了6项，比如JavaScript VM、NoSQL、大数据分析、私有云、Scala语言等等。今年，他对深度学习的发展趋势做了一个预测，主要是研究领域的趋势预测，而不是工业界的应用。

以下是作者对2017年度的预测内容。

硬件将加速倍增摩尔定律
作者根据其观察到Nvidia和Intel的发展动态，认为这是显而易见的趋势。由于Nvidia具有完整的深度学习生态系统，它们在整个2017年都将主导占据主导地位。在另一个深度学习生态系统成熟之前，没有人会抛弃Nvidia而追求其它的平台。Intel的Xeon Phi方案中途夭折，预计要到2017年年中才能在性能上追赶上Nvidia，那时基于Nervana的芯片才推向市场。Intel的FPGA方案可能因为成本原因而被云提供商所采纳。降低功耗是头等大事。预计到2017年年中，Intel的Nervana芯片每秒可完成30万亿次浮点运算。作者个人猜测，Nvidia目前已经能够实现每秒20万亿次浮点运算，他打赌Intel在2018年之前不会有太多动作。Intel手中的唯一可能的一张王牌是3D XPoint技术。这将有助于提高整个硬件堆栈，但不一定是提升核心能力。

卷积神经网络（CNN）将会统治而RNNs和LSTM将被淘汰
作者认为CNN模型将成为深度学习系统的主流模型。RNN和LSTM模型及其递归设置和嵌套的记忆节点将越来越少地使用，因为它们无法与CNN所抗衡。就如同GOTO在代码中消失一样，作者希望RNN和LSTM模型也被淘汰。

简单的调参工作将被元学习取代
当作者刚开始接触深度学习时，他认为优化算法，特别是二阶的算法能够有巨大的提升。如今，已经有替我们优化模型的深度学习模型了。我们不在需要费尽心思改进SGD算法了，作者认为重要的一个原因是元学习（meta-learning）能够根据领域自适应地优化学习过程。

可微分记忆网络将更常见
记忆模块将从核心节点中抽取出来，只是作为计算机制的一个独立组件，作者觉得这是一个很自然的结果或者说架构。他认为LSTM的遗忘门、输入门和输出门没有必要，它们可以被辅助的可微分记忆模块所取代。这呼应了作者对CNN模型的预测。

强化学习只会变得更具创造性
对于现实的观察永远是不完美的。我们身边存在着大量SGD无法解决的问题。因此，任何实践性的深度学习系统都必须包含某些形式的强化学习。除此之外，强化学习将会出现在各种深度学习的训练过程中。作者认为强化学习极大地促进了元学习。

对抗与合作学习将成为王牌
在过去，我们的深度学习系统都只有单一的目标函数。今后，作者希望看到两个或两个以上的网络合作或竞争来实现一个最佳的解决方案。参见“博弈论揭示了深度学习的未来”。

转移学习引领产业化
Andrew Ng认为这非常重要，作者也表示赞同！

更多的应用程序将使用深度学习组件
在2016年，我们已经看到深度学习在更大的搜索算法中用作一个功能评价组件。alphago采用深层学习来评估策略。谷歌的Gmail自动回复系统将深度学习与集束搜索(beam search)结合。作者希望看到更多的这类混合算法，而不是新的end-to-end的被训练的DL系统。

更多的采用设计模式
深度学习只是众多需要抽象结构的复杂领域之一。尽管它用到了很多高深的数学知识，仍有很多未经证明和模糊的概念可以借鉴在其它复杂领域已被证明是有效的方法，比如在软件开发领域有效。作者认为人们最终会从深度学习与模式设计中得到启发。

工程将超过理论
作者认为研究人员的背景和他们所使用的数学工具会给他们的研究方法带来偏见。深度学习系统和无监督学习系统等等这些新的东西可能我们从来没有遇到过。因此，他觉得没有证据表明我们的传统分析工具将对解开深度学习的谜团提供任何帮助。几十年来，物理学中大量的动态系统一直困扰着作者，他将此类比于深度学习系统。

然而，尽管我们缺乏了解其本质，但是将不会阻止工程上的应用。作者觉得深度学习几乎就像是生物技术或基因工程。我们已经创建了模拟学习机，我们不知道他们是如何工作的，但是这并没有阻止任何人进行创新。
1
顶
1
踩
评论 共 0 条 请登录后发表评论

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • Eclipse插件系列——SQLExplorer插件的安装和使用

    Eclipse插件系列——SQLExplorer插件的安装和使用

  • Eclipse插件系列——SQLExplorer插件

    原文：... 插件名称： SQLExplorer 插件分类： SQLEditor 插件版本： 2.2.4 插件主页：https://sqlexplorer.dev.java.net/ 下载地址：http://puzzle.dl.sourceforge.net/sourceforge/ec

  • 燃烧的远征java(二)-开发环境：Eclipse插件系列——SQLExplorer插件的安装和使用

    插件名称： SQLExplorer 插件分类： SQL Editor 插件版本： 2.2.4 插件主页：...下载地址：http://puzzle.dl.sourceforge.net/sourceforge/eclipsesql/net.sourceforge.sqlexplorer_2.2.4.zip插件介绍：

  • Eclipse和IntelliJ IDEA常用插件推荐总结——待续

    1.Eclipse 插件关键词：decompiler git IDE eExplorer gitblit maven SCM maven Analyzer java development kit platform m2e 插件： Enhanced Class Decompiler spring IDE eExplorer Java 8 support for m2e ...

  • eclipse plugin -- sqlexplorer

    Eclipse插件系列——SQLExplorer插件的安装和使用 Posted on 2006-07-20 17:28 百花岛主 阅读(3528) 评论(5) 编辑 收藏 所属分类: Eclipse插件基础 <!--...

  • Myeclipse学习总结（4）——Eclipse常用开发插件

    介绍：Eclipse的UML插件，支持UML活动图，class图，sequence图，usecase图等；支持与Javaclass/interface之间的相互导入导出。官方网站：...

  • Eclipse的插件大全

    Eclipse的插件大全 DTD 类型约束文件 1. Window->Preferences->XML->XML Catalog->User Specified Entries窗口中,选择Add 按纽 2.在Add XML Catalog Entry 对话框中选择或输入以下...

  • 最佳eclipse插件-top30

    来自：http://www.ajaxline.com/best-eclipse-plugins  PyDev - Python ...pyDev 使的程序员可以使用eclipse来开发Python、Jython和Iron Python应用，而且Pydev+eclipse也成为开发Python的首选IDE。   Eas

  • Android开发-eclipse插件（工具篇）

    一、 查看Android源码的Eclipse插件 网上能够搜到的Eclipse关联Android源码的方法，基本上都是下载源码，然后关联，或者就是在SDK Manager里面下载源码（还不是所有版本的源码都能下载），其实还有一种很方便的...

  • Eclipse插件大全-top30

    <br /> <br />pyDev 使的程序员可以使用eclipse来开发Python、Jython和Iron Python应用，而且Pydev+eclipse也成为开发Python的首选IDE。   EasyEclipse for LAMP   <br />...

  • eclipse插件

    来自：http://www.ajaxline.com/best-eclipse-plugins PyDev - Python Development Environment for EclipsepyDev 使的程序员可以使用eclipse来开发Python、Jython和Iron Python应用，而且Pydev+eclipse也成为开发...

  • Eclipse插件大全 挑选最牛的TOP30

    原文：http://developer.51cto.com/art/201007/214478.htmEclipse插件大全 挑选最牛的TOP...本文详细为各位介绍了最强的30个Eclipse插件。作者：阿风来源：51CTO翻译|2010-07-28 08:47 收藏 分享【51CTO译文】Ecl...

  • OFDM、OOK、PPM、QAM 的误码率模拟【绘制不同调制方案的误码率曲线】附Matlab代码.rar

    1.版本：matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。

  • 8c71b76fb2ec10cf50fc6b0308d3dcfc_9545878e2b97a84b2e089ece58da9e82.png

    8c71b76fb2ec10cf50fc6b0308d3dcfc_9545878e2b97a84b2e089ece58da9e82

  • Android SO逆向-对象的拷贝构造函数.pdf

    Android逆向过程学习

  • 基于S7-200 PLC的糖果包装控制系统设计与实现

    内容概要：本文详细介绍了基于西门子S7-200 PLC的糖果包装控制系统的设计与实现。首先阐述了PLC在工业自动化领域的优势及其在糖果包装生产线中的重要性。接着深入探讨了系统的硬件连接方式，包括传感器、执行机构与PLC的具体接口配置。随后展示了关键的编程实现部分，如糖果计数、包装执行、送膜控制、称重判断以及热封温度控制等具体梯形图代码片段。此外，还分享了一些实用的经验技巧，如防止信号抖动、PID参数优化、故障诊断方法等。最后总结了该系统的优势，强调其对提高生产效率和产品质量的重要作用。 适合人群：从事工业自动化控制、PLC编程的技术人员，尤其是对小型PLC系统感兴趣的工程师。 使用场景及目标：适用于糖果制造企业，旨在提升包装生产线的自动化程度，确保高效稳定的生产过程，同时降低维护成本并提高产品一致性。 其他说明：文中不仅提供了详细的理论讲解和技术指导，还结合实际案例进行了经验分享，有助于读者更好地理解和掌握相关知识。

  • PLC与WinCC实现三部十层电梯协同控制及优化技巧

    内容概要：本文详细介绍了参与西门子杯比赛中关于三部十层电梯系统的博图V15.1程序设计及其WinCC画面展示的内容。文中不仅展示了电梯系统的基本架构，如抢单逻辑、方向决策、状态机管理等核心算法（采用SCL语言编写），还分享了许多实际调试过程中遇到的问题及解决方案，例如未初始化变量导致的异常行为、状态机遗漏空闲状态、WinCC画面动态显示的挑战以及通信配置中的ASCII码解析错误等问题。此外，作者还特别提到一些创意性的设计，如电梯同时到达同一层时楼层显示器变为闪烁爱心的效果，以及节能模式下电梯自动停靠中间楼层的功能。 适合人群：对PLC编程、工业自动化控制、电梯调度算法感兴趣的工程技术人员，尤其是准备参加类似竞赛的学生和技术爱好者。 使用场景及目标：适用于希望深入了解PLC编程实践、掌握电梯群控系统的设计思路和技术要点的人士。通过学习本文可以更好地理解如何利用PLC进行复杂的机电一体化项目的开发，提高解决实际问题的能力。 其他说明：文章风格幽默诙谐，将严肃的技术话题融入轻松的生活化比喻之中，使得原本枯燥的专业知识变得生动有趣。同时，文中提供的经验教训对于从事相关领域的工作者来说非常宝贵，能够帮助他们少走弯路并激发更多创新思维。

  • 慧荣量产工具合集.zip

    慧荣量产工具合集.zip

  • 永磁同步电机FOC控制与SVPWM算法仿真模型解析

    内容概要：本文详细介绍了永磁同步电机（PMSM）的FOC（磁场定向控制）和SVPWM（空间矢量脉宽调制）算法的仿真模型。首先解释了FOC的基本原理及其核心的坐标变换（Clark变换和Park变换），并给出了相应的Python代码实现。接下来探讨了SVPWM算法的工作机制，包括扇区判断和占空比计算的方法。此外，文章还讨论了电机的PI双闭环控制结构，即速度环和电流环的设计与实现。文中不仅提供了详细的理论背景，还分享了一些实用的编程技巧和注意事项，帮助读者更好地理解和应用这些算法。 适合人群：电气工程专业学生、从事电机控制系统开发的技术人员以及对永磁同步电机控制感兴趣的科研人员。 使用场景及目标：① 学习和掌握永磁同步电机的FOC控制和SVPWM算法的具体实现；② 提供丰富的代码示例和实践经验，便于快速搭建和调试仿真模型；③ 探讨不同参数设置对电机性能的影响，提高系统的稳定性和效率。 其他说明：文章强调了在实际应用中需要注意的一些细节问题，如坐标变换中的系数选择、SVPWM算法中的扇区判断优化以及PI控制器的参数调整等。同时，鼓励读者通过动手实验来加深对各个模块的理解。

Global site tag (gtag.js) - Google Analytics