资讯频道 → 开源软件
阅读更多

0顶
0踩

开源软件

原创新闻 Hype：组合机器学习和超参数优化

2016-05-10 15:31 by 副主编 mengyidan1988 评论(0) 有5138人浏览
Hype 机器学习

声明：ITeye资讯文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

引用

原文：Hype: Compositional Machine Learning and Hyperparameter Optimization
译者：刘翔宇 审校：赵屹华、刘帝伟
责编：周建丁（zhoujd@csdn.net）

Hype是一个概念验证的深度学习库，你可以使用它对拥有许多模块的组合机器学习系统进行优化，即使这些模块本身就能进行优化。

这通过嵌套自动微分（AD）实现，它可以让你得到代码中任一浮点值的自动精确导数。底层的计算由BLAS/LAPACK实现（默认OpenBLAS）。

自动求导
你不必费心在模型中计算梯度（或Hessians矩阵），这些都会被AD准确、有效地计算出来。AD底层的功能由DiffSharp提供。

“反向模式”（Reverse mode）AD是“反向传播”的一般形式，与数字或符号微分不同。

除了反向AD之外，Hype使用了前馈AD，并嵌套组合前馈和反向AD。核心微分API提供了梯度函数、Hessians矩阵、Jacobian矩阵、方向导数及Hessian与Jacobian向量的乘积。

超梯度
你可以通过超参数得到训练和验证损失的梯度。这些超参数可以让你对基于梯度的优化进行梯度优化，这意味着你可以优化学习率，动量调度，权重初始化参数，步长以及哈密顿蒙特卡罗模型（ Hamiltonian Monte Carlo models）中的质量矩阵。（最近有一篇文章使用了Python来实现：Maclaurin, Dougal, David Duvenaud, and Ryan P. Adams. “Gradient-based Hyperparameter Optimization through Reversible Learning.” arXiv preprint arXiv:1502.03492 (2015).） 
open Hype
open Hype.Neural

// Train a network with stochastic gradient descent and a learning rate schedule
let train (x:DV) = 
    let n = FeedForward()
    n.Add(Linear(784, 300))
    n.Add(tanh)
    n.Add(Linear(300, 10))
    let loss, _ = Layer.Train(n, data, {Params.Default with 
                                        LearningRate = Schedule x
                                        Momentum = Momentum.DefaultNesterov
                                        Batch = Minibatch 100
                                        Loss = CrossEntropyOnLinear})
    loss // Return the loss at the end of training

// Train the training, i.e., optimize the learning schedule vector by using its hypergradient
let hypertrain = 
    Optimize.Minimize(train, DV.create 200 (D 1.f), {Params.Default with Epochs = 50})

你同样可以使用导数来训练数据，分析训练的敏感性。

组合性
嵌套AD可以处理任何高阶导数，包括下面这种复杂的导数： 
min(x↦f(x)+min(y↦g(x,y)))

其中min函数使用了基于梯度的优化。（注意，内部函数对外部函数参数进行了引用。）这可以让你创建复杂的系统，许多成分可以进行内部优化。

比如，你可以优化多玩家游戏的规则，玩家们使用一个简单的对手模型来优化自己的策略，具体来说就是通过观察对手的行为进行优化。

你也可以对使用了微分达到特定目标而不是优化的程序进行优化，比如自适应控制或仿真。

复杂目标函数
你可以在目标函数的定义中使用导数进行模型训练。例如，你的目标函数考虑了输入敏感因素，对训练模型来说，在一系列输入转换之后那都是不变的。

路线图
目前版本：
  • 默认OpenBLAS
  • 回归，前馈神经网络
  • 递归神经网络，LSTM，GRU
  • 哈密顿蒙特卡罗模型

将来的特性：
  • GPU/CUDA
  • 概率推理
  • 卷积神经网络

Hype由爱尔兰国立梅努斯大学哈密顿研究所大脑与计算机实验室的Atılım Güneş Baydin和Barak A. Pearlmutter开发。Hype在MIT许可下发布。
0
顶
0
踩
评论 共 0 条 请登录后发表评论

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • 交叉验证和超参数调整：如何优化您的机器学习模型

    与模型参数是在模型训练期间学习的并且不能任意设置的模型参数不同，超参数是用户在训练机器学习模型之前可以设置的参数。 随机森林中超参数的示例包括森林中决策树的数量，每次拆分时要考虑的要素的最大数量或树的...

  • soap rest_这是我对REST的后续工作，是新的SOAP：让我们谈谈原始REST

    并尝试以针对CRUD进行优化的思维方式来执行类似操作的请求。 我们浪费了多少时间来弄清楚仅进行REST API登录API调用的“标准”方法。 On the opposite side, Phil Sturgeon, one of the main advocates of REST, ...

  • 【今日CV 计算机视觉论文速览 第93期】Wed, 3 Apr 2019

    像素方式映射被参数化为多层感知器，其权重通过最小化源图像和下采样目标图像之间的差异来学习。重要的是，我们的公式可以仅规范映射函数，同时避免输出的正规化，从而产生清晰，自然的图像。所提出的方法是无监督的...

  • 高负载高并发网站架构分析

    由于自己正在做一个高性能大用户量的论坛程序，对高性能高并发服务器架构比较感兴趣，于是在网上收集了不少这方面的资料和大家分享。... 谈谈大型高负载网站服务器的优化心得! 8  Lighttpd+S

  • 全栈开发自学路线

    这里筑梦师,是一名正在努力学习的iOS开发工程师,目前致力于全栈方向的学习,希望可以和大家一起交流技术,共同进步,用简书记录下自己的学习历程. 个人学习方法分享 本文目录&更新说明 目录 1.学习方法 2.学习态度 ...

  • [转]高负载并发网站架构分析

    由于自己正在做一个高性能大用户量的论坛程序，对高性能高并发服务器架构比较感兴趣，于是在网上收集了不少这方面的资料和大家分享。... 谈谈大型高负载网站服务器的优化心得! 8 ? Lighttpd+Squid+Apach

  • 让我们来探讨原本的REST

    数据散落在动词、链接、查询参数、消息头、载荷上。每个人都认为其他人没有得到REST的精髓。如果你想建议REST之外的技术，你会成为政治迫害的对象。它事实上是无意义的狂热崇拜。 My co-workers have spent sooo ...

  • GUI面板MATLAB香烟汉字识别.zip

    GUI面板MATLAB香烟汉字识别

  • 2023年统招专升本计算机考试真题及答案6.pdf

    2023年统招专升本计算机考试真题及答案6.pdf

  • Java毕业设计-SpringBoot+Vue的“漫画之家”系统（附源码、数据库、教程）.zip

    Java 项目， Java 毕业设计，Java 课程设计，基于 SpringBoot 开发的，含有代码注释，新手也可看懂。毕业设计、期末大作业、课程设计、高分必看，下载下来，简单部署，就可以使用。 包含：项目源码、数据库脚本、软件工具等，前后端代码都在里面。 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷，具有很高的实际应用价值。 项目都经过严格调试，确保可以运行！ 1. 技术组成 前端：html、javascript、Vue 后台框架：SpringBoot 开发环境：idea 数据库：MySql（建议用 5.7 版本，8.0 有时候会有坑） 数据库工具：navicat 部署环境：Tomcat（建议用 7.x 或者 8.x 版本）， maven 2. 部署 如果部署有疑问的话，可以找我咨询 Java工具包下载地址： https://pan.quark.cn/s/eb24351ebac4 后台路径地址：localhost:8080/项目名称/admin/dist/index.html 前台路径地址：localhost:8080/项目名称/front/index.html （无前台不需要输入）

  • 基于ssm+vue的教学视频点播系统（java毕业设计，包括源码，数据库,教程）.zip

    Java 项目， Java 毕业设计，Java 课程设计，基于 SSM 开发的，含有代码注释，新手也可看懂。毕业设计、期末大作业、课程设计、高分必看，下载下来，简单部署，就可以使用。 包含：项目源码、数据库脚本、软件工具等，前后端代码都在里面。 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷，具有很高的实际应用价值。 项目都经过严格调试，确保可以运行！ 1. 技术组成 前端：vue/html5 后台框架：SSM 开发环境：idea 数据库：MySql（建议用 5.7 版本，8.0 有时候会有坑） 数据库工具：navicat 部署环境：Tomcat（建议用 7.x 或者 8.x 版本）， maven 2. 部署 如果部署有疑问的话，可以找我咨询 Java工具包下载地址： https://pan.quark.cn/s/eb24351ebac4

  • Java毕业设计-基于SpringBoot+Vue+MySql的五台山景点购票系统（附源码、数据库、教程）.zip

    Java 项目， Java 毕业设计，Java 课程设计，基于 SpringBoot 开发的，含有代码注释，新手也可看懂。毕业设计、期末大作业、课程设计、高分必看，下载下来，简单部署，就可以使用。 包含：项目源码、数据库脚本、软件工具等，前后端代码都在里面。 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷，具有很高的实际应用价值。 项目都经过严格调试，确保可以运行！ 1. 技术组成 前端：html、javascript、Vue 后台框架：SpringBoot 开发环境：idea 数据库：MySql（建议用 5.7 版本，8.0 有时候会有坑） 数据库工具：navicat 部署环境：Tomcat（建议用 7.x 或者 8.x 版本）， maven 2. 部署 如果部署有疑问的话，可以找我咨询 Java工具包下载地址： https://pan.quark.cn/s/eb24351ebac4 后台路径地址：localhost:8080/项目名称/admin/dist/index.html 前台路径地址：localhost:8080/项目名称/front/index.html （无前台不需要输入）

  • MATLAB设计的危险区域预警系统（GUI界面设计）.zip

    MATLAB设计的危险区域预警系统（GUI界面设计）

  • 2023年江苏省计算机二级VB试卷.pdf

    2023年江苏省计算机二级VB试卷.pdf

  • NSCBx1.0.1b Keys19.0.0.zip

    NSCBx1.0.1b Keys19.0.0.zip

  • 智慧园区一卡通与清分结算系统Word(45页).docx

    智慧园区，作为现代化城市发展的新兴模式，正逐步改变着传统园区的运营与管理方式。它并非简单的信息化升级，而是跨越了行业壁垒，实现了数据共享与业务协同的复杂运行系统。在智慧园区的构建中，人们常常陷入一些误区，如认为智慧园区可以速成、与本部门无关或等同于传统信息化。然而，智慧园区的建设需要长期规划与多方参与，它不仅关乎技术层面的革新，更涉及到管理理念的转变。通过打破信息孤岛，智慧园区实现了各系统间的无缝对接，为园区的科学决策提供了有力支持。 智慧园区的核心价值在于其提供的全方位服务与管理能力。从基础设施的智能化改造，如全面光纤接入、4G/5G网络覆盖、Wi-Fi网络及物联网技术的运用，到园区综合管理平台的建设，智慧园区打造了一个高效、便捷、安全的运营环境。在这个平台上，园区管理方可以实时掌握运营动态，包括道路状况、游客数量、设施状态及自然环境等信息，从而实现事件的提前预警与自动调配。同时，智慧园区还为园区企业提供了丰富的服务，如项目申报、资质认定、入园车辆管理及统计分析等，极大地提升了企业的运营效率。此外，智慧园区还注重用户体验，通过信息发布系统、服务门户系统及各类智慧应用，如掌上营销、智慧停车、智能安防等，为园区员工、企业及访客提供了便捷、舒适的生活与工作体验。值得一提的是，智慧园区还充分利用大数据、云计算等先进技术，对园区的能耗数据进行采集、分析与管理，实现了绿色、节能的运营目标。 在智慧园区的建设过程中，还涌现出了许多创新的应用场景。例如，在环境监测方面，智慧园区通过集成各类传感器与监控系统，实现了对园区水质、空气质量的实时监测与预警；在交通管理方面，智慧园区利用物联网技术，对园区观光车、救援车辆等进行实时定位与调度，提高了交通效率与安全性；在公共服务方面，智慧园区通过构建统一的公共服务平台，为园区居民提供了包括平安社区、便民社区、智能家居在内的多元化服务。这些创新应用不仅提升了园区的智能化水平，还为园区的可持续发展奠定了坚实基础。同时，智慧园区的建设也促进了产业链的聚合与发展，通过搭建聚合产业链平台，实现了园区内企业间的资源共享与合作共赢。总的来说，智慧园区的建设不仅提升了园区的综合竞争力，还为城市的智慧化发展树立了典范。它以用户需求为导向，以技术创新为驱动，不断推动着园区向更加智慧、高效、绿色的方向发展。对于写方案的读者而言，智慧园区的成功案例与创新应用无疑提供了宝贵的借鉴与启示，值得深入探索与学习。

  • 数据库系统课程设计报告-商品供应管理系统设计与开发

    一、系统需求分析 1 （一）需求概述 1 （二）业务流分析 1 （三）数据流分析 3 （四）数据字典 3 二、数据库概念结构设计 5 （一）实体分析 5 （二）属性分析 5 （三）联系分析 6 （四）概念模型分析（.PDM图） 7 三、数据库逻辑结构设计 8 （一）概念模型转化为逻辑模型 8 1.一对一关系的转化 8 2.一对多关系的转化 8 3.多对多关系的转化 8 （二）逻辑模型设计（.PDM图） 8 四、数据库物理实现 9 （一）表设计 9 （二）创建表和完整性约束代码设计 10 （三）创建视图、索引、存储过程和触发器 11 五、数据库功能调试 12 （一）职工管理模块 12 （二）工程负责人管理模块 13 （三）系统管理员管理模块 15 六、设计系统前台软件 20 （一）开发软件选择 20 （二）软件功能要求与设计 21 （三）软件功能实现 21 （四）系统测试 27 七、设计总结 28

  • springboot校园在线拍卖系统.zip

    ava项目springboot基于springboot的课程设计，包含源码+数据库+毕业论文

  • 【人机交互】MATLAB手势识别设计.zip

    【人机交互】MATLAB手势识别设计

Global site tag (gtag.js) - Google Analytics