Hype：组合机器学习和超参数优化

资讯频道 → 开源软件

0顶
0踩

2016-05-10 15:31 by 副主编 mengyidan1988 评论(0) 有5142人浏览

Hype 机器学习

声明：ITeye资讯文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

引用

原文：Hype: Compositional Machine Learning and Hyperparameter Optimization
译者：刘翔宇审校：赵屹华、刘帝伟
责编：周建丁（zhoujd@csdn.net）

Hype是一个概念验证的深度学习库，你可以使用它对拥有许多模块的组合机器学习系统进行优化，即使这些模块本身就能进行优化。

这通过嵌套自动微分（AD）实现，它可以让你得到代码中任一浮点值的自动精确导数。底层的计算由BLAS/LAPACK实现（默认OpenBLAS）。

自动求导
你不必费心在模型中计算梯度（或Hessians矩阵），这些都会被AD准确、有效地计算出来。AD底层的功能由DiffSharp提供。

“反向模式”（Reverse mode）AD是“反向传播”的一般形式，与数字或符号微分不同。

除了反向AD之外，Hype使用了前馈AD，并嵌套组合前馈和反向AD。核心微分API提供了梯度函数、Hessians矩阵、Jacobian矩阵、方向导数及Hessian与Jacobian向量的乘积。

超梯度
你可以通过超参数得到训练和验证损失的梯度。这些超参数可以让你对基于梯度的优化进行梯度优化，这意味着你可以优化学习率，动量调度，权重初始化参数，步长以及哈密顿蒙特卡罗模型（ Hamiltonian Monte Carlo models）中的质量矩阵。（最近有一篇文章使用了Python来实现：Maclaurin, Dougal, David Duvenaud, and Ryan P. Adams. “Gradient-based Hyperparameter Optimization through Reversible Learning.” arXiv preprint arXiv:1502.03492 (2015).）

open Hype
open Hype.Neural

// Train a network with stochastic gradient descent and a learning rate schedule
let train (x:DV) = 
    let n = FeedForward()
    n.Add(Linear(784, 300))
    n.Add(tanh)
    n.Add(Linear(300, 10))
    let loss, _ = Layer.Train(n, data, {Params.Default with 
                                        LearningRate = Schedule x
                                        Momentum = Momentum.DefaultNesterov
                                        Batch = Minibatch 100
                                        Loss = CrossEntropyOnLinear})
    loss // Return the loss at the end of training

// Train the training, i.e., optimize the learning schedule vector by using its hypergradient
let hypertrain = 
    Optimize.Minimize(train, DV.create 200 (D 1.f), {Params.Default with Epochs = 50})

你同样可以使用导数来训练数据，分析训练的敏感性。

组合性
嵌套AD可以处理任何高阶导数，包括下面这种复杂的导数：

min(x↦f(x)+min(y↦g(x,y)))

其中min函数使用了基于梯度的优化。（注意，内部函数对外部函数参数进行了引用。）这可以让你创建复杂的系统，许多成分可以进行内部优化。

比如，你可以优化多玩家游戏的规则，玩家们使用一个简单的对手模型来优化自己的策略，具体来说就是通过观察对手的行为进行优化。

你也可以对使用了微分达到特定目标而不是优化的程序进行优化，比如自适应控制或仿真。

复杂目标函数
你可以在目标函数的定义中使用导数进行模型训练。例如，你的目标函数考虑了输入敏感因素，对训练模型来说，在一系列输入转换之后那都是不变的。

路线图
目前版本：

默认OpenBLAS
回归，前馈神经网络
递归神经网络，LSTM，GRU
哈密顿蒙特卡罗模型

将来的特性：

GPU/CUDA
概率推理
卷积神经网络

Hype由爱尔兰国立梅努斯大学哈密顿研究所大脑与计算机实验室的Atılım Güneş Baydin和Barak A. Pearlmutter开发。Hype在MIT许可下发布。

分享到：

0
顶

0
踩

评论共 0 条请登录后发表评论

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

交叉验证和超参数调整：如何优化您的机器学习模型

与模型参数是在模型训练期间学习的并且不能任意设置的模型参数不同，超参数是用户在训练机器学习模型之前可以设置的参数。随机森林中超参数的示例包括森林中决策树的数量，每次拆分时要考虑的要素的最大数量或树的...

soap rest_这是我对REST的后续工作，是新的SOAP：让我们谈谈原始REST

并尝试以针对CRUD进行优化的思维方式来执行类似操作的请求。我们浪费了多少时间来弄清楚仅进行REST API登录API调用的“标准”方法。 On the opposite side, Phil Sturgeon, one of the main advocates of REST, ...

【今日CV 计算机视觉论文速览第93期】Wed, 3 Apr 2019

像素方式映射被参数化为多层感知器，其权重通过最小化源图像和下采样目标图像之间的差异来学习。重要的是，我们的公式可以仅规范映射函数，同时避免输出的正规化，从而产生清晰，自然的图像。所提出的方法是无监督的...

高负载高并发网站架构分析

由于自己正在做一个高性能大用户量的论坛程序，对高性能高并发服务器架构比较感兴趣，于是在网上收集了不少这方面的资料和大家分享。... 谈谈大型高负载网站服务器的优化心得! 8  Lighttpd+S

全栈开发自学路线

这里筑梦师,是一名正在努力学习的iOS开发工程师,目前致力于全栈方向的学习,希望可以和大家一起交流技术,共同进步,用简书记录下自己的学习历程. 个人学习方法分享本文目录&更新说明目录 1.学习方法 2.学习态度 ...

[转]高负载并发网站架构分析

由于自己正在做一个高性能大用户量的论坛程序，对高性能高并发服务器架构比较感兴趣，于是在网上收集了不少这方面的资料和大家分享。... 谈谈大型高负载网站服务器的优化心得! 8 ? Lighttpd+Squid+Apach

让我们来探讨原本的REST

数据散落在动词、链接、查询参数、消息头、载荷上。每个人都认为其他人没有得到REST的精髓。如果你想建议REST之外的技术，你会成为政治迫害的对象。它事实上是无意义的狂热崇拜。 My co-workers have spent sooo ...

MATLAB实现参数化重采样时频变换(PRTF)用于振动与声音信号故障诊断

内容概要：本文详细介绍了参数化重采样时频变换（PRTF）在振动与声音信号故障诊断中的应用。首先通过仿真信号展示PRTF的基本原理，即通过非线性时间轴映射提高时频分辨率，特别是在处理非平稳信号时的优势。接着讨论了PRTF的具体实现步骤，包括重采样、时频分析、坐标系转换等关键技术点。文中还提供了多个实际案例，如齿轮箱故障诊断、压缩机阀片断裂检测、蝙蝠回声定位信号处理等，展示了PRTF在不同应用场景中的灵活性和有效性。此外，文章分享了一些实用经验和技巧，如窗函数选择、抗混叠滤波、多尺度融合等，帮助读者更好地理解和应用PRTF。适合人群：具备一定MATLAB编程基础和技术背景的信号处理工程师、研究人员。使用场景及目标：适用于处理非平稳信号，尤其是振动和声音信号的故障诊断。目标是提高时频分辨率，清晰呈现故障特征，从而快速准确定位故障源。同时，也为研究者提供了一种新的信号处理工具，拓展了传统时频分析方法的应用范围。其他说明：PRTF虽然强大，但在某些情况下并非最佳选择，如处理稳态信号或需要极高频率分辨率的任务。因此，使用者应根据具体情况选择合适的工具。此外，由于PRTF计算量较大，实时性要求较高的场景需考虑硬件加速或其他优化手段。

毕设课设-基于MATLAB的汽车出入库识别系统.zip

基于MATLAB的汽车出入库识别系统是一份适用于毕业设计或课程设计的项目，它主要围绕车辆进出仓库的自动识别技术开发。该系统充分利用MATLAB这一强大的数学计算和图形处理软件，实现了汽车识别的核心功能。项目主要包括以下几个关键部分： 1. **图像采集与预处理**：通过摄像头或传感器捕捉汽车的实时图像，对图像进行预处理，如灰度化、边缘检测或特征提取，提高后续识别的精度。 2. **目标检测与识别**：利用MATLAB的机器视觉工具箱，可能采用了模板匹配、特征点匹配（如SIFT、SURF或HOG）、或者现代的深度学习技术（如卷积神经网络CNN），来识别出汽车的特征。 3. **车牌识别**：针对汽车的车牌进行识别，这通常涉及到字符分割、识别和验证，可能结合了OCR（Optical Character Recognition）技术。 4. **数据分析与管理系统**：收集并分析出入库数据，用于优化仓库管理策略，如实时流量监控、车辆调度等。 5. **文档与代码完整性**：项目不仅提供了完整的工作流程和算法实现，还包含了详尽的README.md文档，以便使用者了解项目的结构和使用方法，以及注意事项。这个系统的优势在于将理论知识应用到实际场景中，既锻炼了学生的编程能力，也展示了MATLAB在计算机视觉领域的实用性。通过下载和交流，有助于参与者提升自己的技术能力，并推动自动化仓储系统的研发和优化。

(源码)基于51单片机的密码锁控制器.zip

# 基于51单片机的密码锁控制器 ## 项目简介本项目是一个基于51单片机的密码锁控制器，通过结合LCD显示器和键盘，实现了一个简单的密码输入与验证系统。该系统可以用于需要密码保护的应用场景，如门禁系统、保险箱等。用户可以通过键盘输入密码，系统会根据输入的密码进行验证，并通过LED灯显示验证结果。 ## 项目的主要特性和功能 1. LCD显示功能使用LCD显示器实时显示密码输入的相关信息。 2. 密码设置与修改用户可以设置和修改一个4位数字（09）的密码。 3. 超级用户密码系统内置一个超级用户密码“1234”，用于特殊权限操作。 4. 密码验证反馈密码输入正确时，系统会亮绿灯密码输入错误时，系统会亮红灯。 ## 安装使用步骤 ### 前提条件假设用户已经下载了本项目的源码文件，并具备基本的单片机开发环境（如Keil等）。 ### 步骤 1. 解压源码文件将下载的源码文件解压到本地目录。

(源码)基于Python和强化学习算法的智能体训练系统.zip

# 基于Python和强化学习算法的智能体训练系统 ## 项目简介本项目是一个基于Python和强化学习算法的智能体训练系统，旨在通过深度学习和策略优化技术，训练智能体在复杂环境中进行决策和行动。项目结合了多种强化学习算法，如TRPO（Trust Region Policy Optimization），并使用了如Pommerman这样的复杂环境进行训练和评估。 ## 项目的主要特性和功能强化学习算法包括TRPO在内的多种强化学习算法，适用于连续动作空间的强化学习任务。环境模拟使用Pommerman环境进行智能体的训练和评估，环境包含复杂的棋盘布局和动态变化的炸弹、火焰等元素。预训练与微调支持预训练模型的加载和微调，加速训练过程。多模型评估支持多个模型的同时评估，比较不同模型在相同环境下的表现。状态抽象与特征提取通过状态抽象和特征提取，优化智能体的决策过程。

制造业2022年制造业上市公司高质量发展：城市群与主要城市百强企业分布分析

内容概要：本文档展示了2022年中国制造业上市公司百强企业在不同城市群和城市的分布情况。从城市群角度看，百强企业主要集中在长三角（19家）、粤港澳（16家）和京津冀（11家）三大国家级城市群，这些地区凭借强大的发展基础、完善的产业链和优越的营商环境成为制造业高质量发展的领头羊。从具体城市分布来看，深圳和北京各有10家企业上榜，上海有9家。其中，深圳以比亚迪、中兴等大企业为代表，在营收规模上位居全国第一；北京依托科技和人才优势支持企业发展；上海则在高端制造业特别是集成电路领域处于领先地位。适合人群：对中国经济地理、制造业发展趋势感兴趣的读者，以及从事相关行业研究的专业人士。使用场景及目标：①了解中国制造业区域布局和发展趋势；②为政策制定者提供参考依据；③为企业投资决策提供数据支持。阅读建议：建议重点关注各城市群和城市的具体数据，结合当地产业特色和发展优势进行分析，以便更好地理解中国制造业的空间分布规律及其背后的原因。

房地产营销策划 -湖南涟源博盛生态园年度营销方案.pptx

基于粒子群算法PSO的宽带消色差超透镜Matlab设计与FDTD仿真

内容概要：本文详细介绍了利用粒子群算法（PSO）在Matlab中设计宽带消色差超透镜的方法及其FDTD仿真验证。首先，通过定义合理的初始参数范围和适应度函数，将超透镜的纳米结构参数（如纳米柱的直径、高度、周期）作为粒子的位置，采用PSO进行优化。适应度函数结合了预存的相位延迟查找表和实时FDTD仿真结果，确保优化过程中能够高效评估不同结构参数的效果。文中还讨论了惯性权重的动态调整、震荡因子的引入以及适应度函数中物理约束的添加，以提高优化效果并防止陷入局部最优。最终，通过FDTD仿真验证优化结果，展示了在可见光波段内的聚焦效率和焦斑尺寸的改进。适合人群：从事光学设计、超材料研究、电磁仿真领域的科研人员和技术开发者。使用场景及目标：适用于需要设计高性能宽带消色差超透镜的研究项目，旨在通过粒子群算法优化超透镜结构参数，减少色差并提高聚焦效率。其他说明：文中提供了详细的Matlab代码片段和FDTD仿真设置示例，帮助读者更好地理解和实施该方法。此外，强调了在实际应用中需要注意的参数选择和物理约束，以确保设计方案的可行性和有效性。

FLAC 3D中深基坑支护结构（冠梁+钢支撑+钻孔灌注桩）的数值模拟及优化技巧

内容概要：本文详细介绍了利用FLAC 3D软件进行深基坑支护结构的数值模拟方法，特别是针对冠梁、钢支撑和钻孔灌注桩的组合支护结构。文章首先解释了钻孔灌注桩的建模要点，强调了桩土接触面参数设置的重要性。接着讨论了钢支撑的激活时机及其对支护系统的影响，指出合理的开挖步控制可以更好地模拟实际情况。对于冠梁，则着重于其与桩顶的正确耦合方式以及弯矩分布的监测。此外，还分享了一些实用的经验教训和技术细节，如避免常见的建模错误、优化参数选择等。适合人群：从事岩土工程、地下结构设计的专业人士，尤其是有一定FLAC 3D使用经验的研究人员和工程师。使用场景及目标：适用于需要精确模拟深基坑开挖过程中支护结构行为的工程项目，旨在提高数值模拟的准确性，为实际施工提供科学依据和支持。其他说明：文中提供了大量具体的FLAC 3D命令示例和实践经验，有助于读者快速掌握相关技能并在实践中灵活运用。同时提醒读者关注模型验证的重要性，确保模拟结果能够真实反映工程实际状况。

前端铺子开发者前端杂货铺小程序在线课堂+工具组件小程序uniapp移动端.zip

前端铺子开发者前端杂货铺小程序在线课堂+工具组件小程序uniapp移动端

Delphi 12.3控件之geniso(CD iso Generator)可启动光盘文件制作器可执行文件.zip

(源码)基于Arduino的传感器应用项目.zip

# 基于Arduino的传感器应用项目 ## 项目简介这是一个基于Arduino开发的项目集合，主要聚焦于传感器应用及相关开发。通过此项目，您将能够了解并实践如何使用Arduino进行硬件编程，以实现对各种传感器的读取和控制。 ## 项目的主要特性和功能 ### 1. 传感器读取此项目包含多个示例，可以读取不同类型的传感器数据，如温度、湿度、光线、压力等。 ### 2. 实时数据反馈通过Arduino，项目能够实现实时读取传感器的数据并在某些媒介（如LED灯、LCD显示屏等）上进行反馈。 ### 3. 自动化控制根据项目需求，可以实现基于传感器数据的自动化控制，例如自动开关灯光、调节风扇速度等。 ## 安装使用步骤 ### 1. 下载源码文件 ### 2. 安装Arduino IDE 确保您的计算机上安装了Arduino IDE，这是编写和上传代码到Arduino设备所必需的。 ### 3. 导入项目文件

房地产活动策划 -2025商业地产脆皮打工人春日养生局（万物回春主题）活动策划方案.pptx

0顶0踩