资讯频道 → 互联网
阅读更多

0顶
0踩

互联网

原创新闻 以假乱真，MIT基于深度学习的新算法给视频配音

2016-06-28 15:45 by 副主编 mengyidan1988 评论(0) 有6225人浏览
算法 MIT 大数据

声明：ITeye资讯文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

引用
原文：MIT’s New AI Can (Sort of) Fool Humans With Sound Effects
译者：刘翔宇 审校：刘帝伟
责编：周建丁（zhoujd@csdn.net）




神经网络已经在玩游戏方面超过了我们，并且也应用于智能手机照片的管理以及邮件回复方面。此外，它们还能在好莱坞谋得一职。

在MIT的计算机科学和人工智能实验室（CSAIL），一个由6位研究人员组成的小组创建了一套机器学习系统，它可以将声音效果与视频剪辑匹配。别高兴得太早，CSAIL的算法还不能在任何旧的视频上工作，而且它产生的声音效果也是有限的。对于该项目，CSAIL的博士生Andrew Owens和研究生Phillip Isola将他们用鼓槌重击一堆东西录制成视频，包括树桩、桌子、椅子、水坑、楼梯扶手、枯叶，还有肮脏的地面。

该小组将最初的1000个批量视频输入到它的AI算法中。通过分析视频中物体的物理外观，鼓槌的每次运动轨迹，还有最终的声音，计算机能够学习到物理物体和它被击中所发声音之间的联系。然后，通过“观看”物体被鼓槌重击，轻敲和刮蹭时的不同视频，这个系统可以计算出伴随每个剪辑相应的音调、音量以及的声音听觉特性。

视频：https://youtu.be/0FW99AQmMc8

该算法本身不产生声音——它只是从成千上万的音频剪辑数据库中获取数据。此外，声音效果也不是基于视觉匹配来选择；你可以在上面视频中1:20处看到，该算法有自己的创意。它随着沙沙作响的塑料袋来选择声音效果，在灌木从彻底被鼓槌敲击时直接给出声音效果。

Owens说，研究小组使用 卷积神经网络来分析视频帧，递归神经网络来选择对应的音频。



它们的学习过程主要来自于Caffe深度学习框架，该项目也由美国国家科学基金会（National Science Foundation and Shell）资助。小组的一名成员在谷歌研究院工作，Owens则是微软研究奖学金计划的一员。

Owens说，“我们几乎已经把现有的深度学习技术运用到了新领域，我们的目标不是开发新的深度学习方法。”

听音辨物
为视频匹配逼真声音是音效师的主要工作领域——后期制作音频向导，他们记录你在一部好莱坞电影中看到（和听到）的脚步声、门的嘎吱声、腾空横踢。

一位出色的音效师可以将声音精确匹配给视频，让观众误以为这声音是实际捕捉到的。

MIT的机器人还没有这么娴熟。该研究小组进行了一项在线调查，为4000名参与者展示了同一视频配上原始音频和算法生成的声音版本，然后让他们选择哪个视频里的声音是真实的。有22%的人选择了假音频——还远不完美，但效果仍是之前版本算法的两倍。

根据Owens所述，那些测试结果是一个好兆头，预示着计算机视觉算法可以检测物体的组成，以及轻敲、重击、刮蹭物体时产生的不同物理效果。不过，还是有些物体系统不能正确处理。有些时候，系统会认为鼓槌在撞击某一物体，但实际上并没有，比起对更坚实物体产生的声音效果，更多的人更容易被对落叶和灰尘产生的声音效果愚弄。

这个项目不仅仅是为了产生有趣的声音效果，它背后还有更深层的原因。Owens认为，如果该系统已经非常完善，那么计算机视觉技术就可以帮助机器人通过分析物体发出的声音来识别它的材质和物理属性。Owens说，“我们希望这些算法通过观察这些物理相互作用以及响应来学习，你可以把它想象成婴儿那样通过敲打、跺脚和玩耍来学习世界。”
  • 大小: 44.6 KB
  • 大小: 116.8 KB
0
顶
0
踩
评论 共 0 条 请登录后发表评论

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • 深度学习算法知识

    一、神经网络+卷积神经网络（一）神经网络（Neural ...利用单一算法学习各种决策边界，调节中间层数量以及层的深度，神经网络可学习更复杂的边界特征，而得出更加准确的结果⚠️可以用于回归，但主要应用于分类问题。

  • 人工智能趋势与深度学习算法

    人工智能趋势与深度学习算法 1 前沿技术 1.1 Transformer模型: 1.2 BERT模型：基于Transformer Encoder构建的预测模型 1.3 自监督学习(Self-supervised Learning) 1.4 类脑计算(Brain-Inspired Computing) 1.5 AI大...

  • 基于深度学习的配准框架

    M和F的意义： 点击，仅适用于初学者理解 本文重点关注基于深度学习的图像配准框架，根据深度学习的类型分类监督学习和无监督学习。 基于监督学习的配准框架 上面是二维的例子：将两幅图像对应坐标点进行分块，将...

  • 基于深度学习的图像分割综述

    综述：基于深度学习的图像分割传统的图像分割算法基于深度学习的图像分割算法全卷积神经网络（FCN）基于图模型的卷积模型编码-解码模型基于多尺度和金字塔的网络模型基于R-CNN的模型扩展卷积模型和DeepLab族基于循环...

  • 论文总结：基于深度学习的图像风格迁移研究

    目录基于深度学习的图像风格迁移研究深度学习图像风格迁移合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片 基于深度学习的图像风格迁移研究 深度学习 图像风格迁移 合理...

  • 基于深度学习的超分辨率重建

    超分辨率技术（Super-Resolution）是指从观测到的低分辨率图像重建出相应的高分辨率图像，在...基于深度学习的SR，主要是基于单张低分辨率的重建方法，即Single Image Super-Resolution (SISR)。 SISR是一个逆问...

  • 深度学习下的图像分割

    深度学习下的图像分割技术汇总

  • 华南理工深度学习与神经网络期末考试_深度学习算法地图

    其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习-原理、算法与应用》，清华大学出版社，雷明著，由SIGAI公众号作者倾力打造。书的购买链接书的勘误，优化，源代码资源PDF全文链接：深度学习算法地图自...

  • 基于深度学习的GAN应用风格迁移

    我们可以这样定义:“对抗生成网络(GAN)是一种深度学习模型，模型通过框架中至少两个框架：生成模型和判别模型的互相博弈以学习产生好的输出。” 当然这么说略显抽象，我们不如来看一个有趣的例子： 当爱德华·蒙克...

  • 2021年，我们还需要入门深度学习吗？

    火热到显卡一度卖脱销(不是因为挖矿)，研究生导师集体推荐学生转深度学习方向、毕业论文不带“深度学习”四个字都毕不了业、大街上随便拉个学生问都认识吴恩达。 就这个火的程度，我那会也毅然决然地踏入了深度学习...

  • 《深度学习入门：基于Python的理论与实现》读书笔记：第8章 深度学习

    8.2 深度学习的小历史 8.2.1 ImageNet ​8.2.2 VGG 8.2.3 GoogleNet 8.2.4 ResNet 8.3 深度学习的高速化 8.3.1 需要努力解决的问题 8.3.2 基于GPU的高速化 8.3.3 分布式学习 8.3.4 运算精度的位数缩减 8.4...

  • 【项目实战全解】基于深度学习与自然语言处理的AI文本生成（自动写作）

    文章目录一、项目演示：1：诗歌创作2：律诗与绝句3：小说篇4：自己的...技术改变生活，从高中就听闻自动写文章技术，没曾想，竟然已经做到以假乱真的地步！ 今天来详解一下我接触过的文本，文本生成，机器问答，阅读理

  • 欧姆龙NJ PLC与多品牌总线设备控制程序详解及应用实例

    内容概要：本文详细介绍了欧姆龙NJ系列PLC与多个品牌总线设备（如汇川伺服、雷赛步进控制器、SMC电缸等）的控制程序及其配置方法。重点讨论了PDO映射、参数配置、单位转换、故障排查等方面的实际经验和常见问题。文中提供了具体的代码示例，帮助读者理解和掌握这些复杂系统的调试技巧。此外，还特别强调了不同品牌设备之间的兼容性和注意事项，以及如何避免常见的配置错误。 适合人群：从事工业自动化领域的工程师和技术人员，尤其是那些需要进行PLC与总线设备集成工作的专业人士。 使用场景及目标：适用于需要将欧姆龙NJ PLC与其他品牌总线设备集成在一起的应用场景，如工厂自动化生产线、机器人控制等。主要目标是提高系统的可靠性和效率，减少调试时间和成本。 其他说明：文章不仅提供了理论知识，还包括大量来自实际项目的实践经验，有助于读者更好地应对现实中的挑战。建议读者在实践中不断积累经验，逐步掌握各种设备的特点和最佳实践。

  • 数字化企业转型大数据解决方案.pptx

    数字化企业转型大数据解决方案.pptx

  • 基于MATLAB的多智能体一致性算法在电力系统分布式经济调度中的应用

    内容概要：本文详细介绍了利用MATLAB实现多智能体系统一致性算法在电力系统分布式经济调度中的应用。文中通过具体的MATLAB代码展示了如何将发电机组和柔性负荷视为智能体，通过局部通信和协商达成全局最优调度。核心算法通过迭代更新增量成本和增量效益，使各个节点在无中央指挥的情况下自行调整功率，最终实现经济最优分配。此外，文章还讨论了通信拓扑对收敛速度的影响以及一些工程优化技巧，如稀疏矩阵存储和自适应参数调整。 适合人群：从事电力系统调度、分布式控制系统设计的研究人员和技术人员，尤其是对多智能体系统和MATLAB编程有一定了解的人群。 使用场景及目标：适用于希望提高电力系统调度效率、降低成本并增强系统鲁棒性的应用场景。主要目标是在分布式环境下实现快速、稳定的经济调度，同时减少通信量和计算资源消耗。 其他说明：文章提供了详细的代码示例和测试结果，展示了算法的实际性能和优势。对于进一步研究和实际应用具有重要参考价值。

  • 获取虎牙直播流地址的油猴脚本，可以直接使用VLC等播放器打开地址播放

    获取虎牙直播流地址的油猴脚本，可以直接使用VLC等播放器打开地址播放。

  • 电力系统中基于MATLAB的价格型需求响应与电价弹性矩阵优化

    内容概要：本文详细介绍了如何利用MATLAB进行价格型需求响应的研究，特别是电价弹性矩阵的构建与优化。文章首先解释了电价弹性矩阵的概念及其重要性，接着展示了如何通过MATLAB代码实现弹性矩阵的初始化、负荷变化量的计算以及优化方法。文中还讨论了如何通过非线性约束和目标函数最小化峰谷差，确保用户用电舒适度的同时实现负荷的有效调节。此外，文章提供了具体的代码实例，包括原始负荷曲线与优化后负荷曲线的对比图，以及基于历史数据的参数优化方法。 适合人群：从事电力系统优化、能源管理及相关领域的研究人员和技术人员。 使用场景及目标：适用于希望深入了解并掌握价格型需求响应机制的专业人士，旨在帮助他们更好地理解和应用电价弹性矩阵，优化电力系统的负荷分布，提高能源利用效率。 其他说明：文章强调了实际应用中的注意事项，如弹性矩阵的动态校准和用户价格敏感度的滞后效应，提供了实用的技术细节和实践经验。

Global site tag (gtag.js) - Google Analytics