`
jiezhu2007
  • 浏览: 246090 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
博客专栏
Cfa1f850-3fc3-3a36-9cd8-c3415c9610c6
hadoop技术学习
浏览量:144521
Group-logo
大数据产业分析
浏览量:2986
社区版块
存档分类
最新评论

深度学习的本质探究??

阅读更多

 

原创 2016-10-07 朱洁 大数据和云计算技术

1、人工智能浪潮又起

 

标志型事件,阿尔法围棋(AlphaGo)战胜李世石。

 

alphago是一款围棋人工智能程序,由谷歌(Google)旗下DeepMind公司的戴维·西尔弗、艾佳·黄和戴密斯·哈萨比斯与他们的团队开发,这个程序利用“价值网络”去计算局面,用“策略网络”去选择下子。2015年10月阿尔法围棋以5:0完胜欧洲围棋冠军、职业二段选手樊麾;2016年3月对战世界围棋冠军、职业九段选手李世石,并以4:1的总比分获胜。这个让人工智能浪潮又起,热浪达到了一个高度。

 

alphago 核心用到了”深度卷积神经网络”和“MCTS,蒙特卡洛搜索树”算法。接下来我们了解下深度学习的本质到底是什么?深度学习==人工智能吗?

 

 

2、深度学习起源和概念

 

深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征,以发现数据的分布式特征表示。

 

深度学习的概念由Hinton等人于2006年提出。基于深度置信网络(DBN)提出非监督贪心逐层训练算法,为解决深层结构相关的优化难题带来希望,随后提出多层自动编码器深层结构。此外Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法,它利用空间相对关系减少参数数目以提高训练性能。

 

深度学习是机器学习研究中的一个新的领域,其动机在于建立、模拟人脑进行分析学习的神经网络,它模仿人脑的机制来解释数据,例如图像,声音和文本。

 

同机器学习方法一样,深度机器学习方法也有监督学习与无监督学习之分.不同的学习框架下建立的学习模型很是不同.例如,卷积神经网络(Convolutional neural networks,简称CNNs)就是一种深度的监督学习下的机器学习模型,而深度置信网(Deep Belief Nets,简称DBNs)就是一种无监督学习下的机器学习模型。

 

3、深度学习解决什么问题

 

从一个输入中产生一个输出所涉及的计算可以通过一个流向图(flow graph)来表示:流向图是一种能够表示计算的图,在这种图中每一个节点表示一个基本的计算以及一个计算的值,计算的结果被应用到这个节点的子节点的值。考虑这样一个计算集合,它可以被允许在每一个节点和可能的图结构中,并定义了一个函数族。输入节点没有父节点,输出节点没有子节点。

 

 



 

 

这种流向图的一个特别属性是深度(depth):从一个输入到一个输出的最长路径的长度。

 

传统的前馈神经网络能够被看做拥有等于层数的深度(比如对于输出层为隐层数加1)。SVMs有深度2(一个对应于核输出或者特征空间,另一个对应于所产生输出的线性混合)。 

 

人工智能研究的方向之一,是以所谓 “专家系统” 为代表的,用大量 “如果-就” (If - Then) 规则定义的,自上而下的思路。人工神经网络 ( Artifical Neural Network),标志着另外一种自下而上的思路。神经网络没有一个严格的正式定义。它的基本特点,是试图模仿大脑的神经元之间传递,处理信息的模式。

 

 

3.1大脑有一个深度架构

 



 

 

 

1981年诺贝尔医学生理学奖颁发给了David Hubel,一位神经生物学家。他的主要研究成果是发现了视觉系统信息处理机制,证明大脑的可视皮层是分级的。他的贡献主要有两个,一是他认为人的视觉功能一个是抽象,一个是迭代。抽象就是把非常具体的形象的元素,即原始的光线像素等信息,抽象出来形成有意义的概念。这些有意义的概念又会往上迭代,变成更加抽象,人可以感知到的抽象概念。

 

像素是没有抽象意义的,但人脑可以把这些像素连接成边缘,边缘相对像素来说就变成了比较抽象的概念;边缘进而形成球形,球形然后到气球,又是一个抽象的过程,大脑最终就知道看到的是一个气球。

 

视觉皮质并显示出一系列的区域,在每一个这种区域中包含一个输入的表示和从一个到另一个的信号流(这里忽略了在一些层次并行路径上的关联,因此更复杂)。这个特征层次的每一层表示在一个不同的抽象层上的输入,并在层次的更上层有着更多的抽象特征,他们根据低层特征定义。

 

需要注意的是大脑中的表示是在中间紧密分布并且纯局部:他们是稀疏的:1%的神经元是同时活动的。给定大量的神经元,仍然有一个非常高效地(指数级高效)表示。

 

3.2 认知过程逐层进行,逐步抽象

 

人类层次化地组织思想和概念;

 

人类首先学习简单的概念,然后用他们去表示更抽象的;

 

工程师将任务分解成多个抽象层次去处理;

 

学习/发现这些概念(知识工程由于没有反省而失败?)是很美好的。对语言可表达的概念的反省也建议我们一个稀疏的表示:仅所有可能单词/概念中的一个小的部分是可被应用到一个特别的输入(一个视觉场景)。

 

 

4、深度学习适用场景

 

深度学习已经在语音识别、图像处理等方面取得了巨大成功。从2013、2014年开始,也在自然语言处理领域出现深度学习的应用浪潮。随着研究的深入,其他领域还在探索中,如自动驾驶等等。

 

 

5、深度学习等同人工智能吗?

 

5.1 强人工智能和弱人工智能

  

人工智能的一个比较流行的定义,也是该领域较早的定义,是由约翰·麦卡锡(John McCarthy|)在1956年的达特矛斯会议(Dartmouth Conference)上提出的:人工智能就是要让机器的行为看起来就象是人所表现出的智能行为一样。但是这个定义似乎忽略了强人工智能的可能性(见下)。另一个定义指人工智能是人造机器所表现出来的智能性。总体来讲,目前对人工智能的定义大多可划分为四类,即机器“像人一样思考”、“像人一样行动”、“理性地思考”和“理性地行动”。这里“行动”应广义地理解为采取行动,或制定行动的决策,而不是肢体动作。

 

强人工智能: 强人工智能观点认为有可能制造出真正能推理(Reasoning)和解决问题(Problem_solving)的智能机器,并且,这样的机器能将被认为是有知觉的,有自我意识的。强人工智能可以有两类: 类人的人工智能,即机器的思考和推理就像人的思维一样。   非类人的人工智能,即机器产生了和人完全不一样的知觉和意识,使用和人完全不一样的推理方式。

 

弱人工智能:弱人工智能观点认为不可能制造出能真正地推理(Reasoning)和解决问题(Problem_solving)的智能机器,这些机器只不过看起来像是智能的,但是并不真正拥有智能,也不会有自主意识。   主流科研集中在弱人工智能上,并且一般认为这一研究领域已经取得可观的成就。强人工智能的研究则处于停滞不前的状态下。

 

当前深度学习还是其他算法,更多的是弱人工智能,根本就没有思考和推断的能力,深度学习说low一点,本质上做的还是分类。

 

 

6、深度学习研究方向

 

Hinton,Bengio及Lecun三位大神在Nature上发表的Deep Learning综述最后总结了深度学习的三大发展方向:

 

1)无监督学习。无监督学习在深度学习刚火的那几年有很重要的作用,比如用无监督方式训练深度信念网络还有稀疏自编码器等,使用无监督学习主要是为了预训练,以得到一个较好的初始值,随后再使用有监督训练进行微调。但是随着计算能力的发展,人们发现只要在数据集足够大的情况下使用纯有监督学习也能得到较好性能,所以近几年无监督学习发展不是很大,Hinton他们希望在未来无监督学习能有更大发展,因为人类和动物的学习在很大程度上都是无监督的:我们通过观察这个世界来学习,而不是有个老师在教我们这个世界的原理。

 

2)深度强化学习。深度强化学习的主要思想简而言之就是将深度学习与强化学习相结合,是一种从感知到动作的端到端学习。简单的说,就是和人类一样,输入感知信息比如视觉,然后通过深度神经网络,直接输出动作,中间没有人工特征的工作。深度增强学习具备使机器人实现真正完全自主的学习一种甚至多种技能的潜力。深度强化学习最突出的代表就是DeepMind公司了,该公司在NIPS 2013上发表的Playing Atari with Deep Reinforcement Learning一文,在该文中第一次提出深度强化学习这个名称,之后在Nature上发表了改进版的文章Human-level control through deep reinforcement learning,引起了广泛的关注,深度强化学习从此成为深度学习领域的前沿研究方向。最近的李世石大战阿法狗中,阿法狗背后的技术也是深度强化学习,DeepMind将阿法狗背后用到的技术发表在了2016年的Nature上Mastering the game of Go with deep neural networks and tree search。

 

3)自然语言理解。自然语言理解也是深度学习在未来几年能大有作为的领域。使用深度学习技术的各种应用比如神经机器翻译,问答系统,文摘生成等都取得了不错的效果,效果的提升主要归功于注意力机制和循环神经网络相结合的强大能力。相信未来几年内还会有大量相关工作出现。

 

7、参考资料:

 

(1)百度百科:深度学习:http://baike.baidu.com/link?url=CZeG0Vs3xfF9Bi9b9YrL0Z0hRmcM-ptILY2qTrOo__ROr2Y-Wx93RRCX-iKuPIgSjis0C1_M5Nloz0rKySH0Cq

(2)深度学习与计算机视觉 看这一篇就够了 http://blog.csdn.net/u012507022/article/details/51441629

(3)http://www.zhihu.com/question/23140232/answer/107667482


 

 

 

 

 

 

 

 

 

 

 

 

 

 

 
 

微信扫一扫
关注该公众号

  • 大小: 133.2 KB
  • 大小: 47.6 KB
0
1
分享到:
评论

相关推荐

    初中信息技术深度学习微探究.pdf

    对于初中信息技术课程而言,深度学习有助于学生提升自身的综合认知水平,深入理解信息技术知识的本质。 2. 创新教学方法的重要性 文章提出,教师需要采取高效的创新型教学策略来规范学生的学习模式,激发学生的学习...

    在高中物理课堂教学中促进学生深度学习策略探究——以“匀变速直线运动位移和时间的关系”为例.pdf

    深度学习的五个判据分别是:联想与结构、活动与体验、本质与变式、迁移与应用、价值与评价。这五个判据涵盖了学习的不同方面,从知识的内在联系到实践应用,再到对知识价值的判断和评价。在教学过程中,教师应当利用...

    基于智慧课堂的小学数学深度学习策略探究 (2).pdf

    【基于智慧课堂的小学数学深度学习策略探究】 随着信息技术的快速发展,智慧课堂逐渐成为教育领域的新趋势,尤其在小学数学教学中,智慧课堂为深化学习提供了全新的可能性。本文作者王美赛探讨了如何在智慧课堂环境...

    本科生满意度、绩点和深度学习体验关系探究——基于一所研究型大学的实证研究.pdf

    《本科生满意度、绩点和深度学习体验关系探究》是一篇探讨高等教育质量评估的重要研究,主要关注本科生对大学教育的满意度、绩点与深度学习体验之间的相互作用。文章以一所研究型大学为研究对象,通过数据分析揭示了...

    基于深度学习的探究性阅读教学形态构建.pdf

    综上所述,基于深度学习的探究性阅读教学形态,不仅遵循了新课程改革的方向,也符合教学的本质,即培养学生的自主学习能力和探究精神。通过自主研读、思考发现和合作交流,高中语文教学能够有效地提高学生的阅读理解...

    小学数学教学中以深度教学引发深度学习的探究.pdf

    深度学习则是在深度教学的基础上,学生在教师引导下主动探究、理解知识,把新知识和思想融合到自己的认识中,并能将知识迁移应用到新的情境中。深度学习通常要求学生具备批判性思维、问题解决能力以及自主学习的能力...

    基于智慧课堂的小学数学深度学习策略探究.pdf

    4. 深度学习指导:鼓励学生自主思考,挖掘问题的本质,培养他们独立解决问题的能力;通过数据分析,识别学生的学习模式,制定适合每个学生的深度学习计划。 综上所述,智慧课堂的实施需要教师具备较高的信息技术...

    基于核心素养培养的数学深度学习探究.pdf

    基于核心素养培养的数学深度学习探究这一议题涉及的是如何在数学教学中通过深度学习的方式培养学生的数学核心素养。数学核心素养是指学生在数学学习过程中应当形成的基本素质和关键能力,它不仅包括基本的数学运算...

    中职语文“深度学习”探究.pdf

    【深度学习】是一种教育理念,旨在推动学生超越表面层次的理解,深入探究知识的本质,发展批判性思维和创新能力。在中职语文教学中,深度学习显得尤为重要,因为这有助于提升学生的语言素养、阅读能力和思维品质。 ...

    混合学习中基于雨课堂的深度学习探究——以“多媒体创作基础及应用”课程为例.pdf

    在混合学习环境下推进深度学习,特别是结合雨课堂这种在线教学平台进行实践的探究,在教育领域是一个日益受到重视的研究方向。雨课堂作为一种智能在线教学工具,能够有效融合线上与线下教学,为深度学习提供了新的...

    深度学习的本质、困境及策略.pdf

    深度学习是一种自20世纪70年代起在计算机科学领域出现的术语,它的提出源于学习本质的层级理论,最初由瑞典哥德堡大学的Ference Marton等人提出。深度学习的研究主要分为两个领域:机器学习中的深度学习和教育研究中...

    深度学习背景下“探究弹性势能表达式”教学设计.pdf

    在人教版物理必修第七章“机械能守恒定律”中,探究弹性势能表达式的教学设计,就是深度学习理论在教学实践中的一个体现。 弹性势能是物理学中的重要概念,它涉及到力学和能量转化的知识。在传统的教学中,学生往往...

    指向深度学习的期末基础复习.pdf

    在本篇期末基础复习的深度学习应用指南中,我们将探讨深度学习如何帮助学生更好地掌握知识本质、形成知识间的内在联系,并最终实现思想的深度挖掘。 首先,深度学习强调了抓住知识的本质。在期末复习阶段,学生往往...

    基于深度学习的数学探究——以“一次函数的图象(2)”教学为例.pdf

    与浅层学习相对,深度学习更注重学生积极合作、交流和探究,旨在揭示数学本质,并逐步完善学生的数学知识结构。深度学习能够使学生学会将知识与能力进行迁移应用,发展高阶思维能力。深度学习理论最初由瑞典学者...

    例谈基于“深度学习”的初中生物探究教学.pdf

    【初中生物科学探究中的深度学习】在生物教学中,深度学习体现在引导学生通过实践活动,如探究水温变化对金鱼呼吸的影响,来体验科学探究的过程。与浅层学习相比,深度学习的教学形态更注重情境导入和问题的生成,让...

    为学生的“深度学习”而教.pdf

    "深度学习"在教育中的应用 以下是“深度学习”的详细知识点: 一、“深度学习”的提出背景 当前小学生的学习情况有以下三个方面的问题:知识灌装化、探究形式化和教学碎片化。学生无法理解地学习,教师将知识、...

    思维可视化与深度学习的融合探究.pdf

    学生在深度学习中能够把握知识的本质,建立知识之间的联系,形成整体的认知结构,同时还能在各种情境中灵活运用知识,主动面对困难,发展高阶思维能力。 思维可视化作为教学策略,能够帮助学生从浅层学习转向深度...

    基于深度学习的初中化学实验教学探究.pdf

    综合以上内容,基于深度学习的初中化学实验教学探究,实质上是对如何将现代信息技术深度融入化学教学过程,利用深度学习的算法和模型提升教学质量、优化教学策略、增强学生的学习兴趣和实践能力的深入研究。...

    基于Python深度学习的人脸识别方法探究.pdf

    本文探究了基于Python实现的两种深度学习方法在人脸识别中的应用。 深度学习的发展经历了多个阶段。从20世纪40年代到60年代的起源阶段,深度学习的理论基础逐步奠定,例如1943年提出的M-P模型。到了20世纪80年代到...

    指向深度学习的STEM教育探究.pdf

    在本文中,我们将探究STEM教育的实质及其与深度学习的关系,并构建指向深度学习的STEM教育模型。 首先,我们需要了解STEM教育的特征。STEM教育是一种跨学科的教育模式,强调科学、技术、工程和数学四门学科的交叉...

Global site tag (gtag.js) - Google Analytics