`
zhc0822
  • 浏览: 230527 次
  • 性别: Icon_minigender_1
  • 来自: 宝仔的奇幻城堡
社区版块
存档分类
最新评论

神经网络的发展历史

阅读更多

机器学习(Machine Learning)

机器学习是人工智能(Artificial Intelligence)的核心。它和统计学有着密不可分的关系。作为对比,让我们先来看一看这两个领域的区别。

传统的统计学的特点:

 

  1. 低维数据;
  2. 数据中有大量噪点(Noise);
  3. 数据中没有复杂的结构,且所有结构均可以被简化为一个相对简单的模型;
  4. 面临的主要问题是如何从数据中分辨出正确的结构。

 

人工智能的特点:

 

  1. 需要处理高维度的数据(超过100维的数据);
  2. 如果我们正确处理的话,数据中的噪点将不足以遮蔽数据的结构;
  3. 数据中存在大量的结构,且这些结构过于复杂,所以无法用简单的模型代替。
  4. 面临的主要问题是如何找到一种方法来描述复杂的结构从而可让机器来学习。

 

神经网络的发展历史

神经网络作为机器学习的一门重要技术,已经经历了数十年的发展。下面对它做一个简单的归纳。

 

第一代神经网络

感知器(~1960)

感知器(Perceptrons)使用一层手编(Hand-coded)特征,通过学习如何给这些特征加权来识别对象。

感知器的优点:调整权值的学习算法很简洁。

感知器的缺点:感知器一些先天的缺陷,导致它们可以学习的东西大大地受限。

Vapnik和他的同事们发明了大名鼎鼎的支持向量机(SVM),改进了感知器的一些缺陷(例如创建灵活的特征而不是手编的非适应的特征),并得到了广泛的应用。但是归根到底,它还是一种感知器,所以无法避免感知器的先天限制。

 

第二代神经网络

BP(反向传播,Back-propagate)神经网络(~1985)


BP神经网络通常使用梯度法来修正权值。

 

BP并不是一种很实用的方法。原因有三:

 

  1. 它需要被标记的训练数据,但是几乎所有的数据都是未标记的。
  2. 学习时间不易衡量,在多层网络中,速度非常慢。
  3. 它陷入局部极小点而不收敛的情况极大。

 

 

第三代神经网络

最近的神经科学研究表明,和人类的许多认知能力相关的大脑皮层,并不显式地预处理感知信号,而是让它们通过一个复杂的模块层次结构,久而久之,就可以根据观察结果呈现的规律来表达它们。

这一发现促进了深机器学习(DML, Deep Machine Learning)的发展。DML关注的恰恰正是是信息表达的计算模型,和大脑皮层类似。

 

目前DML领域有两种主流的方法:

 

  • Convolutional Neural Networks

 


 

  • Deep Belief Networks。


 

引用

[1] Y. Bengio, “Learning deep architectures for AI", Found. Trends Mach. Learn., vol. 2, no. 1, pp. 1–127, 2009.

[2] Itamar Arel, Derek C. Rose, and Thomas P. Karnowski, "Deep Machine Learning—A New Frontier in Artificial Intelligence Research", IEEE Comput. Intell. Mag., vol. 5, pp. 13-18, 2010.

 

  • 大小: 35 KB
  • 大小: 49.6 KB
  • 大小: 12.8 KB
  • 大小: 43.3 KB
3
4
分享到:
评论

相关推荐

    神经网络发展历史

    一起来了解神经网络的发展历史,一起来了解神经网络的发展历史一起来了解神经网络的发展历史一起来了解神经网络的发展历史一起来了解神经网络的发展历史

    人工神经网络发展历史与训练算法概述.pdf

    人工神经网络发展历史与训练算法概述 人工神经网络是结合了众多学科的内容而发展起来的一门新的信息处理学科。人工神经网络的发展历史可以分为三个阶段:起源阶段、摸索阶段和高速发展阶段。 起源阶段:人工神经...

    卷积神经网络PPT

    #### 二、神经网络发展历史 自20世纪40年代起,神经网络经历了多次高潮与低谷。最早期的神经网络模型是M-P神经元模型,随后出现了感知机。然而,在60年代,《感知机》一书指出了单层神经网络的局限性,导致了神经...

    经典的神经网络权值训练程序,很难得

    “经典的神经网络权值训练程序”指的是那些在神经网络发展历史中具有里程碑意义的算法或实现。这些程序可能包括早期的BP(Backpropagation)算法,这是一种在多层感知器中广泛使用的反向传播方法,或者是更现代的...

    神经网络.ppt

    #### 三、人工神经网络发展历史 ##### 1. 初创阶段(1943—1969) - **1943年**:McCulloch 和 Pitts 提出了M-P模型,这是最早的人工神经元模型之一。 - **1949年**:Hebb提出了Hebb学习规则,为神经网络的学习...

    hopfield神经网络模型与学习算法PPT学习教案.pptx

    Hopfield神经网络模型是神经网络发展历史上的一个重要里程碑,由美国加州理工学院物理学家 John Hopfield 于1982年提出。Hopfield神经网络是一种单层反馈神经网络,具有非线性元件构成的反馈系统,稳定状态的分析比...

    神经网络设计(美)哈根

    神经网络发展历史。BP神经网路,Hotfield神经网络,反向传播算法等

    hopfield神经网络模型与学习算法PPT课件.pptx

    Hopfield 神经网络是神经网络发展历史上的一个重要的里程碑,由美国加州理工学院物理学家 John Hopfield 于 1982 年提出,是一种单层反馈神经网络。Hopfield 网络是一种由非线性元件构成的反馈系统,其稳定状态的...

    人工神经网络复习题..pdf

    3. **神经网络发展历史**:神经网络的研究经历了从早期的感知器模型、M-P神经元模型,到现代的深度学习网络(如卷积神经网络、循环神经网络等)等多个阶段。 4. **网络稳定性**:网络稳定性是衡量网络在受到扰动后...

    hopfield神经网络模型与学习算法研究文档和源码

    Hopfield神经网络模型是神经网络发展历史上的一个重要的里程碑,由美国加州理工学院物理学家J.J.Hopfield教授于1982年提出,是一种单层反馈神经网络。Hopfield网络是一种由非线性元件构成的反馈系统,其稳定状态的...

    2017卷积神经网络研究综述

    #### 二、卷积神经网络发展历史 卷积神经网络的概念最早可以追溯到1980年代,由福岛邦彦(Kunihiko Fukushima)提出的“新认知机”(Neocognitron)模型被认为是最早的CNN原型之一。然而,直到1990年代末至2000年代初,...

    BP神经网络PPT课件

    **神经网络的发展历史** 神经网络的研究始于20世纪40年代,由心理学家McCulloch和数学家Pitts提出的M-P模型奠定了基础。随后,Hebb的学习规则为网络学习算法提供了理论支持。1957年,Rosenblatt的"感知器"模型将...

    BP神经网络详解.ppt

    在人工神经网络的发展历史上,感知机(Multilayer Perceptron,MLP)网络曾对人工神经网络的发展发挥了极大的作用,也被认为是一种真正能够使用的人工神经网络模型,它的出现曾掀起了人们研究人工神经元网络的热潮。...

    最浅显的神经网络讲解-丛神经元到神经网络

    神经网络是机器学习中的一个核心概念,其基础建立在模拟人脑的神经元结构之上。...随着技术的发展,神经网络已经在语音识别、图像识别、自然语言处理等众多领域取得了显著的成果,成为推动人工智能技术发展的重要力量。

    基于MATLAB的BP神经网络应用

    - 这一时期,多种神经网络模型被提出,例如感知器(Perceptron)等,这些模型促进了神经网络的学习算法的研究和发展。 - **20世纪60年代-70年代:低潮时期** - 尽管早期取得了进展,但由于计算能力的限制和理论上的...

    人工神经网络模型发展及应用综述.pdf

    人工神经网络模型发展及应用综述的主要内容包括多层感知器、反向传播神经网络、卷积神经网络、递归神经网络等模型的发展历史和应用情况。同时,本文还总结了人工神经网络的未来发展方向,例如,人工神经网络在机器...

Global site tag (gtag.js) - Google Analytics