神经网络学习 之 M-P模型

神经网络学习 之 M-P模型


这种“阈值加权和”的神经元模型称为M-P模型 ( McCulloch-Pitts Model )，也称为神经网络的一个处理单元( PE, Processing Element )。

常用激活函数
激活函数的选择是构建神经网络过程中的重要环节，下面简要介绍常用的激活函数。
(1) 线性函数 ( Liner Function )
(2) 斜面函数 ( Ramp Function )
(3) 阈值函数 ( Threshold Function )
以上3个激活函数都属于线性函数，下面介绍两个常用的非线性激活函数。
(4) S形函数 ( Sigmoid Function )
(5) 双极S形函数


感知器(Perceptron)。它其实就是基于M-P模型的结构。我们可以看看它的拓扑结构图。

单层感知器的局限性
虽然单层感知器简单而优雅，但它显然不够聪明——它仅对线性问题具有分类能力。什么是线性问题呢？简单来讲，就是用一条直线可分的图形。比如，逻辑“与”和逻辑“或”就是线性问题，我们可以用一条直线来分隔0和1。

为什么感知器就可以解决线性问题呢？这是由它的传递函数决定的。

如果要让它来处理非线性的问题，单层感知器网就无能为力了。例如下面的“异或”，就无法用一条直线来分割开来，因此单层感知器网就没办法实现“异或”的功能。


多层感知器的瓶颈
既然一条直线无法解决分类问题，当然就会有人想到用弯曲的折线来进行样本分类。


BP算法实现的多层感知器网络就是BP网络。



https://blog.csdn.net/u013007900/article/details/50066315(神经网络学习 之 M-P模型)


https://blog.csdn.net/huakai16/article/details/77701020(自适应线性神经元的介绍和Python代码实现)


Neural Network算法有三个  neural_network.BernoulliRBM ，neural_network.MLPClassifier，neural_network.MLPRgression



单层感知器是用于2分类的，多层感知器是用于多分类的，神经网络解决多类分类问题的本质是把原分类问题分解为一类对其他类（one-vs-all）的二类分类问题。