反向传播算法学习

一.准备工作

反向传播算法是神经网络中一个重要的过程。

了解反向传播算法之前先来理解几个概念：

1.全导 和偏导

求导是数学计算中的一个计算方法，它的定义就是，当自变量的增量趋于零时，因变量的增量与自变量的增量之商的极限。在一个函数存在导数时，称这个函数可导或者可微分。可导的函数一定连续。不连续的函数一定不可导。

全导数是对各个变量求偏导后叠加

偏导数是只对其中一个变量求导数，物理几何意义是一个平面（平行于x或y或z轴）上的一条线，表示固定面上一点的切线斜率。

举例：

f(x,y)=x的平方+y的平方

那它的全导数 就是 2x+2y

对于点(1,1)，

x方向的偏导数(只对x求导,y方向数值固定)  是 2x

y方向的偏导数  是 2y

 

2.链式求导法则：

最简单的理解，

有一个函数为:x1/x0，无法直接求解，经过转换后 是(x1/x2)*(x2/x3)*(x3/x0)

转换为3个式子的相乘， 每个式子可以求解，继而间接求解出x1/x0

将上面的x1/x0 替换为 某个函数对其中一个变量的导数，这就叫链式求导法则

 

3.学习速率：

学习速率是反向传播算法的的一个配置参数。

在第一次随机出一组参数并得到结果，由结果算得误差之后要对神经网络中的参数进行调整。

学习速率 就是定义 再次调整时的“步子” 大小。

步子越大，对误差的学习越快，但不够精细，可能导致错过那个最优值；

步子越小，学习的够精细，但耗时就更长。

 

4.反向传播算法：

简单理解，根据每次训练结果产生的误差值，对神经网络的参数不断修正，直到误差为0或者达到要求值。

 

 

二.详解