各种神经网络结构

CNN：

卷积网络是为识别二维形状而特殊设计的一个多层感知器，这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具有高度不变性。 这些良好的性能是网络在有监督方式下学会的，网络的结构主要有稀疏连接和权值共享两个特点，包括如下形式的约束：

1 特征提取。每一个神经元从上一层的局部接受域得到突触输人，因而迫使它提取局部特征。一旦一个特征被提取出来， 只要它相对于其他特征的位置被近似地保留下来，它的精确位置就变得没有那么重要了。

2 特征映射。网络的每一个计算层都是由多个特征映射组成的，每个特征映射都是平面形式的。平面中单独的神经元在约束下共享相同的突触权值集，这种结构形式具有如下的有益效果：a.平移不变性。b.自由参数数量的缩减(通过权值共享实现)。

3.子抽样。每个卷积层跟着一个实现局部平均和子抽样的计算层，由此特征映射的分辨率降低。这种操作具有使特征映射的输出对平移和其他形式的变形的敏感度下降的作用。

 

http://www.sohu.com/a/162631397_473283

 

二、RNN Recurrent Neural Networks（RNNs）循环神经网络，

1、适合于输入无限大，但是元素是有限的。

2、具有记忆功能，能够实现符号序列（语言），时间系列等信息。假设我们要训练一个处理固定长度句子的前馈网络。传统的全连接前馈网络会给每个输入特征分配一个单独的参数，所以需要分别学习句子每个位置的所有语言规则。相比之下，循环神经网络在几个时间步内共享相同的权重，不需要分别学习句子每个位置的所有语言规则。

3、图灵可计算的函数都可以用rnn来描述。

4、浅层的结构

x->h->o->L  h->h 或o->h

 

三、双向循环神经网络（BRNNs） 

手写识别、语音识别 以及生物信息学比较有效

 

四、seq2seq 编码解码器

输入-》上下文-》输出  上下文和输出相关联的注意力机制

基于attention 的rnn：目标语言词只和一部分源语言的词相关,即解码时，上下文中的词，对输出的影响是有差异的。

 

五、Long Short Term Mermory network（LSTM）：跨度比较大的序列也可以处理 

1、RNN有一问题，反向传播时，梯度也会呈指数倍数的衰减，导致经过许多阶段传播后的梯度倾向于消失，不能处理长期依赖的问题。

2、改善方法，单个隐藏层神经元的内部分结构和门控

1> input gate 是否允许前一层的输入进入此节点

2> forget gate 是否保留当前节点的历史信息

3> output gate 是否输出给下一层

 

GRU：gated recurrent unit 另一种门控的神经元

 

六、Zero-Shot Translation 2016年底

http://www.36dsj.com/archives/92519