LSTM学习前传

转发来自：https://zhuanlan.zhihu.com/p/...
DNN 的结构
DNN（Deep Neural Network）的基本结构如下。其中x表示一个训练样本向量，y表示期望的输出向量。

因此，一个基础的 DNN 的网络就是下图的形式

Back Propagation
当设计好了 DNN 的结构，且有了训练样本，再给出损失函数的定义，接下来就可以求 DNN 中的参数W和b了。而所用的算法，本质就是梯度下降法，这里称为 BP（Back Propagation） 算法。需要注意的是，Deep Learning 中所说的 BP 跟传统的 BP 不完全一样，已经简化成纯粹的梯度下降，更容易理解，以下介绍的也是这种方法。

下图先简单地回顾下求导的链式法则。