反向传播：公式推导篇

概述

本节推导了一个两层的全连接层的正向传播公式以及反向传播公式。虽然只是用一个两层的全连接层举例，各层也只取了一个参数作为推导，但我觉得阅读下来大家还是能对神经网络的正向传播、反向传播以及参数更新产生更深刻的理解。本节只是公式推导篇，欢迎阅读另一篇反向传播：代码演示篇(未更新)

正文

网路构架如下图所示，接下来给大家推导反向传播过程以及参数是如何更新的。

该网络包括一个输入层，一个隐含层，一个输出层。这里损失函数L我们使用均方差损失函数。我们可以很快得出正向传播公式，其中σ()指Sigmoid**函数。

隐藏层到输出层的参数的偏导数

这里取$W_{2}$W2​中的$w_{ni}$wni​参数作为举例推导。
观察正向传播公式，参数$w_{ni}$wni​这一列最开始与$H$H相乘，得到$g_{i}$gi​，$g_{i}$gi​与$G_{i}$Gi​关联，$G_{i}$Gi​与$L_{i}$Li​关联，所以这里求和符号可以去掉。以下是公式推导：

输入层到隐藏层的参数的偏导数

这里取$W_{1}$W1​中的$w_{mn}$wmn​参数作为举例推导。
观察正向传播公式，参数$w_{mn}$wmn​最开始与$h_{n}$hn​关联，$h_{n}$hn​与$H_{n}$Hn​关联，而$H_{n}$Hn​跟$W_{2}$W2​相乘后与整个$g$g关联，整个$g$g与整个$G$G关联，整个$G$G跟整个$L$L关联，所以在这里求和符号不可以去掉。以下是公式推导：

这些参数是如何更新的

现在我们有了这些参数的偏导数，我们就可以通过梯度下降法更新参数了：
α就是我们常说的学习率。

为什么梯度下降法是有效的？

引用知乎@老董的答案