前向传播算法和反向传播算法

  最近在看神经网络中的前向传播算法(FP)和反向传播算法(BP)，特地进行总结一下，方便以后理解。

1.基本概念

  上图是一张自己画的神经网络的图。假设每一层都添加了偏度单元（即值为1的神经元），用来表示阀值（因为阀值通常是一个常数）。

  上图中{x1,x2,x3}$\{x_1,x_2,x_3\}$表示输入（假设其中添加了偏度单元，后面不再重复），wij(k)$wij(k)$表示联结权重，其中i$i$表示每次输入中的第i$i$个元素，j$j$表示经过联结权重处理之后的输出中的第j$j$个元素，k$k$指明是第k$k$层到第(k+1)$(k+1)$层之间的联结权重。aij$a_{ij}$表示经过联结权重处理后的输出，其中i$i$表示第i$i$层，j表示第j$j$个输出;H(x)$H(x)$表示**函数，Zij$Z_{ij}$表示aij$a_{i}j$经过**函数处理之后的输出，即Zij=H(aij)$Z_{ij}=H(a_{ij})$。{y1,y2,y3}$\{y_1,y_2,y_3\}$表示经过神经网络处理之后最终的输出。

  其中

其中i$i$表示第i$i$层，j$j$表示第j$j$个元素，N$N$表示总输入个数，z$z$表示输入，对于输入层{x1,x2,x3}$\{x_1,x_2,x_3\}$可以表示为{z11,z12,z13}$\{z_{11},z_{12},z_{13}\}$。例如上图中有:
    a31=w11(2)∗z21+w21(2)∗z22+w31(2)∗z23$a_{31}=w_{11}(2)\ast z_{21}+w_{21}(2)\ast z_{22}+w_{31}(2)\ast z_{23}$

2.前向传播算法

  前向传播算法，顾名思义，是由前往后进行的一个算法。最开始，我们会初始化一组w$w$的取值，并且选定一个**函数，为了后面的方便，我们假设选定sigmoid$sigmoid$函数作为函数，其函数形式为：

并且它的导数为H′(x)=H(x)(1−H(x))$H^{\mathrm{\prime }}(x)=H(x)(1-H(x))$。

  有了联结权重w$w$和**函数H(x)$H(x)$之后，就可以由前往后计算，依次算出所有的a$a$值，z$z$值，最终算出输出层的y$y$值。这就是前向传播算法。

3.反向传播算法

  前面用初始化的联结权重计算的输出层值和实际值肯定会有很大的偏差，我们需要对连接权重进行优化，此时就需要使用反向传播算法。

  现在假设经过前向传播算法计算的某个输出值为yk$y_k$，表示输出层的第k$k$个输出，而其实际的值为tk$t_k$（训练样本的标签值是已知的，不然怎么训练）。那么误差函数定义如下：

后向传播算法是通过梯度下降的方法对联结权重进行优化，所以需要计算误差函数对联结权重的偏导数。

  对于和输出层直接关联的连接权重，即上图中的wij(3)$w_{ij}(3)$，简称为w(3)$w(3)$，对其求偏导有：

例如图中，假设仅仅计算y1$y_1$的输出偏差对w11(3)$w_{11}(3)$的偏导数:

其中因为a41=w11(3)∗z31+w21(3)∗z32+w31(3)∗z33$a_{41}=w_{11}(3)\ast z_{31}+w_{21}(3)\ast z_{32}+w_{31}(3)\ast z_{33}$，当a$a$对w$w$求偏导数时，仅仅有一项z$z$和对应的w$w$相乘得到a$a$，所以求导结果便是某个z$z$，请结合上面例子理解。

  1.对于和输出层直连的wij(k)$w_{ij}(k)$有:

我们假设∂E∂a(k+1)j≡δk+1$\frac{\mathrm{\partial }E}{\mathrm{\partial }{a}_{(k+1)j}}\equiv {\delta }^{k+1}$,并且有∂a(k+1)j∂wij(k)=zkj$\frac{\mathrm{\partial }{a}_{(k+1)j}}{\mathrm{\partial }{w}_{ij}(k)}=z_{kj}$，那么有:

由于zkj$z_{kj}$在前向传播算法中就已经可以求得，所以重点是求解各层的δ$\delta$,以便获得对w$w$的偏导，用于梯度下降过程中w$w$的更新。

  2.对于隐藏层的wij(k)$w_{ij}(k)$，我们无法直接知道该层该层的损失为多少，需要由后面传播过来，这就是反向传播的原理。这里假设输出层(第k+1层)共有j$j$个神经元，第k层有i$i$个神经元，第(k-1)层有l$l$个神经元；与输出层相连的w$w$为wij(k)$w_{ij}(k)$，和输出层最近的隐藏层的w$w$为wli(k−1)$w_{li}(k-1)$，表示该层(k−1$k-1$层)共有l$l$个神经元。则输出误差对该层w$w$的偏导数为:

又：

即=：

将公式3.2和公式3.3进行对比，可以发现：

所以就可以由后面的δ$\delta$推出前面的δ$\delta$，即用δk+1${\delta }^{k+1}$推出δk${\delta }^k$，依次类推，就可以求出每一层对应的δ$\delta$，又根据公式3.1，就可以求解出误差对每一层联结权重w(k)$w(k)$的偏导数，再利用如下公式利用梯度下降法更新权重：

其中m表示第m轮迭代，(m+1)表示第(m+1)轮迭代。

  所以反向传播算法就是，先根据输出层的误差，计算出输出层对应的δ$\delta$，然后再依次反向往前推出隐藏层的δ$\delta$。看公式3.4你会发现，其实第k$k$层的某个δk${\delta }^k$，相当于从第k+1层的δk+1$k+1层的{\delta }^{k+1}$中分配了一部分误差过来，而这个分配的权重，就是前向传播算法中使用的连接权重w$w$，所以这类似于一个反复的过程。以下图中的w11(2)$w_{11}(2)$为例，误差对它的偏导数为:

又:

可以看出w11(2)$w_{11}(2)$影响了a31$a_{3}1$，进而影响了z31$z_{3}1$，而z31$z_{31}$对后面的输出{a41,a42,a43}$\{a_{41},a_{42},a_{43}\}$都有影响，并且是通过连接权重w1j(3)$w_{1j}(3)$来实现的;所以当有错误发生时，误差也是通过相应的联结权重w1j(3)$w_{1j}(3)$反向回去，分配错误。

所以反向传播算法的完整过程如下:
1.初始化联结权重wij$w_{ij}$.
2.对于输入的训练样本，求取每个节点输出和最终输出层的输出值.
3.对输出层求取δk=(yk−tk)∗H′(ak)${\delta }_k=(y_k-t_k)\ast H^{\mathrm{\prime }}(a_k)$
4.对于隐藏层求取δj=H′(ak)∗∑kδk∗wjk${\delta }_j=H^{\mathrm{\prime }}(a_k)\ast \sum _k{\delta }_k\ast w_{jk}$
5.求取输出误差对于每个权重的梯度:∂En∂wji=δj∗zi$\frac{\mathrm{\partial }{E}_n}{\mathrm{\partial }{w}_{ji}}={\delta }_j\ast z_i$
6.更新权重：wm+1=wm+α∂E∂w$w^{m+1}=w^m+\alpha \frac{\mathrm{\partial }E}{\mathrm{\partial }w}$