神经网络中的前向传播和反向传播理解
前向传播
输入,输出,缓存为
前向传播的过程:
向量化的过程可以写成:
式中,就是初始的输入X。如下图的两层神经网络所示,可以很好的理解。
反向传播
反向传播主要采用数学上的链式法则,反向传播的公式推导可以总结为4个公式。
输入,输出,,
形式转换一下,和上面的式子是等价的,步骤如下:
第5个公式由4式代入1式得到。前4个式子就可以实现反向传播。
写成向量化的形式为:
参考:[1] 吴恩达深度学习课程
输入,输出,缓存为
前向传播的过程:
向量化的过程可以写成:
式中,就是初始的输入X。如下图的两层神经网络所示,可以很好的理解。
反向传播主要采用数学上的链式法则,反向传播的公式推导可以总结为4个公式。
输入,输出,,
形式转换一下,和上面的式子是等价的,步骤如下:
第5个公式由4式代入1式得到。前4个式子就可以实现反向传播。
写成向量化的形式为:
参考:[1] 吴恩达深度学习课程