神经网络与深度学习笔记
第二章反向传播算法如何工作
反向传播算法实质上是一种计算梯度的快速算法。
2.1计算神经网络中的矩阵计算
我们首先规定一下网络中权重w和偏置b的表示方法。表示从
层的第k个神经元到第
层第j个神经元的权重。同样，用
表示第
第j个神经元的偏执，用
表示第
层的第j个神经元的**函数值。如下图所示。
权重的表示：
偏置和**值的表示：
那么，我们计算第层的第j个神经元的**值
由下面的公式求得：
我们对每一层都定义一个权重矩阵
，其中权重矩阵
中第j行第k列的元素为
。定义一个偏置向量
，每一个元素是
，表示这一层上第j个神经元的偏置值。定义一个**值向量
，每一个元素是
，表示这一层上的第j个神经元的**值。则运用矩阵乘法，以上公式可以重新写为：
更具体的，将上式展开得：
2.2代价函数的两个假设
第一个假设：代价函数可以看作是训练集中每个训练样本x所产生的代价函数的均值
，每一个训练样本产生的代价函数
。
第二个假设：代价函数是神经网络的权重w和偏置b的函数。
2.3Hadamard乘积
向量按位相乘 s ⊙ t
2.4反向传播的四个基本方程