Neural Network Cost fu

Neural Network Cost fu

我们用L来标记神经网络的层数,例如这里就是 4 。我们用 s l (小写的L)来标记第l层的单元数量,例如这里就是:s1=3、s2=s3=5 、s4=4 ,注意这里是不包含偏差单元的,也就是a 0 = 1 的单元。每一层特征的计算,使用的公式依然是逻辑函数:

Neural Network Cost fu      Neural Network Cost fu       

Logistic regression的代价函数为:

Neural Network Cost fu

类比Logistic regression的代价函数,我们得到Neural network的代价函数:

Neural Network Cost fu

逐项分解有:

Neural Network Cost fu

项1

项1表示所有输出单元误差的总和。

Neural Network Cost fu

项2

项2表示对所有权重进行正则化修正,其中i表示行,j表示列,l表示层

2.反向传递

Neural Network Cost fu