神经网络代价函数

神经网络二元分类和多类别分类问题

神经网络代价函数


反向传播

Backpropergation algorithm

让代价函数最小化的算法

minimize the cost function

需要做的是去解决$\frac{\partial}{\partial \theta_{ij}^{(l)}}J(\theta)$∂θij(l)​∂​J(θ)这个偏导项

反向传播算法

$\delta_j^{{l}}$δjl​ = error of node j in layer l.

• 从输出层开始计算$\delta_j^{{l}}$δjl​项
• 返回上一层第三层隐藏层的计算$\delta_j^{{l}}$δjl​项
• 最后返回上一层第二层隐藏层的计算$\delta_j^{{l}}$δjl​项，结束
• 第一层没有误差，所以不用计算

具体算法：

梯度检验/检查

Gradient checking

梯度检验的步骤以及重要性：

对于复杂函数的梯度计算的检验十分重要。