神经网络之Backpropagation更新过程

参考网址:http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop.html

神经网络之Backpropagation更新过程
神经网络之Backpropagation更新过程
神经网络之Backpropagation更新过程
神经网络之Backpropagation更新过程
神经网络之Backpropagation更新过程
神经网络之Backpropagation更新过程
神经网络之Backpropagation更新过程
神经网络之Backpropagation更新过程
神经网络之Backpropagation更新过程
上图的zyz-y是误差,下图的W46δW_{46}\delta是前一项对这个节点求导的结果。
神经网络之Backpropagation更新过程
神经网络之Backpropagation更新过程
神经网络之Backpropagation更新过程
神经网络之Backpropagation更新过程
神经网络之Backpropagation更新过程
下图δ1\delta_{1}所在的一项,是后面节点链式法则求导的结果,与其他公式求导结果一致,特此说明。
神经网络之Backpropagation更新过程
神经网络之Backpropagation更新过程
神经网络之Backpropagation更新过程
神经网络之Backpropagation更新过程
神经网络之Backpropagation更新过程
神经网络之Backpropagation更新过程
不断迭代上述过程,直至收敛或者iteration结束。