深度学习实战-BP神经网络权值更新公式详解(Caffe之经典模型详解与实战上面的)

　　深度学习-Caffe之经典模型详解与实战上面推导的BP神经网络权值更新公式与机器学习(周志华那本有些不一样)，因此在这里重新推导一遍，由于****的公式编辑器太麻烦，直接照片上传吧！
　　三层神经网络的拓扑结构如图1所示：
　　
　　　　　　　　　　　　　　　　　　　　　　　图１　三层神经网络的拓扑结构
　隐层的传递函数为f1(.)$f_1(.)$,输出层的传递函数为f2(.)$f_2(.)$,
　
　则隐层节点的输出为: zk=f1(∑ni=0vkixi)$z_k=f_1(\sum _{i=0}^n{v}_{ki}{x}_i)$;
　
　输出层节点的输出为：yi=f2(∑qk=0vkjkzk)$y_i=f_2(\sum _{k=0}^q{v}_{kjk}{z}_k)$;
　
　第v$v$个样本的误差为：Ev=12∑mj=1(tvj−yvj)2$E_v=\frac{1}{2}\sum _{j=1}^m(t_j^v-y_j^v{)}^2$，其中tvj$t_j^v$ 为期望输出；
　
　对p$p$个样本点额全局误差为：12∑pv=1∑mj=1(tvj−yvj)2=∑pv=1Ev$\frac{1}{2}\sum _{v=1}^p\sum _{j=1}^m(t_j^v-y_j^v{)}^2=\sum _{v=1}^p{E}_v$

1、输出层权值跟新
　　　采用累计误差BP算法调整wjk$w_{jk}$,使得全局误差E$E$最小，即：
　　　

2隐层权值更新