BP算法的反向传播和权值修正(1)

BP神经网络典型结构:
BP算法的反向传播和权值修正(1)
BP算法的反向传播和权值修正(1)
(1)信号的前向传播过程:

隐含层第i个节点的输入neti:
BP算法的反向传播和权值修正(1)
隐含层第i个节点的输出yi:
BP算法的反向传播和权值修正(1)
输出层第k个节点的输入netk,k=1:
BP算法的反向传播和权值修正(1)
输出层第k个节点的输出ok ,k=1:
BP算法的反向传播和权值修正(1)
(2)误差的反向传播过程:

误差的反向传播,即首先由输出层开始逐层计算各层神经元的输出误差,然后根据误差梯度下降法来调节各层的权值和阈值,使修改后的网络的最终输出能接近期望值。 Tk为预期输出
对于每一个样本p的二次型误差准则函数为Ep:
BP算法的反向传播和权值修正(1)
系统对P个训练样本的总误差准则函数为:
BP算法的反向传播和权值修正(1)
(3)权值和阈值修正:
根据误差梯度下降法依次修正

输出层权值的修正量Δwki:
BP算法的反向传播和权值修正(1)
输出层阈值的修正量Δak:
BP算法的反向传播和权值修正(1)
隐含层权值的修正量Δwij:
BP算法的反向传播和权值修正(1)
隐含层阈值的修正量Δθi:
BP算法的反向传播和权值修正(1)

输出层权值调整公式:
BP算法的反向传播和权值修正(1)
输出层阈值调整公式:

BP算法的反向传播和权值修正(1)
隐含层权值调整公式:
BP算法的反向传播和权值修正(1)
隐含层阈值调整公式:
BP算法的反向传播和权值修正(1)
又因为一下式子成立:

BP算法的反向传播和权值修正(1)

所以最后得到以下公式:
BP算法的反向传播和权值修正(1)
生成新的权值:

BP算法的反向传播和权值修正(1)
然后进入下一步的循环,
计算误差,直到误差满足要求为止,然后程序结束
BP算法的反向传播和权值修正(1)
BP算法的反向传播和权值修正(1)
*计划做一个具体的实验,并将实验的过程及结果放于–BP算法的反向传播和权值修正实验(2)–中 *