BP神经网络-梯度下降算法

BP神经网络-梯度下降算法

**函数使用sigmoid函数,即BP神经网络-梯度下降算法

神经网络前向传输和反向传递的过程:

1.前向传递:

令D=a·w1 + b·w2 + c·w3 ,则 d = sigmoid(D) ,所以 BP神经网络-梯度下降算法

同理,令E=a·w4 + b·w5 + c·w6,则e= sigmoid(E) ,所以 BP神经网络-梯度下降算法

令G=d·w7 + e·w8 + f·w9 ,则g= sigmoid(G),所以 BP神经网络-梯度下降算法

2.反向传播,根据导数的链式法则,调整权值w

假设目标函数BP神经网络-梯度下降算法

然后,有BP神经网络-梯度下降算法  ,BP神经网络-梯度下降算法  ,BP神经网络-梯度下降算法

然后BP神经网络-梯度下降算法

同理,可求得w2 , w3 ,w4 ,w5 ,w6

假设BP神经网络-梯度下降算法,则 BP神经网络-梯度下降算法 ,其中BP神经网络-梯度下降算法为学习率  。

同理可对其它权值进行更新。