@徐亦快

bp神经网络详解

---

首先，要学会它，我们要先在战略上鄙视它。

它到底是个什么东西呢。
先抽出来看看它。

我们说它的自变量是权重w，在通过一系列的操作后，一个合适的w能让输出o与实际相对接近。
x - f(w) - o

将o与实际T的差距称为E。
也就是说，E为一个自变量为x的函数，随着w的变化不断变化。

说到这里，你便能知道bp就是那个如何找到较优解w，使得E最小的算法。

从这里也能发现，w的寻找有时会陷入局部最优的困境，找不到全局最优解。

（其实人生也会是如此，我们从不知道当前的选择是不是全局最优）

 

那么bp究竟是如何找到一个合适的w呢？

这样，w就完成了更新。

 

那么现在的问题就是，E究竟跟w是什么样的关系，即神经网络到底是什么样的函数。

 

下图是一个两层的神经网络。一层隐含层，一层输出层。
这里用上标表示层数，下标表示当前层的结点标记。

其中，黄色标记代表了**函数。

 

我们这时候就很容易发现：

至此，我们已经完成了前馈神经网络的构造，也初步知道了w将由梯度算法更新。
在有了函数的轮廓后，我们来具体计算w的更新步骤。

 

每一层的w更新，都是由链式法则计算的，看上去就像是把误差反向传播了。
（l为当前层数，L为总层数）

 

因此

 

总结

• 写了好久，若有帮助请点赞o(￣▽￣)ｄ