BP梯度下降公式推导笔记
这篇是西瓜书第五章的公式推导笔记，主要在于对公式推导过程说明的笔记，但是博客标注转载需要原文链接，我没有啊，所以写了原创，愧疚。
下面开始是推导过程的近一步的解释。
首先：BP算法的梯度下降（gradient descent）是梯度的反方向，所以有个负号。
先看
η是学习率，后面是偏导数，再乘以-1(梯度反方向嘛)
根据链式法则，求偏导一个一个分解过程，所以这个链式法则应该都能看懂了。
过程如下：
类似可得，这个真的类似：
这篇是西瓜书第五章的公式推导笔记，主要在于对公式推导过程说明的笔记，但是博客标注转载需要原文链接，我没有啊，所以写了原创，愧疚。
下面开始是推导过程的近一步的解释。
首先：BP算法的梯度下降（gradient descent）是梯度的反方向，所以有个负号。
先看
η是学习率，后面是偏导数，再乘以-1(梯度反方向嘛)
根据链式法则，求偏导一个一个分解过程，所以这个链式法则应该都能看懂了。
过程如下：
类似可得，这个真的类似：