纸上推导举例---什么是梯度下降，BP算法

梯度下降

BP算法（Back Propagation)

BP算法其实和梯度下降是一样的，只不过是应用于深层网络。
BP算法的核心思想：使用梯度下降来搜索可能的权向量W的假设空间，以找到最佳的拟合样例的权向量。即利用损失函数，每次向损失函数负梯度方向移动，直到损失函数取得最小值。

例子
对下图使用BP算法,根据loss_function，反向传播，不断优化神经网络中的权重W, V


参考