常见的几种最优化方法（梯度下降法、牛顿法、拟牛顿法、共轭梯度法等）

在看神经网络的时候，用到了最优化理论数学课上讲的几种梯度下降法再次温习下，数学是工具

这篇博主写的挺好的收藏一下。

梯度：有时候也称之为斜度，也就是一个曲面沿着给定方向的倾斜程度。表示某一个函数在该点出的方向导数沿着该方向取得最大值，即函数在该点出沿着该方向（此梯度方向）变化最快，变化率最大。

梯度下降法是最早最简单，也是最为常用的最优化方法。梯度下降法实现简单，当目标函数是凸函数时，梯度下降法的解是全局解。一般情况下，其解不保证是全局最优解，梯度下降法的速度也未必是最快的。梯度下降法的优化思想是用当前位置负梯度方向作为搜索方向，因为该方向为当前位置的最快下降方向，所以也被称为是”最速下降法“。最速下降法越接近目标值，步长越小，前进越慢。

https://www.cnblogs.com/shixiangwan/p/7532830.html

从任意一个点走到最低点，通过坡度最陡的路径走能够最快速的到达