梯度下降之--导数与梯度理解
什么是梯度下降？
首先引图（引用）（https://blog.****.net/han_xiaoyang/article/details/50178505）
梯度（Gradient）与梯度下降法（Gradient Descent）： 深入理解的概念
对于梯度下降首先掌握的基础知识：
回顾：1 导数与偏导数的区别
（1）导数
导数是函数某一点，沿x轴的变化率：
方向导数
方向导数：给一个方向，出一个实数(函数/标量场沿该方向的变化率)
方向上的导数值。
引：通俗的解释是：
我们不仅要知道函数在坐标轴正方向上的变化率（即偏导数），而且还要设法求得函数在其他特定方向上的变化率。而方向导数就是函数在其他特定方向上的变化率。
3 梯度
梯度的定义：
在函数各个点的变化率的一个向量, 向量的模就是方向导数的值
性质：--梯度是个有大小的值的向量；---最大方向导数的值（向量的模）就是梯度方向；---梯度的值就是最大方向导数的值。
通俗理解梯度：给一个函数/标量场，出一个矢量场(方向为每点方向导数值最大的方向，大小为其变化率的矢量组成的矢量场)。（参考知呼专刊）
引用@忆臻PHD Candidate个人总结的理解：
总结：
方向导数是各个方向上的导数
偏导数连续才有梯度存在
梯度的方向是方向导数中取到最大值的方向，梯度的值是方向导数的最大值
知呼专刊：里面讨论了三个问题 1 如何直观形象的理解方向导数与梯度以及它们之间的关系？ 2 为什么所有方向导数中会存在并且只存在一个最大值？而不是有多个最大值、或者说没有最大值？ 3 这个最大值在哪个方向取得？值是多少？