梯度与梯度下降法

声明: 本文有一部分本人自己的观点和理解, 不一定完全正确, 仅供参考. 如果发现错误或者有疑问的地方, 请指出, 谢谢!

方向导数

导数和偏导数的概念比较简单而且很多人接触过，这里不进行赘诉。

我们直接看方向导数。
对于多变量函数$F(x, y, z)$F(x,y,z), 我们想知道它在点$P_0$P0​沿方向$\vec l$l 的变化率，用 $\left. \frac {\partial F} {\partial {\vec l}} \right| _{P_0}$∂l∂F​∣∣∣​P0​​ 表示。这就是函数F在P点沿方向$\vec l$l 的方向导数。

如果你熟悉偏导数的话， 你可以看出来方向导数和偏导数很像。偏导数是函数在特定方向上（如x轴， y轴）的变化率。 方向导数是函数在任意方向上的变化率。方向导数可以理解为在任意方向上的偏导数。毕竟我们对于函数的研究不能仅仅局限在某几个方向。

方向导数公式
$\begin{aligned} \left. \frac {\partial F} {\partial {\vec l}} \right| _{P_0} &= lim \frac {F(P) - F(P_0)} {|PP_0|}\\ &= \left. \frac {\partial F} {\partial x} \right| _{P_0} cos \alpha + \left. \frac {\partial F} {\partial y} \right| _{P_0} cos \beta + \left. \frac {\partial F} {\partial z} \right| _{P_0} cos \gamma \end{aligned}$∂l∂F​∣∣∣∣​P0​​​=lim∣PP0​∣F(P)−F(P0​)​=∂x∂F​∣∣∣∣​P0​​cosα+∂y∂F​∣∣∣∣​P0​​cosβ+∂z∂F​∣∣∣∣​P0​​cosγ​

其中$cos \alpha$cosα, $cos \beta$cosβ, $cos \gamma$cosγ 分别为$\vec l$l 与x, y, z 的方向余弦。

梯度

知道了方向导数，我们考虑一个问题：一个点有无数个方向，也就有无数个方向导数（前提是方向导数存在），那么我们最关心的是哪个？（总不能都关心吧，那也太花心了）答案是我们关心最大的方向导数。

最大的方向导数意为着沿着这个方向函数变化最快（函数的变化率最大）。

哪个方向的方向导数最大？

把方向导数的公式变换一下
$\begin{aligned} \left. \frac {\partial F} {\partial {\vec l}} \right| _{P_0} &amp;= \left. \frac {\partial F} {\partial x} \right| _{P_0} cos \alpha + \left. \frac {\partial F} {\partial y} \right| _{P_0} cos \beta + \left. \frac {\partial F} {\partial z} \right| _{P_0} cos \gamma \\ &amp;= G *（cos \alpha, cos \beta, cos \gamma） \\ &amp;= |G| cos&lt;G, \vec l&gt; \end{aligned}$∂l∂F​∣∣∣∣​P0​​​=∂x∂F​∣∣∣∣​P0​​cosα+∂y∂F​∣∣∣∣​P0​​cosβ+∂z∂F​∣∣∣∣​P0​​cosγ=G∗（cosα,cosβ,cosγ）=∣G∣cos<G,l>​
其中$G=(\left. \frac {\partial F} {\partial x} \right| _{P_0}, \left. \frac {\partial F} {\partial y} \right| _{P_0}, \left. \frac {\partial F} {\partial z} \right| _{P_0})$G=(∂x∂F​∣∣​P0​​,∂y∂F​∣∣∣​P0​​,∂z∂F​∣∣​P0​​)
由向量的知识，我们知道当$\vec l$l与G同向时，即$cos&lt;G, \vec l&gt; =1$cos<G,l>=1时值最大。

梯度至此诞生

梯度的意义就是用来表示最大的方向导数。

$grad F = ( \frac {\partial F} {\partial x}, \frac {\partial F} {\partial y}, \frac {\partial F} {\partial z})$gradF=(∂x∂F​,∂y∂F​,∂z∂F​)

说明

• 梯度是一个向量
• 梯度的方向是最大方向导数的方向。
• 梯度的大小是这个最大方向导数的值。

梯度下降法

梯度下降法就是利用梯度的性质求解函数最小值的方法.

[思考]: 对于一元函数我们求解函数最小值的方法有很多, 很多人比较喜欢的就是求导. 如果是多元函数求解最小值或者最大值, 我们还能如此简单的解决吗?该怎么求导? 求偏导吗?求哪个偏导?

显然这个问题不是简单的求导就可以解决的, 我们可以通过梯度下降法解决.

想一想, 梯度代表着什么? 表示最大方向导数的向量. 最大方向导数的代表着函数沿着这个方向增长最快, 如果我们反其道而行之, 是不是方向就是函数减小最快的方向. 如果我们每次都能沿着减小最快的方向逼近最小值, 我们是不是就可以最快的找到最小值(或者近似的最小值).

像这样:

可以这样理解梯度下降法, 我们在当前点找到该点的梯度, 然后沿着梯度的负方向前进一段距离到达一个新的点, 然后再计算梯度, 前进一段距离. 一直这样重复下去, 直到找到最小值或者接近最小值.

公式:

$\theta_{i+1} = \theta_{i} - \alpha * grad F(\theta_{i})$θi+1​=θi​−α∗gradF(θi​)

其中$\theta_{i}$θi​ 为当前点, 可以是一个向量, 表示函数的多个自变量.$\theta_{i+1}$θi+1​为下一个点, $grad F(\theta_{i})$gradF(θi​)是当前点的梯度.$\alpha$α表示步长或者学习率(在深度学习中被称为学习率).

说明:

1. 式中的$\alpha$α不能太大也不能太小.

• 太小, 计算速度慢, 需要迭代很多次.
• 太大, 可能会跳过最小值.

2.由于我们每次更新点都会有一定的步长, 在这段距离中梯度是变化的, 我们在一个点找到的梯度不一定就是这一段的梯度, 所以我们不是一直沿着梯度的负方向前进的. 这一点有点像贪心算法, 基于这一点, 我们也不能让$\alpha$α太大.

梯度下降法的缺点

如果函数比较复杂, 存在很多局部最小值, 可能最后梯度下降找到的是局部最小值, 而不是全局最小值.

END

谢谢!