momentum梯度下降法

指数加权平均

假设有多个时间点对应的值$\theta_t$θt​，那么我可以得出一个指数加权平均值$V_t$Vt​：
$\begin{cases} V_t=0&t=0\\ V_t=\beta V_{t-1}+(1-\beta)\theta_t&t>0 \end{cases}${Vt​=0Vt​=βVt−1​+(1−β)θt​​t=0t>0​

在结果上看，$V_t$Vt​可以看成以$t$t结尾的$\dfrac{1}{1-\beta}$1−β1​天的平均$\theta$θ值。

当$\beta=0.9$β=0.9时有：
$V_t=0.1\theta_t+0.1\cdot0.9\theta_{t-1}+0.1\cdot0.9^2\theta_{t-2}+0.1\cdot0.9^3\theta_{t-3}+...$Vt​=0.1θt​+0.1⋅0.9θt−1​+0.1⋅0.92θt−2​+0.1⋅0.93θt−3​+...

当超过$\dfrac{1}{1-\beta}$1−β1​时，其系数小于$\dfrac{1}{e}$e1​，影响较小了。

空间优势：

假设我不需要保留前一个数据，那么只需要$V:=\beta V+(1-\beta)\theta_t$V:=βV+(1−β)θt​，也就是说，我只需要开一个与$\theta_t$θt​相同大小的数据即可实现这一过程，而不像直接取平均值那样要保留其它项。空间优势巨大。

指数加权平均……偏差修正

开始的几天并不正确，因为虽然乘了系数，但是项数却不够，所以可以进行修改，使得$V_t:=\dfrac{V_t}{1-\beta^t}$Vt​:=1−βtVt​​

验证以下可以发现，前面几项除了一个小数，变大了，也就是说趋近了真实的值。

momentum（动量）梯度下降法

类似与上述的情况下，梯度下降会按照蓝色的线进行优化参数。

我们想要减少垂直方向的变化幅度，加大水平方向的变化。

考虑指数加权平均的方法。

---

我们在神经网络中，算出了$dw,db$dw,db，然后令：

$Vdw:=\beta Vdw+(1-\beta)dw\\ Vdb:=\beta Vdb+(1-\beta)db\\ \;\\ w:=w-\alpha\cdot Vdw\\ b:=b-\alpha\cdot Vdb$Vdw:=βVdw+(1−β)dwVdb:=βVdb+(1−β)dbw:=w−α⋅Vdwb:=b−α⋅Vdb

思索一下这样的做法对原来的梯度下降法的优化，如果遇到上面的情况，上下的起伏因为平均后变得很小。而左右方向的前进速度因为一直累加而变大。

所以说，在大部分情况下，momentum梯度下降法都是快于原来的梯度下降法的。