【Deep Learning 】深度模型中的优化问题（二）Momentum（动量）
本文是Deep Learning 之 最优化方法系列文章的Momentum（动量）方法。主要参考Deep Learning 一书。
以下节选自个人深度学习笔记。
内容整合来源于网络与个人理解。
Momentum ( 动量）
上图中：首先，按照原来的更新方向更新一步（棕色线），然后在该位置计算梯度值（红色线），然后用这个梯度值修正最终的更新方向（绿色线）。
上图中描述了两步的更新示意图，其中蓝色线是标准momentum更新路径。
④ 结论：
1.动量方法主要是为了解决Hessian矩阵病态条件问题（直观上讲就是梯度高度敏感于参数空间的某些方向）的。
2.加速学习。
3.一般将参数设为0.5,0.9，或者0.99，分别表示最大速度2倍，10倍，100倍于SGD的算法。
4.通过速度v，来积累了之间梯度指数级衰减的平均，并且继续延该方向移动：