本文是Deep Learning 之 最优化方法系列文章的RMSprop方法。主要参考Deep Learning 一书。

以下节选自个人深度学习笔记。

内容整合来源于网络与个人理解。

 

RMSprop

口RMSprop是一种改进的Adagrad,通过引入一个衰减系数ρ，让r每回合都衰减一定比例。

口 这种方法很好的解决了Adagrad过早结束的问题，适合处理非平稳目标，对于RNN效果很好。（注意：为二阶矩！）

 

    再看看结合Nesterov动量的RMSProp，直观上理解就是： 
    RMSProp改变了学习率，Nesterov引入动量改变了梯度，从两方面改进更新方式。

 

 

参考：

Deep Learning 最优化方法之RMSProp