梯度下降总结

分类: 文章 • 2022-10-03 13:08:14

梯度下降是我们在训练神经网络时用于训练参数的方法，本文总结了目前常用的几种梯度下降算法，包括原理、公式推导、解决的问题，主要要SGD、Momentum、NAG、AdaGrad、AdaDelta、RMSProp、Adam，先贴上手写的笔记，有时间再翻译过来。
几种算法的可视化结果如下，阅读完后边的笔记后可以返回来看助于理解，
梯度下降总结

笔记：