用一个表格分析对比深度学习中所有的优化器
之前对各个优化器理解的不是特别清晰,最近通过分析,列出一个表格来对比他们之间的异同点。如下:
不同优化器的可视化比较(一图胜千言):
1. 不同优化器的优化速度比较。SGD最慢,Adadelta最快,动量法会走一些弯路。
2. 遇到鞍点时不同优化器的反应。SGD会被困于鞍点,动量法会在鞍点耽误较长时间。Adadelta脱离速度最快,优化也最快。Rmsprop次之。
之前对各个优化器理解的不是特别清晰,最近通过分析,列出一个表格来对比他们之间的异同点。如下:
不同优化器的可视化比较(一图胜千言):
1. 不同优化器的优化速度比较。SGD最慢,Adadelta最快,动量法会走一些弯路。
2. 遇到鞍点时不同优化器的反应。SGD会被困于鞍点,动量法会在鞍点耽误较长时间。Adadelta脱离速度最快,优化也最快。Rmsprop次之。