caffe学习速率

分类: 文章 • 2025-03-22 18:11:15

一个比较好的建议是，将学习速率（ learning rate α）初始化为α≈0.01=102，然后在训练（training）中当loss达到稳定时，将α除以一个常数（例如10），将这个过程重复多次。对于动量（momentum μ）一般设置为μ=0.9，μ使weight的更新更为平缓，使学习过程更为稳定、快速。

参见下图：