您的位置: 首页 > 文章 > 【深度学习】:优化器的选择 【深度学习】:优化器的选择 分类: 文章 • 2024-09-26 21:15:46 三种梯度下降法: 若是样本很多,用标准梯度法会很慢,用随机梯度会很快,但是由于每个样本都会用来更新权重,会有噪声的引入,会产生更新错误。 Momentum: 因此训练速度会有一定的加快。 NAG(Nesterov accelerated gradient): Adagrad: RMSProp:基于adagrad的缺点提出了这个 Adadelta: Adam: