小白都理解的人工智能系列(13)——如何加速神经网络训练过程
问题1:如何加速训练?
SGD将大的数据拆分成一块块小的数据进行训练。
Momentum通过不断调整w值的形式,朝着梯度往下走,以期尽快达到终点。
AdaGrad方式类似于一个鞋子,一走弯路,就让你摔倒,让你不得不走直路,尽快到底目的地。
Adam是结合两者一起,大部分情况下都适用。
问题1:如何加速训练?
SGD将大的数据拆分成一块块小的数据进行训练。
Momentum通过不断调整w值的形式,朝着梯度往下走,以期尽快达到终点。
AdaGrad方式类似于一个鞋子,一走弯路,就让你摔倒,让你不得不走直路,尽快到底目的地。
Adam是结合两者一起,大部分情况下都适用。