小白都理解的人工智能系列(13)——如何加速神经网络训练过程

问题1:如何加速训练?

SGD将大的数据拆分成一块块小的数据进行训练。

小白都理解的人工智能系列(13)——如何加速神经网络训练过程


Momentum通过不断调整w值的形式,朝着梯度往下走,以期尽快达到终点。

小白都理解的人工智能系列(13)——如何加速神经网络训练过程


AdaGrad方式类似于一个鞋子,一走弯路,就让你摔倒,让你不得不走直路,尽快到底目的地。

小白都理解的人工智能系列(13)——如何加速神经网络训练过程

Adam是结合两者一起,大部分情况下都适用。

小白都理解的人工智能系列(13)——如何加速神经网络训练过程