神经网络优化的方法-梯度、超参数
神经网络优化方法
一:使用正则化技巧提高模型的泛化能力
常用的正则化方法如下所示:
- L1、L2 正则化
- dropout 正则化
- Data Augmentation 增加训练样本
- Early stopping 选择合适的迭代训练次数
二:梯度优化
常用的梯度优化方法如下:
-
梯度下降
-
随机梯度下降 (SGD)
-
动量梯度下降 (Momentum GD)
-
AdaGrad
-
RMSprop
-
Adam
三:网络初始化技巧和超参数调优
- 超参数的调试:
- 学习因子 α
- 动量梯度下降因子 β
- Adam 优化算法参数 β1、β2、ε
- 神经网络层数
- 各隐藏层神经元个数
- 学习因子下降参数
- 批量训练样本包含的样本个数
- L1、L2 正则化系数 λ