您的位置: 首页 > 文章 > 2、改善深层神经网络

2、改善深层神经网络

分类: 文章 • 2024-09-27 09:50:34

偏差方差

2、改善深层神经网络

2、改善深层神经网络

解决过拟合的措施：

1、增加数据集

2、L2正则化

3、Dropout正则化

4、数据预处理方式增加数据集

5、早停机制

2、改善深层神经网络

2、改善深层神经网络

正则化输入的重要性

2、改善深层神经网络

2、改善深层神经网络

梯度检查

2、改善深层神经网络

梯度检查注意事项

2、改善深层神经网络

mini-batch

2、改善深层神经网络

一般取64-512

2、改善深层神经网络

指数加权平均

2、改善深层神经网络

2、改善深层神经网络

2、改善深层神经网络

指数加权平均的偏差修正

2、改善深层神经网络

动量梯度下降

2、改善深层神经网络

2、改善深层神经网络

RMSprop

2、改善深层神经网络

Adam：结合上面两种优化算法的优点

2、改善深层神经网络

2、改善深层神经网络

学习率衰减

2、改善深层神经网络

2、改善深层神经网络

Batch-norm批标准化：减少了该层与上一层的权重更新关系，

2、改善深层神经网络