吴恩达-深度学习笔记《改善深层神经网络:超参数调试、正则化以及优化》

数据划分-训练/验证/测试集

吴恩达-深度学习笔记《改善深层神经网络:超参数调试、正则化以及优化》

模型估计-偏差/方差

吴恩达-深度学习笔记《改善深层神经网络:超参数调试、正则化以及优化》

正则化(regularization)

正则化是在成本函数中加入一个正则化项,惩罚模型的复杂度。正则化可以用于解决低方差的问题。
吴恩达-深度学习笔记《改善深层神经网络:超参数调试、正则化以及优化》
吴恩达-深度学习笔记《改善深层神经网络:超参数调试、正则化以及优化》

dropout 正则化

吴恩达-深度学习笔记《改善深层神经网络:超参数调试、正则化以及优化》

梯度消失和梯度爆炸

吴恩达-深度学习笔记《改善深层神经网络:超参数调试、正则化以及优化》

batch梯度下降法

吴恩达-深度学习笔记《改善深层神经网络:超参数调试、正则化以及优化》

Mini-Batch梯度下降法

吴恩达-深度学习笔记《改善深层神经网络:超参数调试、正则化以及优化》

指数平均加权

吴恩达-深度学习笔记《改善深层神经网络:超参数调试、正则化以及优化》

动量梯度下降法

吴恩达-深度学习笔记《改善深层神经网络:超参数调试、正则化以及优化》

RMSProp算法

吴恩达-深度学习笔记《改善深层神经网络:超参数调试、正则化以及优化》

Batch Normalization

吴恩达-深度学习笔记《改善深层神经网络:超参数调试、正则化以及优化》