神经网络解决过拟合问题
1.惩罚性成本函数
惩罚性成本函数是在损失函数上加一个惩罚项,如下图所示,下图中加了一个权重的平方和,如果该系数很大,在训练过程中要得到最小损失,就必须要某些权重很小或者接近于0,所以可以达到减少网络的复杂度。
2.dropout
dropout就是指在神经网络训练过程中随机对于某些权重不更新,有助于防止网络对某条路径过度依赖
3. Early stopping
在10个epoch过后测试一次对于测试样本的反应,然后再继续训练
4.动量
加一个动量项有可能跳过局部最小值