防止拟合方法概要
- 更多的数据
- 不复杂数据（手写体识别），使用浅层网络
- 正则化
- Dropout
- 数据增强
- Early Stopping
正则化
θ为W,b，正则化让其变小，这样线性函数的斜率的坡度更加的平缓，拟合的效果更加的平滑。
pytroch实现
Early Stopping
训练集数据上已经过拟合，与验证集上的误差越来越大，这时候早停。
Dropout
随机的去除神经元，好处在于学习拟合的曲线更加的平滑，减少噪声对其的影响。
注意：torch中的概率为dropout的概率，而pytorch的概率为保持的概率。
做测试的时候，不适用dropout，调用.eval()方法。
