模型的欠拟合与过拟合

使用训练集去训练模型，参数的选择是依据最小化训练误差，加上训练集和测试集一般不是独立同分布，所以会有distribution dfift，出现过拟合或者欠拟合。

过拟合
过度依赖训练数据，是的模型在训练集上方差高，低偏差。
对上面一句话的理解：
1.训练数据少，无法估计整个数据集的分布
2.模型过于复杂，参数量远多于训练集数
还有一种理解是，在进行线性回归的时候，数据是线性可分的，决策边界的参数会变的无穷大，决策边界会接近一条垂直线，这也是过拟合，解决方法就是要把决策边界w*x + b的w变小。
解决方法：
1.加入正则化，是的某些神经元权重递减，当权重为零时神经元失效，常用的有：
L1正则：会有稀疏解，实现参数稀疏性，以及特征选择
L2正则：整体压缩权重值在较小的范围内
拉普拉斯分布（L1正则）在参数w=0点的概率最高，因此L1正则化相比于L2正则化更容易使参数为0；高斯分布（L2正则）在零附近的概率较大，因此L2正则化相比于L1正则化更容易使参数分布在一个很小的范围内

2.训练多个模型，bagging多模态训练，以每个模型的平均输出作为结果。
3.在训练集添加验证集（validation data），进行K折交叉验证。
4.增加训练数据集：从数据源头获取更多数据或者通过一定规则（例图片可以进行剪裁等操作）扩充数据。
5.减少模型的复杂度：减少隐藏层，隐藏神经元或者在适当模型的时候进行early stop
6.dropout，随机失活，使得神经元随机隐层，不参与反向传播，参数更新。

欠拟合
无法从训练集中提取有效的信息，模型的复杂度多低。
训练误差大，高偏差
解决方法：
1.增加性的特征（特征组合，高纬度特征）
2.减少正则化参数
3.集成学习
4.使用非线性模型，比如核SVM 、决策树、深度学习等模型