20191204——机器学习复习 欠拟合与过拟合
问题提出
我们有时候在训练集训练的很好，可是在测试集上结果就不是很理想
出现了过拟合
欠拟合 —— 学习到的特征太少了
过拟合—— 学习到的特征太多了
定义：欠拟合：一个假设在训练数据上不能获得更好的拟合，并且在测试数据上也不能很好地拟合数据
过拟合：在训练数据上比其他假设更好的拟合数据
解决方案
正则化
L2正则化(更常用)： 尽量减少高次项特征的影响，可以使得其中一些W都很小，接近为0，削弱某个特征的影响
优点：越小的参数模型越简单，越简单的模型则越不会容易产生过拟合现象
Ridge回归
损失函数+ 惩罚系数* 惩罚项
L1正则化：使一些项直接为0，删除这个特征的影响
LASSO回归