机器学习第七章
7.1过拟合问题
-
泛化能力：机器学习算法（模型）对新样本（没出现在训练集的数据）的适应能力。训练好的模型对新样本可以做出适当的预测的能力。
-
过拟合： 机器学习模型在训练样本中表现得过于优越，导致在验证数据集以及测试数据集中表现不佳。泛化能力弱。
-
欠拟合： 首先欠拟合就是模型没有很好地捕捉到数据特征，不能够很好地拟合数据。
解决过拟合的办法：
-
减少特征变量的数量
人工挑选
模型选择算法（Model selection algorithm）
-
正则化
也许每个特征变量都或多或少对预测产生影响，我们可以通过正则化来减少量级（应该是例如到
之类的）或参数
的大小，而保留每个变量。
7.2代价函数
由于参数过多，会使假设函数过拟合（如左边蓝色线），但是我们也不想丢弃x3和x4这些特征，所以我们要在代价函数中加入惩罚项，如,当参数
过大时，会使得代价函数变大，而我们的目标是损失函数最小化，因此，会迫使参数θ值变小，当参数θ值趋近于0时，新加入的项
趋近于0，相当于去掉这一项，此时，模型又近似于二次函数形式。解决了过拟合问题。
当参数很多时，无法确定那些参数对模型影响大，哪些影响较小。无法对参数进行选择约束。因此，我们就从整体上对参数进行约束，代价函数就变成下图这样，对除以外的所有参数进行约束。
为正则参数。
正则化的第一个目标：与目标函数的第一项有关，就是我们想更好地拟合训练集；第二个目标：与目标函数的第二项（正则化项）有关，保持参数尽量地小。是正则化参数，用来控制两个不同目标之间的平衡关系。