过拟合的代价函数以及正则化

当函数出现过拟合的问题，可以考虑减少输入的特征，但通常并不希望采用这种做法，另一种常用的解决过拟合问题的方法就是正则化。我们通过修改过拟合的函数的代价函数来实现正则化,修改后的正则化线性回归的代价函数如下：

后面添加的一个约束项，对特征的权重进行约束。而参数lambda 则控制两个目标之间的平衡，一个目标函数是更好地拟合训练集，另外一个目标就是防止出现过拟合的现象。很明显如果正则化参数lambda过大，对特征的惩罚力度过大，就会出现欠拟合的现象。

接下来就是将正则化应用于线性回归以及逻辑回归中防止出现过拟合的问题。在线性回归中，有两种不同的方法得到线性回归的模型参数：一种是基于梯度下降法，另外一种就是基于正规化方程。将正则化应用于梯度下降法，就需要在原来的梯度下降法的基础上添加正则化的约束项，如下所示：

而将正则化方法应用于正规化方程中，则作如下修改：

，

将正则化运用于逻辑回归中，其梯度下降法的修改形式如上，不同的地方就是逻辑回归中的过拟合的代价函数以及正则化

是sigmoid函数。