第七章

目录

7 - 1 - The Problem of Overfitting
7 - 2 - Cost Function
7 - 3 - Regularized Linear Regression
7 - 4 - Regularized Logistic Regression

---

7 - 1 - The Problem of Overfitting

回归问题：

如图第一个模型是一个一阶线性模型，欠拟合，不能很好的拟合训练集数据；第三个模型是四次方的模型，过于强调拟合原始数据，而无法很好的预测新数据。而中间的模型似乎最合适。
分类问题中也存在这样的问题：

如图中多项式???? 的次数越高，拟合的越好，但相应的预测的能力就可能变差。
如何应对以上问题：
1.丢弃一些不能帮助我们正确预测的特征。可以是手工选择保留哪些特征，或者使用一些模型选择的算法来帮忙（例如PCA）
2.正则化。 保留所有的特征，但是减少参数的大小。

---

7 - 2 - Cost Function

从上一节可以发现，高次项往往导致了过拟合的产生，所以如果我们能让这些高次项的系数接近于0 的话，我们就能很好的拟合了。所以我们要做的就是在一定程度上减小这些参数???? 的值，这就是正则化的基本方法。减少$\theta_3$θ3​和$\theta_4$θ4​的大小，在其中$\theta_3$θ3​和$\theta_4$θ4​设置一点惩罚。

修改后的代价函数如下：
$J(\theta_0,\theta_1, . . . ,\theta_n) = \frac{1}{2m}[\Sigma_{i=1}^m(h_\theta(x^{i})-y^{(i)})^2+1000\theta_3^2+10000\theta_4^2]$J(θ0​,θ1​,...,θn​)=2m1​[Σi=1m​(hθ​(xi)−y(i))2+1000θ32​+10000θ42​]
通过这样的代价函数选择出的$\theta_3$θ3​和$\theta_4$θ4​ 对预测结果的影响就比之前要小许多。假如有非常多的特征，但不知其中哪些特征需要要惩罚，则将对所有的特征进行惩罚，并且让代价函数最优化的软件来选择这些惩罚的程度。得到了一个较为简单的能防止过拟合问题的假设：$J(\theta_0,\theta_1, . . . ,\theta_n) = \frac{1}{2m}[\Sigma_{i=1}^m(h_\theta(x^{i})-y^{(i)})^2+\lambda\Sigma_{j=1}^n\theta_j^2]$J(θ0​,θ1​,...,θn​)=2m1​[Σi=1m​(hθ​(xi)−y(i))2+λΣj=1n​θj2​]
其中????又称为正则化参数。
根据惯例，我们不对$\theta_0$θ0​进行惩罚。经过正则化处理的模型与原模型的可能对比如下图所示：

但是如果选择的正则化参数λ 过大，则会把所有的参数都最小化了，导致模型变成$h_\theta(x) =\theta_0$hθ​(x)=θ0​，也就是一条直线，从而造成欠拟合。
所以要选择适当的$\lambda$λ!!!

---

7 - 3 - Regularized Linear Regression

若要使用梯度下降法使代价函数最小化，所以梯度下降算法将分两种情形：
同样也可以利用正规方程来求解正则化线性回归模型，方法如下所示：

---

7 - 4 - Regularized Logistic Regression

对于逻辑回归，代价函数增加一个正则化的表达式，得到代
价函数如下：
$J(\theta) = -\frac{1}{m}\Sigma_{i=1}^m[y ×log(h_\theta(x)) +(1 − y)× log(1 − ℎ_\theta(x))]+\frac{\lambda}{2m}\Sigma_{j=1}^n\theta_j^2$J(θ)=−m1​Σi=1m​[y×log(hθ​(x))+(1−y)×log(1−hθ​(x))]+2mλ​Σj=1n​θj2​
Python 代码：

import numpy as np
def costReg(theta, X, y, learningRate):
theta = np.matrix(theta)
X = np.matrix(X)
y = np.matrix(y)
first = np.multiply(-y, np.log(sigmoid(X*theta.T)))
second = np.multiply((1 - y), np.log(1 - sigmoid(X*theta.T)))
reg = (learningRate / (2 * len(X))* np.sum(np.power(theta[:,1:the
ta.shape[1]],2))
return np.sum(first - second) / (len(X)) + reg

1、虽然正则化的逻辑回归中的梯度下降和正则化的线性回归中的表达式看起来一样，但两者的$h_\theta(x)$hθ​(x)不同,有很大差别。
2、 $\theta_0$θ0​不参与其中的任何一个正则化。