吴恩达机器学习课程笔记（六）过拟合问题

文章目录

什么是过拟合

线性回归中的过拟合

沿用房价预测问题，下边三幅图分别代表欠拟合（underfitting，high bias）、拟合（刚好合适）、过拟合（overfitting，high variance）
bias理解：算法带有一种很强的偏见（偏差），认为房子价格与面积线性相关，而罔顾数据（证据）的不符，先入为主地拟合一条直线，最终导致拟合效果很差。
variance理解：假设函数是一个高阶多项式，可以拟合几乎所有的数据，但将面临的问题是，该假设函数太过庞大，变量太多，我们没有足够的数据来约束它。
吴恩达机器学习课程笔记（六）过拟合问题
过拟合的假设函数往往泛化性能很差。其中，泛化（generalize）是指一个假设模型应用到新样本的能力。

逻辑回归中的过拟合

同样的，下边三幅图分别为欠拟合（high bias）、拟合（刚好合适）、过拟合（high variance）
吴恩达机器学习课程笔记（六）过拟合问题

过拟合的解决方法

过拟合产生原因之一特征过多，数据量过小
策略1：减少特征数量（特征选择，model selection algorithm），缺点是丢掉了数据的一些信息。
策略2：正则化（regularization）保留全部特征，减少量级或参数的大小。
吴恩达机器学习课程笔记（六）过拟合问题

正则化原理

高阶参数惩罚项

在损失函数中添加高阶参数惩罚项，放大参数所带来的效果，训练出的模型中这些高阶参数的值往往趋近于0，从而实现在保留所有特征的同时使模型尽可能的简单，有效避免过拟合。
吴恩达机器学习课程笔记（六）过拟合问题
函数 1 + x + x 2 + 13 x 3 + 14 x 4 1+x+x^2+13x^3+14x^4 1+x+x2+13x3+14x4图像如下图：

函数 1 + x + x 2 + 0.3 x 3 + 0.4 x 4 1+x+x^2+0.3x^3+0.4x^4 1+x+x2+0.3x3+0.4x4的图像如下图，

可以看到，高阶项参数越小，图像越平滑，模型越简单，越不容易出现过拟合。

惩罚所有参数

有时我们无法选择惩罚哪些特征对应参数，此时在损失函数后加上额外的正则化项，惩罚所有的参数。此时的损失函数如下图所示， λ \lambda λ被称作正则化参数，旨在控制两个不同目标之间的取舍。第一个目标，即目标函数的第一项，是想更好地拟合数据，第二个目标，即目标函数的第二项，就是保持参数尽量地小。 λ \lambda λ的作用是控制这两个目标之间的平衡关系，在参数尽可能小的情况下，也能很好地拟合训练集数据，有效避免了过拟合的发生。
吴恩达机器学习课程笔记（六）过拟合问题
λ \lambda λ设置不宜过大，过大导致模型过于简单，容易欠拟合。