machine learning个人笔记系列(六)
向Andrew Ng的机器学习课程致敬
使用机器学习的建议
这章主要讨论如何优化算法。
- 将数据集划分为3小类数据集:训练集,验证集,测试集
- 使用训练集来训练模型,使用验证集来选择参数,使用测试集来验证效果
训练错误与验证错误
先来看看模型的训练错误率与验证集错误率的关系
如下图所示:
以线性回归模型为例,随着特征值的幂越来越高,训练集的错误率越来越低,而验证集的错误率则有一个先下降后上升的过程。先下降是因为之前是欠拟合(bias),后上升是因为过拟合(variance)。
错误率与正则化参数
再来看加上正则项后,错误率与正则化参数的关系,如下图所示:
学习曲线
下面是欠拟合与过拟合两种场景的错误率曲线图,欠拟合时,训练错误率与验证错误率都很高。
过拟合则训练错误率比较小,但是验证错误率会比较高。