机器学习基础学习笔记(六)偏差-方差分解角度来避免过拟合、欠拟合
以下内容均为https//nndl.github.io/nndl-book.pdf的学习笔记。
偏差-方差分解
存在问题
拟合能力强模型,复杂度高,但存在过拟合问题。
复杂度低的模型,拟合能力弱,存在欠拟合问题。
如何平衡好拟合能力与复杂度之间的关系?
偏差-方差分解(Bias-Variance Decomposition)的作用
偏差与方差的意义
偏差(Bias):指一个模型在不同训练集上的平均性能和最优模型的差异,可以用来衡量一个模型的拟合能力。值越小越好。
方差(Variance):是指一个模型在不同训练集上的差异,可以用来衡量一个模型是否容易过拟合。值越小越好。
损失???? 通常是由于样本分布以及噪声引起的,无法通过优化模型来减少。
最小化期望错误ℛ(????)等价于最小化偏差和方差之和。
偏差与方差值图示
每个图的中心点为最优模型????∗(????),蓝点为不同训练集???? 上得到的模型???????? (????).
图 | 意义 |
---|---|
a)低偏差,低方差 | 理想情况 |
b)高偏差,低方差 | 泛化能力好,拟合能力不足 |
c)低偏差,高方差 | 拟合能力好,泛化能力不足 |
d)高偏差,高方差 | 最差 |
偏差与方差值对于欠拟合与过拟合指导
1. 方差一般会随着训练样本的增加而减少,当训练样本足够多的化,需要选择能力强模型来减小偏差。
但存在训练集有限,无法兼顾最优方差与最优偏差。
2.图2.7给出了机器学习模型的期望错误、偏差和方差随复杂度的变化情况,其中红色虚线表示最优模型.最优模型并不一定是偏差曲线和方差曲线的交点.
解释:模型越复杂,拟合能力越强,与最优模型差距越小,bias呈下降。
模型越复杂,对应过拟合风险越大,variance呈上升。
最后在拟合能力与复杂度平衡,即偏差与方差平衡后,得到最优模型。
3.对于深度学习指导
1)当一个模型在训练集上的错误率比较高时,说明模型的拟合能力不够,偏差比较高------------->增加数据特征、提高模型复杂度、减小正则化系数等操作来改进。(欠拟合)
2)当模型在训练集上的错误率比较低,但验证集上的错误率比较高时,说明模型过拟合,方差比较高--------->可以通过降低模型复杂度、加大正则化系数、引入先验等方法来缓解.(过拟合)
3)还有一种有效降低方差的方法为集成模型,即通过多个高方差模型的平均来降低方差。(过拟合)