关于机器学习的偏差和方差与过拟合和欠拟合的关系


前言

关于机器学习的偏差和方差与过拟合和欠拟合的关系

一、偏差和方差定义

偏差是衡量一个模型在训练数据集上拟合程度的
方差是衡量这个模型在不同数据集合(测试集合)上拟合程度的

二、解释

关于机器学习的偏差和方差与过拟合和欠拟合的关系
如上图

  • 低偏差低方差表示改模型很好
  • 低偏差高方差表明模型过拟合
  • 高偏差低方差表明模型欠拟合
  • 高偏差高方差表明模型欠拟合

改善

模型修改策略

  • 过拟合:增大数据规模、减小数据特征数(维数)、增大正则化系数λ
  • 欠拟合:增多数据特征数、添加高次多项式特征、减小正则化系数λ