偏差和方差

算法在不同训练集上学得的结果可能不同，即便这些训练集来自于同一分布。对于测试样本 $x$ ，学习算法的期望预测为

\bar{f (x)} = E_{D} (f (x; D))

其中，

D

为训练集，

f

为训练得到的模型。
使用样本数相同的不同训练集训练产生的方差为：

v a r (x) = E_{D} [(f (x; D) - \bar{f (x)})^{2}]

噪声为：

ϵ^{2} = E_{D} [(y_{D} - y)^{2}]

预测值的期望值与真是标记之间的差别称为偏差（Bias）
偏差和方差