Where does the error come from?

由下图可以看到，更加复杂的模型不一定就能够在testing data 上有更好的表现。
testing data 的average error 是由 bias 和 variance 组成的，这里的 bias 实际上就是指整个估测中心的偏差，而 variance 恰好对应了估测值距离他们中心的离散程度。这两个概念实际上和数理统计中的期望和方差相对应。

从下图可以看到，当使用不同次数的model时，显然右侧的函数对于不同的数据更加散乱，一次的 function 相较于五次的 function更加集中（也就是有更低的方差）。

接下来对他们的 bias 进行考察。下图是对不同的数据组进行训练得到的多条一次函数模型（左图），与五次函数的模型（右图）。可以发现，一次函数的集中程度很高（有低方差），但是这些函数的平均函数（左图直线）与实际上的真实函数有一定的 bias。
而右图的五次的 function，它有较大的方差，但是将他们的参数平均后的五次函数与真实函数十分接近，也就是说髙次函数有可能会有更大的方差，但是有更小的bias。

可以得到如下结论：①如果模型不能很好地适应training data，这说明它有较大的bias，这称为“欠拟合”，即“Underfitting”。
②如果模型能够适应training data，但是在testing data 上有巨大的误差，这说明该模型可能是有较大的variance。这种现象称为“过拟合”，即“Overfitting”。