偏差-方差权衡（Bias-Variance Tradeoff）
机器学习中讨论某模型时，提到偏差-方差权衡。
如上图，用直线拟合后，相比原来的点其偏差最大，最后一个图则可完全拟合数据点，其偏差最小。但是拿第一个直线模型去预测未知数据，可能会相比最后一个模型更准确，因为最后一个模型过拟合，即第一个模型的方差比最后一个模型小。
一般而言，高偏差意味着欠拟合，高方差意味着过拟合。两者之间有如下关系：
随着模型复杂度增加，模型对于训练集的偏差越小，其方差越大；在训练上表现非常好，但测试集上效果不佳，原因就是过拟合了。我们需要在方差和偏差之间做出一个权衡，如下图所示。
20170816更新：
看到《西瓜书》第2章5节时，讲到这个问题，更细致和清楚，补充如下：
以回归任务为例，学习算法的期望预测为：
使用样本数相同的不同训练集产生的方差为：
期望输出与真实标注的差别为偏差：
对算法的期望泛化误差进行分解，可得到：
偏差刻画了学习算法本身的拟合能力，方差刻画了数据扰动所造成的影响。
训练不足，拟合能力不强，数据扰动不足以大变化。偏差主导误差。
训练足，拟合能力强，扰动被学习到，方差主导误差。若训练集自身非局部特点被学习到，发生过拟合。
很多学习算法控制训练程度。