偏差与方差
算法在不同的训练集上学得的结果很可能不同，即便这些训练集是来自同一个分布。
学习算法的泛化误差可分为三部分：偏差、方差和噪声。
在估计学习算法性能的过程中，我们主要关注偏差与方差。因为噪声属于不可约减的误差。
有了直观感受后，下面用公式推导泛化误差与偏差和方差、噪声之间的关系。
方差
噪声
偏差
泛化误差
偏差：
度量了学习算法的期望预测与真实结果的偏离程序，即刻画了学习算法本身的拟合能力
方差：
度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响
噪声：
期望泛化误差的下界，即刻画了学习问题本身的难度。