吴恩达机器学习：偏差与方差、欠拟合与过拟合

在吴恩达机器学习课程的第86课时中，讲解了偏差和方差与欠拟合和过拟合的关系。
1、偏差与方差的概念
先看下网上关于偏差与方差的例子。

该例子可以理解为射击打靶。
偏差指的是多次射击的平均环数与环心的偏差度，显然上方的两个图的偏差较小，而下方两图偏离圆心较远，偏差较大。
方差指的是多次射击的成绩稳定状态，显然左边两图射击点较为集中，其方差较小，右边两图射击点不怎么集中，稳定性较差，其方差较大。
2、过拟合与欠拟合

分别使用1次、2次、4次多项式多数据集进行拟合，使用1次多项式进行拟合时，左图为欠拟合状态，使用4次多项式进行拟合时，右图为过拟合状态。
3、两者之间的关系

当拟合多项式的次数较低时，拟合不太好，其为欠拟合状态，训练误差为高偏差，此时训练误差和交叉验证误差均很高。
当拟合多项式的次数较高时，由于拟合得非常好，其为过拟合状态，此时训练误差偏差度极低，由于其预测的准确度很低，此时方差较高，为高方差状态，训练误差和交叉验证误差均很高。

当正则化参数lambda很大时，其对参数theta的惩罚很重，会导致欠拟合状态，此时为高偏差状态，预测不准确；
当正则化参数lambda较小时，其对参数thata的惩罚较轻，会导致过拟合状态，此时预测较为准确，但预测不稳定，方差较大，为高方差状态。