Bias 和 Variance的计算

Bias(偏差)描述的是预期值偏离真实值的大小,所以high bias代表Underfitting(欠拟合)。
Variance(方差)描述的是任何特殊采样数据可能造成的与预期值的偏离,所以high variance 代表Overfitting(过拟合)。
下面介绍Bias和Variance的计算。

Bias

估计量的bias定义为:
Bias 和 Variance的计算
如果Bias 和 Variance的计算,则说估计量是无偏差的。

Bernoulli分布的bias计算:
假设分布期望值是Bias 和 Variance的计算,则对于每一个样本Bias 和 Variance的计算,分布函数为:
Bias 和 Variance的计算
计算方法如下图所示:
Bias 和 Variance的计算
由上图可得结果是0,所以估计量Bias 和 Variance的计算是unbiased。

Gaussian分布
假设样本服从高斯分布Bias 和 Variance的计算
数学期望估计量的偏差计算方法下图所示:
Bias 和 Variance的计算
所以高斯分布的数学期望估计量是无偏差的。
方差的估计量计算方法如下图所示:
Bias 和 Variance的计算
所以按这种方法啊高斯分布的方差估计量是有偏差的,可以通过设置:
Bias 和 Variance的计算
来使高斯分布的方差估计量是无偏差。

Variance

方差估计的是随数据采样变化函数的变化情况,估计量的方差写成:
Bias 和 Variance的计算
Bernoulli分布方差估计量的计算方法
Bias 和 Variance的计算