估计理论(5)：BLUE的定义(6.3)

摘自Steven M. Kay，《Fundamentals of Statistical Signal Processing: Estimation Theory》。
  在实际应用中，经常会出现MVU估计量不存在的情况。例如，我们可能不知道数据的PDF，甚至无法为它假设一个模型。在这种情况下，我们以前依赖CRLB和充分统计理论的方法就不再适用。即使PDF已知，后一种方法也不能保证能够得到MVU估计量。
  由于我们无法确定最优MVU估计量，我们有理由求助于次优估计量。但当我们这样做时，我们永远不知道我们可能损失了多少性能（因为MVU估计量的最小方差是未知的）。然而，如果次优估计的方差可以确定，并且它符合我们的系统规范，我们就可以认为用它来解决当前问题是足够的。如果它的方差太大，那么我们将需要研究其他次优估计，希望找到符合我们规范的估计。
  一种常见的方法限定估计在数据中是线性的，然后找到无偏且方差最小的线性估计，称为最佳线性无偏估计（BLUE）。如下所述，只需知道PDF的一阶、二阶矩就可以确定BLUE。因为不需要完全了解PDF，所以BLUE通常更容易实现。

这章介绍，如何根据PDF的一阶、二阶矩，来确定BLUE，作为次优解。这里的BLUE是对于数据样本来说是线性的。

6.3 BLUE的定义

  对于数据集$x[0],x[1],\ldots,x[N-1]$x[0],x[1],…,x[N−1]，其PDF为$p({\bf x};\theta)$p(x;θ)与未知参数$\theta$θ有关。BLUE估计表达如下
$\tag{6.1} \hat \theta=\sum_{n=0}^{N-1}a_nx[n]$θ^=n=0∑N−1​an​x[n](6.1)显然这里$\hat \theta$θ^为线性的，是$\bf x$x的线性组合。通过选择不同系数$a_n$an​，就可以得到不同的估计。而其中BLUE估计，应为无偏且具有最小方差。
  下面我们来讨论BLUE最优性。

• 只有当MVU估计是线性的时候，BLUE才是最优的（即为MVU估计）。
    如图6.1(a)所示，对于WGN中的直流量估计(Example 3.3)，由于MVU估计是线性的,因此BLUE就是MVU估计。在图6.1(b)中，对于均匀分布噪声的估计(Example 6.8)，由于MVU估计不是线性的，因此BLUE估计（样本均值）就不是MVU估计。

• BLUE有可能完全不可用。
    例如，我们考虑对WGN功率的估计。我们知道MVU估计(Example 3.6)
  $\hat \sigma^2=\frac{1}{N}\sum_{n=0}^{N-1}x^2[n]$σ^2=N1​n=0∑N−1​x2[n]对于数据来说是非线性的。如果我们强制估计为线性的(prob 6.1)，则有
  $\hat \sigma^2=\frac{1}{N}\sum_{n=0}^{N-1}a_nx[n]$σ^2=N1​n=0∑N−1​an​x[n]其期望值为
  ${\rm E}(\hat \sigma^2)=\frac{1}{N}\sum_{n=0}^{N-1}a_n{\rm E}(x[n])=0$E(σ^2)=N1​n=0∑N−1​an​E(x[n])=0显然我们找不到无偏估计。尽管BLUE在这个问题中不合适，但如果我们把数据变换为$y[n]=x^2[n]$y[n]=x2[n]，则可以得到估计为
  $\hat \sigma^2=\frac{1}{N}\sum_{n=0}^{N-1}a_ny[n]=\frac{1}{N}\sum_{n=0}^{N-1}a_nx^2[n]$σ^2=N1​n=0∑N−1​an​y[n]=N1​n=0∑N−1​an​x2[n]根据无偏估计的要求，有
  ${\rm E}(\hat \sigma^2)=\frac{1}{N}\sum_{n=0}^{N-1}a_n\sigma^2=\sigma^2.$E(σ^2)=N1​n=0∑N−1​an​σ2=σ2.