Adaptive Filter Learing Notes 自适应滤波学习笔记07 线性预测


我们考虑的过程都是广义稳态随机过程,且均值为0。考虑的线性预测有两种,一种是向前线性预测(forward linear prediction),用u(n1)u(n-1)u(n2)u(n-2)\dotsu(nM)u(n-M)来预测u(n)u(n)Un1\mathscr{U}_{n-1}表示u(n1)u(n-1)u(n2)u(n-2)\dotsu(nM)u(n-M)张成的空间,u^(nUn1)\hat{u}(n\mid \mathscr{U}_{n-1});另一种是向后线性预测(backward linear prediction),用u(n)u(n)u(n1)u(n-1)\dotsn(nM+1)n(n-M+1)预测u(nM)u(n-M)
Adaptive Filter Learing Notes 自适应滤波学习笔记07 线性预测

向前线性预测

u^(nUn1)=k=1Mwf,ku(nk),\begin{aligned} \hat{u}(n\mid \mathscr{U}_{n-1})=\sum_{k=1}^{M}w_{f,k}^*u(n-k), \end{aligned}
向前预测误差为fM(n)=u(n)u^(nUn1)=u(n)k=1Mwf,ku(nk)=:k=0MaM,ku(nk).\begin{aligned} f_M(n)=&u(n)-\hat{u}(n\mid \mathscr{U}_{n-1})\\ =&u(n)-\sum_{k=1}^{M}w_{f,k}^*u(n-k)\\ =:&\sum_{k=0}^{M}a_{M,k}^*u(n-k). \end{aligned}
和Wiener滤波一样在均方误差的意义上考虑最佳系数,J=E[fM(n)2]=r(0)wfHrrHwf+wfHRwfJ=\mathbb{E}\left[|f_M(n)|^2\right]=r(0)-\boldsymbol{w}_{f}^{H}\boldsymbol{r}-\boldsymbol{r}^{H}\boldsymbol{w}_{f}+\boldsymbol{w}_f^{H}\boldsymbol{R}\boldsymbol{w}_f,【符号介绍可以看Adaptive Filter Learing Notes 自适应滤波学习笔记01 随机过程】。要求JminJ_{\min}就需要Rwf=r\boldsymbol{R}\boldsymbol{w}_f=\boldsymbol{r},此时令PM=JminP_M=J_{\min}。可以得到两个等式Rwf=r,PM=r(0)rHwf.\begin{aligned} & \boldsymbol{R}\boldsymbol{w}_f=\boldsymbol{r},\\ & P_M = r(0)-\boldsymbol{r}^{H}\boldsymbol{w}_f. \end{aligned} 第一个式子相对与Wiener滤波就是Wiener-Hopf方程,两个式子结合起来可以得到向前预测的增广Wiener-Hopf方程(Augmented Wiener-Hopf Equations for Forward Prediction)[r(0)rHrR][1wf]=[PM0]\left[\begin{matrix} r(0) & \boldsymbol{r}^H\\ \boldsymbol{r} & \boldsymbol{R} \end{matrix}\right]\left[\begin{matrix} 1 \\ -\boldsymbol{w}_f \end{matrix}\right]=\left[\begin{matrix} P_M \\ \boldsymbol{0} \end{matrix}\right] 也可以写成RM+1aM=[PM0]\boldsymbol{R}_{M+1}\boldsymbol{a}_M=\left[\begin{matrix} P_M \\ \boldsymbol{0} \end{matrix}\right]
而解这个方程可以利用Cramer法则避免求逆,而且等式右边只有一个非零值,所以在维数比较低的时候比较好求。

向后线性预测

u^(nMUn)=k=1Mwb,ku(nk+1),\hat{u}(n-M\mid \mathscr{U}_n)=\sum_{k=1}^{M}w_{b,k}^{*}u(n-k+1),
向后预测误差为bM(n)=u(nM)u^(nMUn)=u(nM)k=1Mwb,ku(nk+1)\begin{aligned} b_M(n)=&u(n-M)-\hat{u}(n-M\mid \mathscr{U}_{n})\\ =&u(n-M)-\sum_{k=1}^{M}w_{b,k}^*u(n-k+1) \end{aligned}
同样地,按Wiener滤波的方式考虑,得到Rwb=rB\boldsymbol{R}\boldsymbol{w}_b=\boldsymbol{r}^{B*},这里的B\cdot^B表示这个向量的顺序调换了一下,原来最后一项变成第一项,倒数第二项变为第二项,以此类推。
观察一下这个式子RTwbB=rRHwbB=r\begin{aligned} & \boldsymbol{R}^T\boldsymbol{w}_b^{B}=\boldsymbol{r}^{*}\\ & \boldsymbol{R}^{H}\boldsymbol{w}_b^{B*}=\boldsymbol{r} \end{aligned}注意RH=R\boldsymbol{R}^H=\boldsymbol{R},所以有wbB=wf\boldsymbol{w}_b^{B*}=\boldsymbol{w}_f。而此时向后预测误差的均方值为PM=r(0)rBTwb=r(0)rHwfP_M=r(0)-\boldsymbol{r}^{BT}\boldsymbol{w}_b=r(0)-\boldsymbol{r}^H\boldsymbol{w}_f,注意PMP_Mr(0)r(0)都是实值的。

向后预测的增广Wiener-Hopf方程是[RrBrBTr(0)]=[wb1]=[0PM].\left[\begin{matrix} \boldsymbol{R} & \boldsymbol{r}^{B*}\\ \boldsymbol{r}^{BT} & r(0) \end{matrix}\right]=\left[\begin{matrix} -\boldsymbol{w}_b\\ 1 \end{matrix}\right]=\left[\begin{matrix} \boldsymbol{0}\\ P_M \end{matrix}\right].