6.3正则化逼近

1. 双准则式
2. 正则化
3. 例子

双准则式

目标是寻找向量x使其较小，而且使得残差Ax-b也较小。即

其中，两个范数分别在上。

解释：

（1）估计解释：线性y=Ax+v,x是估计值，v是噪声，y是测量值，先验知识为x很小，目标就是在y=b的时候照的最好的估计值x。

（2）最优设计：x越小越偏析越高效，模型y=Ax只对较小的x有效。

（3）鲁棒性解释：目标函数为Ax-b，当A有误差e时，目标变成了(A+e)x-b=Ax-b+ex，x越小对结果造成的误差越小。

正则化

最常见的正则化的形式是极小化目标加权和，即，。

或者，。

Tikhonov正则化

这个正则化利用Euclid范数，得到一个二次凸优化问题。

此问题也等价于一个最小二乘问题：

目标函数对x求导，得到，令其为0，得到。

最优输入设计

输入是u(t)，输出是y(t)，

目标是选择输入序列以达到一些目标：

1. 跟踪输出：使输出跟目标输出一致，用二次函数表示输出误差：，其中y(t)表示实际输出，表示目标输出。
2. 小的输入：希望输入不能太大，用二次函数度量输入的幅值：
3. 较小的输入变化：希望输入不应该变化太快，依旧用二次函数度量：

正则化形式：

下图显示了对不同大小的得到的输出和输出图像：

最上面的图是对应具有很小的值，可以看出输入较大，输出具有较小的误差。

中间的图对应具有比上图大的值，可以看出，输入得值相比于上图较小，具有一定的误差。

最下面的图对应较大的，输入的值较小，而且变化较快，具有一定的误差。

信号重构

给定受污染的信号的情况下，构建对原始信号x的估计值，这一过程尘给信号重构。多数重构方法最终视作将某些光滑运算作用在上以得到，因此也称为光滑化。

其中是变量，是问题参数，函数是凸的，称为正则化函数或光滑目标。

重构问题是在2范数下寻求接近被污染信号并且光滑的信号。

二次光滑：

总构差重构：

例子：

左侧上下两个图分别是估计值和受污染信号，右侧图从下往上值由小到大，光滑后的输入信号。可以看出较小的时候，输入信号不够光滑，保留了太多噪声，适中的时候可以很好地保留信号变化信息。当较大时，输入信号过于光滑，失去了信号的变化信息。

左侧上下两个图分别是估计值和受污染信号，右侧图从下往上值由小到大，光滑后的输入信号。可以看出较小的时候，输入信号不够光滑，保留了太多噪声，适中的时候可以很好地保留信号变化信息。当较大时，输入信号过于光滑，失去了信号的变化信息。

左侧上下两个图分别是估计值和受污染信号，右侧图从下往上值由大到小，光滑后的输入信号。可以看出较小的时候，输入信号不够光滑，保留了太多噪声，适中的时候可以很好地保留信号变化信息。当较大时，输入信号过于光滑，失去了信号的变化信息，此时，因为，会使相邻的两个信号非常接近，所以会导致输入图像变成了分段线性函数，在有些区域会保持常量。