范数的理解和应用

1、理解函数和映射的区别

• 函数和映射都是两个非空集合中元素的对应关系，其中元素都有对应关系。
• 函数是一种特殊的映射，在二维空间上容易想象，函数可以对应几个空间上若干个点组成的图形。但当超出三维空间时，就提出映射来更好的表达这种关系。
• 映射是一个集合通过某种关系转化到另一个集合，通常数学上说先映射再讨论函数。矩阵的引入就是表征多维空间的线性映射关系，简单可以理解为，一个集合（向量），通过一种映射关系（矩阵），得到另一个几何（另一个向量）。

2、范数的理解

• 向量的范数，表示这个原有集合的大小。
• 矩阵的范数，表示这个变化过程的大小的度量。
• 具体的几范数，定义不同，一个矩阵范数往往又一个向量范数引出，称为算子范数。

3、范数的应用

【补充】：

• 0范数，向量中非零元素的个数。
• 1范数，为绝对值之和。
• 2范数，就是通常意义上的模。
• 无穷范数，向量或矩阵中的最大元素

4、不同范数对应的曲线

【说明】：由图可知，q越小，曲线越贴近坐标轴，q越大，曲线越远离坐标轴，并且棱角越明显。那么 q=0时极限逼近于十字架， 和 q=oo时极限逼近正方形。

5、压缩感知中的范数应用

压缩感知应用于信道估计时，要求信号是稀疏信号或在某种变换域下是稀疏的。信号的稀疏性可以理解为信号包含少量的非零元素，其他大多数元素的系数绝对值都接近零。因此，需寻找一个变换基是信号具有稀疏性。
压缩感知的数学表达：

【假设】

• 有长度为 N 的原始信号 x（未知），稀疏度为k；
• Φ为观测矩阵（已知），它将高维信号x投影到低维空间
• y=Φx为长度M的一维测量值，y（已知）

【则】 压缩感知问题就是在已知测量值y和测量矩阵Φ的基础上，求解欠定方程组y=Φx得到原信号x.

【但是】 由于方程的个数远小于未知数的个数，则满足条件的解有无穷多个，哪一个是最优的结果呢？

【范数出场求最优】

• 首先出场 0范数—以稀疏向量x中非零元素的个数最小作为约束目标:
  
  缺点：求解不容易，计算量大，甚至无法验证解的可靠性。
  1范数在一定条件下和0范数具有等价性，且计算复杂度下降可得到近似解，于是转化为线性归化问题。

• 1范数出场—以稀疏信号x的系数绝对值之和最小作为约束目标：
  

1范数法也称为基追踪法具体的求解方法有梯度投影法和内点法。梯度投影法的特点是求解速度快，适用于实时性要求高的场景，但求解结果不够准确；而内点法则相反，求解的结果十分准确，但算法复杂度大，收敛速度慢，从而局限了其应用场景。