同步更新于github page

Guided Filter点云降噪

Guided Filter一般用来对2D图像进行降噪等处理，实际上，稍作修改后可以对3D点云进行降噪。

从Guided Filter的基本假设出发，可以推导出针对3D数据的处理方法。这里仅考虑引导数据是点云本身的情况。

首先，根据局部线性假设，有

$q_i=A_kp_i+b_k$qi​=Ak​pi​+bk​

其中$q_i$qi​是滤波后输出的三维点，$p_i$pi​是当前需要滤波的点（即算法的输入），$A_k$Ak​是一个3x3矩阵，$b_k$bk​是3x1向量。

我们希望这个局部线性模型，在$p_i$pi​的领域内有最小的重建误差，即

$\text{arg}\min_{A_k, b_k}\sum_{j\in N(i)}(\Vert A_kp_j+b_k - p_j\Vert^2+\epsilon\Vert A_k\Vert^2)$argAk​,bk​min​j∈N(i)∑​(∥Ak​pj​+bk​−pj​∥2+ϵ∥Ak​∥2)

用上式分别对$A_k$Ak​和$b_k$bk​求导，并令导数等于0，可得

$\begin{aligned} &A_k(\sum_{j\in N(i)}p_jp_j^T+n\epsilon I)+b_k\sum_{j\in N(i)}p_j^T-\sum_{j\in N(i)}p_ip_i^T=0 \\ &b_k=\frac{1}{n}\sum_{j\in N(i)}p_j-A_k\frac{1}{n}\sum_{j\in N(i)}p_j=\mu_i-A_k\mu_i \end{aligned}$​Ak​(j∈N(i)∑​pj​pjT​+nϵI)+bk​j∈N(i)∑​pjT​−j∈N(i)∑​pi​piT​=0bk​=n1​j∈N(i)∑​pj​−Ak​n1​j∈N(i)∑​pj​=μi​−Ak​μi​​

其中$n$n是$p_i$pi​的领域$N(i)$N(i)中的点数（包括$p_i$pi​自己），$\mu_i$μi​是$N(i)$N(i)中所有点的平均，将$b_k$bk​带入第一个等式中，且等式两边同时除以$n$n，有

$A_k(\frac{1}{n}\sum_{j\in N(i)}p_jp_j^T-\mu_i\mu_i^T+\epsilon I) = \frac{1}{n}\sum_{j\in N(i)}p_jp_j^T-\mu_i\mu_i^T$Ak​(n1​j∈N(i)∑​pj​pjT​−μi​μiT​+ϵI)=n1​j∈N(i)∑​pj​pjT​−μi​μiT​

注意到

$\frac{1}{n}\sum_{j\in N(i)}p_jp_j^T-\mu_i\mu_i^T=\Sigma_i$n1​j∈N(i)∑​pj​pjT​−μi​μiT​=Σi​

即领域$N(i)$N(i)中所有点的协方差矩阵，所以最终有

$\begin{aligned} A_k&=\Sigma_i(\Sigma_i+\epsilon I)^{-1} \\ b_k&=\mu_i-A_k\mu_i \end{aligned}$Ak​bk​​=Σi​(Σi​+ϵI)−1=μi​−Ak​μi​​

于是针对点云的Guided Filter算法，可概况为

1. 计算点云中某一个点$p_i$pi​的领域$N(i)$N(i)
2. 求$N(i)$N(i)中所有点的均值$\mu_i$μi​和协方差$\Sigma_i$Σi​
3. 根据上面的公式计算$A_k$Ak​和$b_k$bk​
4. $q_i=A_kp_i+b_k$qi​=Ak​pi​+bk​，输出$q_i$qi​作为对点$p_i$pi​的滤波结果

上面的算法实际上对Guided Filter做了一些简化，原本的Guided Filter需要得到所有包含$p_i$pi​的领域对应的$A_k$Ak​和$b_k$bk​，并对这些$A_k,b_k$Ak​,bk​求平均，再输出$q_i=\bar A_kp_i+\bar b_k$qi​=Aˉk​pi​+bˉk​。

三维情况的Guided Filter依然保持了二维情况的优点，即对边缘或者尖锐形状的地方有较好的保护作用。平滑作用的强弱可以通过调节领域搜索时的半径$r$r和$\epsilon$ϵ来改变。

其实，双边滤波（Bilateral Filter）也能用于3D点云的降噪，而Guided Filter相对于双边滤波在三维情况下的最大优势，在于不用估计点云中每个点的法线方向。

Results

输入的带有噪声的点云：

经过两轮Guided Filter滤波后的点云：

Notes

1. 对同一个点云进行多轮滤波（一般2轮足矣）可以大大提高降噪效果，有点类似于优化中的重复线性化思想。但过多的轮数可能造成滤波后的点云分布不均，由于计算均值的关系，每一轮滤波都会放大原来点云的非均匀性。

References

1. Guided Image Filtering