点云深度学习中的新下采样方法

2020年9月9日周三天气晴【不悲叹过去，不荒废现在，不惧怕未来】

本文目录

0. 前言
1. Adaptive Hierarchical Down-Sampling（CVPR2020）

1.1 Critical Points Layer (CPL)
1.2 Weighted Critical Points Layer (WCPL)

2. Adaptive Sampling（CVPR2020）
3. 总结
参考文献

0. 前言

目前关于点云的深度学习方法，大多数都是Encoder-Decoder的结构。Encoder部分对点云进行下采样，通过“卷积”计算点云的高级特征，然后通过一个分类头完成分类任务，或者通过Decoder把特征还原到原始点云，完成分割任务。

无论如何，点云的下采样都是一个绕不开的问题。现在比较常见的下采样算法有：farthest point sampling(PointNet++，ShellNet)、random sampling(RandLA-Net)、grid sampling(KPConv，Grid-GCN)等。它们各有特点：

farthest point sampling（FPS）：采样点分布均匀，时间复杂度高
grid sampling（GS）：采样点分布较为均匀，时间复杂度一般，采样点个数具有不确定性
random sampling（RS）：采样点分布具有随机性，时间复杂度低

刚开始点云深度学习处理算法倾向于使用采样点分布均匀的FPS，后面为了追求效率，开始逐渐向GS和RS靠拢。尽管GS和RS各自都有一定缺点，但是这些方法很好的通过一些方式对这些缺点进行了弥补，比如RandLA-Net（下采样使用RS）和Grid-GCN（下采样使用改进的GS）。

以上可以看出，大家开始对“传统”FPS的低效率产生不满，纷纷寻求新的高效率采样方法。Grid-GCN中提出的Coverage-Aware Grid Query（改进的GS）是一个很好的思路，因为它在一定程度上考虑了每个点的重要性，这和上面三种方法有所不同。本文要讲的几种新的采样方法，都考虑了每个点的重要性。

1. Adaptive Hierarchical Down-Sampling（CVPR2020）

文章标题：Adaptive Hierarchical Down-Sampling for Point Cloud Classification
文章地址：https://arxiv.org/abs/1904.08506?context=cs.CV

这篇文章来自华为诺亚方舟实验室，核心思想是：一个点对max-pooling后的feature贡献越多，该点的重要程度就越高。

文章提出了两种采样方法：

1.1 Critical Points Layer (CPL)

点云深度学习中的新下采样方法
CPL借鉴pointnet中最后的max-pooling操作，将每个feature属性最max的点视为critical points，只保留这些点，从而完成sampling操作，将其定义为Critical Points Layer（CPL）。但是我们都知道，在batch 操作中，点的数目必须相同，所以必须将采样之后点的数目固定，如果不够就进行nearest neighbor resizing（文章没有对这一步进行详细介绍，个人猜测就和最近邻上采样差不多，将距离critical points最近的点作为补充点）。

1.2 Weighted Critical Points Layer (WCPL)

点云深度学习中的新下采样方法
进一步考虑，假设A点在5个feature channel上都是argmax，B点只在1个feature channel上是argmax，这两个点的重要程度肯定是不一样的，但是CPL没有进行特别的处理，如何进一步体现A点的importance就需要weight。所以作者又提出了加强版Weighted Critical Points Layer（WCPL），一个point是几个feature channel的argmax就将其重复几次，从而增大在downsampling中被选中的概率。

2. Adaptive Sampling（CVPR2020）

文章标题：PointASNL: Robust Point Clouds Processing using Nonlocal Neural Networks with Adaptive Sampling
文章地址：https://arxiv.org/abs/2003.00492

Adaptive sampling首先利用FPS进行采样，然后根据利用KNN获取邻域点，之后对k个邻域点进行自适应加权（attention的思想，权重的计算是直接对每个点应用MLP），求取加权平均值即为新的关键点。这种方式提升了对噪声点的鲁棒性，同时将邻域的几何空间特征引入到了采样过程中。

说是Adaptive Sampling，其实就是 FPS + attention，只是换了一种说法。

3. 总结

简单总结一下，Adaptive Hierarchical Down-Sampling中的下采样做法还是有一定借鉴意义的，但是Adaptive Sampling就显得没什么创新。但是不可否认的是，它们都在思考如何对点云进行更好的下采样。作为大场景点云处理的第一步也是重要的一步，高效且快速的下采样方法必将会对点云的快速处理起到关键作用。

参考文献

https://zhuanlan.zhihu.com/p/150093004?from_voters_page=true
https://blog.csdn.net/weixin_43955917/article/details/106031849
https://blog.csdn.net/Orientliu96/article/details/104942861
https://blog.csdn.net/Orientliu96/article/details/106762832/