PointASNL: 点云的Adaptive Sampling(CVPR2020)
点击上方“3D视觉工坊”,选择“星标”
干货第一时间送达
作者:不知道叫什么好 | 来源:知乎
https://zhuanlan.zhihu.com/p/139396088
本文仅做学术分享,如有侵权,请联系删除。
点云数据里面,一般会有一些噪点,理论上,这些噪点可能会对具体应用的性能产生影响。本文主要介绍CVPR 2020的一篇处理噪点的论文。文章主要对所有采样点的位置、feature进行调整,减弱噪点的影响,论文将这步称为:Adaptive Sampling(AS);并进一步使用Local-NonLocal(L-NL)来对feature进行增强。
论文地址:https://arxiv.org/pdf/2003.00492.pdf
代码地址:https://github.com/yanx27/PointASNL
1. 噪点
在学习点云的feature时,一般使用encoder + decoder的网络结构。在encoder的downsampling过程中,一般使用FPS采样算法来采样。
如上图左图所示,对于一个飞机点云,红圈、蓝圈、绿圈、黄五角星,均表示噪点。当使用FPS进行下采样后,黄色五角星所在的点被采中。直觉上,这个点如果不处理,会对网络性能有所影响。
针对这个问题,论文提出了一个Adaptive Sampling(AS)模块,来实现调整噪点的操作,从而降低噪点对网络性能的影响。
2. Adaptive Sampling(AS)模块
首先定义如下符号方便后续描述:
· :表示从某个层用FPS下采样后得到的点集,其中可能包含噪点。
· :表示下采样得到的点集的feature集合。
· :表示下采样得到的点集里面的某个点的坐标和feature。
AS模块首先从上一层的点集合中使用FPS下采样得到 、
。后续的操作流程如下:
2.1 用KNN找邻居点集
用KNN算法,给每个下采样得到的点找K个邻居点。假设点 的邻居点集合为:
,对应的邻居点的feature集合为:
。
2.2 Self-attention增强邻居点feature
主要思路是:对于点 的第
个邻居点,分别计算出它与
的其它邻居点的相关性,然后用softmax计算出一组权重,最后使用权重对
的所有邻居点的feature进行加权求和,得出点
的第
个邻居点的新的feature。直觉上,经过这步处理后,每个邻居点的feature会包含邻域范围内的所有点的一些信息。
具体操作流程如下:
·邻居点坐标normalization:所有邻居点的坐标,减去第一个邻居点的坐标,转成相对于第一个点的相对坐标。
·重新构建邻居点的feature:每个邻居点的相对坐标,与邻居点的feature,拼到一起,得到每个邻居点的新feature。
·用self-attention模式,分别计算出邻居点集的3个feature矩阵:query、key、value。
·用query和key矩阵相乘,并用softmax,得到邻居点之间的attention矩阵。对attention进行scale。
·用attention和value矩阵相乘,得到所有邻居点feature。
以上过程即为论文中的如下公式:
2.3 调整采样点
主要思路是:用增强后的邻居点的feature,通过网络学出以下两个信息:
·邻居点集的feature的每个channel的attention权重向量,然后分别在每个channel上,用对应channel上的attention权重向量,加权求和,得到采样点 调整后的feature。
·邻居点集的坐标的attention权重向量,然后用该attention权重向量,对所有邻居点的坐标加权求和,得到采样点 调整后的坐标。
具体操作流程如下:
·Self-attention后的feature,经过一个多层MLP网络,得出一个新的weight矩阵,该矩阵的维度是:【batch,point_number,neighbor_number,channel+1】。这里额外增加的一个channel是为了后面计算邻居点集的坐标的权重矩阵。
·在以上的neighbor_number维度上,用softmax,计算出邻居点集的每个channel、坐标的权重矩阵。
·用channel维度上的权重矩阵,对邻居点集的feature在每个channel上进行加权求和,得到点 调整后的feature。
·用坐标的权重矩阵,对邻居点集的坐标进行加权求和,得到点 调整后的坐标。
总结:Adaptive Sampling在邻域内,先用Self-Attention进行feature增强,然后用另一种attention在邻域内进行feature、坐标的加权求和,得出所有采样点的feature、坐标。论文认为,这样即可对采样点中包含的噪点进行处理。
3. Local-NonLocal(L-NL)模块
该模块通过使用局部、全局信息,进一步对采样所得点的feature进行增强。
3.1 Local
对于每个采样点,Local主要是在每个点的局部邻域范围内,对其邻居点的feature进行融合,计算出一个新的feature。这部分使用了PointConv的思想(连续空间下的卷积操作),将每个邻居点的相对坐标映射为一组卷积操作的系数矩阵,然后用每个邻居点的系数矩阵对其feature进行变换,最后用一个Aggregation操作,将邻居点的feature融合为得到中心点 的local feature。对应的公式为:
其中 是一个MLP网络,将邻居点相对坐标映射为卷积操作的系数矩阵。
(个人认为,这部分代码实现,与文章不符。欢迎读者讨论)
3.2 NonLocal
NonLocal本质上是使用Self-Attention,对每个采样所得点,在整个点云范围内进行feature融合,为每个采样点计算出一个包含全局信息的feature。流程图如下:
其中:
·Query Points:用FPS在前一层点云中采样,并用Adaptive Sampling调整后所得的点云feature;
·Key Points:前一层点云的feature。
3.3 feature融合
除了Local、NonLocal两个分支外,代码中其实还有一个skip connection的分支。对于每个采样所得点,该分支直接对采样点的邻居点的feature执行max_pool,最后通过一个1d convolution给每个采样点计算出来一个新的feature。
最后将local、nonlocal、skip-connection三个分支的feature加到一起,再用一个1d convolution对feature的channel进行变换,得到每个采样点的feature。
4. 网络结构
以segmentation为例:
·每个下采样操作,相当于FPS -> Adaptive Sampling -> Local-Nonlocal
·每个上采样操作,相当于Up-Sampling -> Local-Nonlocal
总体结果如下图所示:
5. 总结
读完文章、代码,会发现:
·本文的核心是Adaptive Sampling、Local-NonLocal
·Adaptive Sampling的核心是Self-Attention、Attention
·Local-NonLocal的核心是Self-Attention、PointConv
对Self-Attention、PointConv有疑惑的读者,请参考:
·Non-local Neural Networks (CVPR 2018)
文章地址:https://zhuanlan.zhihu.com/p/129925437
·PointConv: 3D点云卷积 (CVPR 2019)
文章地址:https://zhuanlan.zhihu.com/p/99863795
总体上,这篇文章演示了如何融合local、global范围内的feature,进行feature增强。比较特别的是,作者从“噪点“这个角度作为文章的出发点,如此一来,就有别于其它点云feature融合的文章了。
从代码的角度看,源码“融合“了多篇文章的代码:PointNet++, PointConv, KPConv, ... 如果之前看过相关源码,理解本文应该不会太难。