点云深度学习语义分割拓展学习

不同任务：语义（场景）分割；实例（物体）分割；部件分割

PPT大纲

一、基于多视角平面投影的网络：已有成功经验解决现有问题
1、多视角表示：3D数据投影到不同的2D平面完成数据降维，采用已有2D语义分割模型处理，融合不同视角的结果

点云投影-多流fcn预测各个像素得分-score融合


可处理数以亿计的点云，但点云投影与真实二维存在差异（领域飘逸问题）

2.点云投影到球状表示上，实现密集表示

第一篇的改进，增加focal loss解决样本不均衡问题


3.体素表示

二、基于点的处理：不用中间转换，直接处理点（pointnet为基石）

分为四类：

• 基于点的的多层感知机（pointnet）
• 基于点的卷积方法
• 基于RNN
• 基于图的方法

1.基于点的多层感知机：处理全局、局部特征的关系，因此使用共享多层感知机。
为获取相邻点关系：基于临近点特征池化（pointnet++）、基于注意力机制、基于局部全局特征方法相继被提出。
2.点卷积方法：适合点云的cnn方式

3.基于RNN

4.基于图

三、总结

3D representation：能否寻求一种 intermediate regular representation，既具有很好的 local feature，又能提供合理的 global feaure？我认为具有结构性的 voxel 以及上文所说的 superpoint 都是一种很好的尝试。从表现形式上来看，上述方案的内核都相差不远，首先利用 local feaure 以及 local pooling 等类似的操作来聚合 部件节点，然后利用相邻结构或者超边来描述 voxle 或节点之间的关系，最后针对 intermediate regular representation 提出不同的深度学习框架。因此，我认为可以借助树、图、层次图等数据结构， 探索上下文结构特征和局部几何特征更加结构化的表达方式。
multimodal learning：人类大脑作为信息处理终端，对图像、几何和声音等多种模态信息整合进而做出判断。如何有效融合 3D 点云和 2D 图像两种不同模态的信息对于 3D 对象的分析至关重要。目前， 2D 图像数据与 3D 几何数据的多模态学习多采用对原始数据进行直接融合、对抽象的特征进行拼接和对决策结果进行融合等手段，在深度神经网络设计的层面缺乏深入的办法对两种模态信息的处理过程进行融合。因此，我个人认为有效的 3 维层级结构化数据可以更容易与已有的 2D 图像规则数据进行多层面、深层次的信息交互。此外，多模态的学习还能解决 3D 数据量较少，对标注信息需求过大的问题。
cognitive psychology：这个角度的想法是源于 北京科技大学 马慧敏 教授，她曾经提出，在解决小目标、强遮挡、高动态、任意姿态的三维视觉问题时，应该更多的从学习的本质出发，强调认知心理学和机器学习的交叉研究。从认知层面来说，解决 2D 图像问题和 3D 点云问题应该存在本质性的区别，如何有效的结合语义结构的认知模型，跨越 2D 与 3D 的认知壁垒，都能对上文中的 3D 表示或者多模态都能提供更多的理论支撑。