【论文概述】ImVoteNet (2020)
论文信息
题目:ImVoteNet: Boosting 3D Object Detection in Point Clouds with Image Votes
问题导入
如何有效利用 2D 图片的信息辅助 3D 检测,摒弃了此前的级联思路,利用了 RGB 的几何坐标、语义及像素纹理信息,辅助 3D 点云物体检测。
总体思路
如上图所示,首先,分别对 RGB 和点云利用 2D 检测器和 PointNet++ 得到 2D 框和种子点;其次,将 RGB 中抽取的几何、语义和像素纹理信息提升到 3D 附加到种子点上;最后生成 3D 物体中心的投票,进而估计 3D 框。
论文效果
如上图所示,这是定性分析,在 SUN RGB-D benchmark 上。
如上图所示,这是定量分析, IOU 取0.25,mAP 为 63.4。
如上图所示,这是 RGB 的信息对比实验
总结
这项工作使用 RGB 提供几何,语义和纹理信息作用于3D 投票的过程。通过使用基于梯度混合的多模态的训练方法,ImVoteNet 极大提升了处理稀疏或不友好分布点云的 3D 检测性能。