您的位置: 首页  >  文章  >  3D Object Detection 3D目标检测综述

3D Object Detection 3D目标检测综述

分类: 文章 • 2024-01-01 13:35:10

目录

3D Object Detection

2D Object Detection 的研究已经非常成熟了，代表作品有RPN系列的FasterRCNN和MaskRCNN，One Shot系列的YOLOv1-YOLOv3。这里推荐一个2D Object Detection发展过程和论文的github链接。

在2D Object Detection的基础上又提出了新的要求3D Object Detection。问题的具体描述检测环境中的三维物体，并给出物体的Bounding Box。相比于2D，3D的Bounding Box的表示除了多了一个维度的位置和尺寸，还多了三个角度。可以想象，一架飞机的Bounding Box的尺寸的是固定的，飞机的姿态除了位置之外，还有俯仰角、偏航角和翻滚角三个角度。

目前对于3D Object Detection有迫切需求的产业是自动驾驶产业，因为要想安全的自动驾驶，需要周围障碍物的三维位姿，在图片中的二维位姿不带深度信息，没有办法有效避免碰撞。所以3D Object Detection的数据集大多也是自动驾驶数据集，类别也主要是车辆和行人等，比较常用的有KITTI和kaist。由于自动驾驶针对车辆，所以障碍物的高度的检测对于安全行驶并没有十分重要，而障碍物都在陆地上，所以也不存在俯仰角和翻滚角两个角度。所以有些3D Object Detection方法将这三值忽略了。

接下来我将详细列几篇论文，以及我认为论文中比较关键的一些点。每篇论文具体的细节和解读还请读者自行搜索。3D Object Detection的方法很大程度上是借鉴了2D Object Detection的方法。

Sliding window

Vote3Deep: Fast Object Detection in 3D Point Clouds Using Efficien（IROS2017）

3D Object Detection 3D目标检测综述
该方法使用三维滑动窗口的方法。首先将点云栅格化，然后使用固定大小的三维窗口，使用CNN判断该窗口的区域是否为车辆。由于栅格化的稀疏性质，该文章使用了稀疏卷积的操作，将卷积核做中心对称，将卷积操作变为投票操作，使得该投票操作只用在不为0的栅格点进行投票即可，减少了大量空卷积的操作。具体投票方式见下图。
3D Object Detection 3D目标检测综述
具体投票为将中心对称过后的卷积核的中心与非零点对齐，然后相乘，即可得到改点的投票。将多点投票的重叠的区域相加，得到输出。

RPN

Multi-View 3D Object Detection Network for Autonomous Driving (CVPR2017)

3D Object Detection 3D目标检测综述
MVNet使用点云和图像作为输入。点云的处理格式分为两种：第一种是构建俯视图（BV），构建方式是将点云栅格化，形成三维栅格，每一个栅格是该栅格内的雷达点最高的高度，每一层栅格作为一个channel，然后再加上反射率（intensity）和密度（density）的信息；第二种是构建前视图（FV），将雷达点云投影到柱坐标系内，也有文章叫做range view，然后栅格化，形成柱坐标系内的二维栅格，构建高度、反射率和密度的channel。
使用俯视图按照RPN的方式回归二维proposal，具有（x, y, w, l）信息，角度只分成0和90度两种，z和h的信息在这一步被设置为常量。然后将三维的proposal进行多个角度的ROI pooling，fusion过程可使用concatenation或summation。最后加上经典的分类头和回归头。

  • 文章中强调使用俯视图的好处
    “We use the bird’s eye view map as input. In 3D object detection, The bird’s eye view map has several advantages over the front view/image plane. First, objects preserve physical sizes when projected to the bird’s eye view, thus having small size variance, which is not the case in the front view/image plane. Second, objects in the bird’s eye view occupy different space, thus avoiding the occlusion problem. Third, in the road scene, since objects typically lie on the ground plane and have small variance in vertical location, the bird’s eye view location is more cru- cial to obtaining accurate 3D bounding boxes. Therefore, using explicit bird’s eye view map as input makes the 3D location prediction more feasible.”

  • 本文提出的俯视图的构建过程非常有参考价值，是后续多篇文章所参考的依据。

Frustum PointNets for 3D Object Detection from RGB-D Data (CVPR2018)

3D Object Detection 3D目标检测综述
该方法使用图像和激光雷达检测障碍物。

  • 处理流程
    利用2D Object Detection方法在image上进行车辆检测；
    使用2D proposals得到3D椎体proposals，并进行坐标变换，将坐标轴旋转至椎体中心线；
    利用PointNet++进行3D Instance Segmentation，并进行坐标变换，将原点平移至instance的型心；
    使用T-net进行坐标变换，估计物体的中心；
    3D box 回归。

其中包含三次坐标变换如下图：
3D Object Detection 3D目标检测综述

  • 相比于Pointnet，T-net的训练是受监督的。
    “However, different from the original STN that has no direct supervision on transformation, we explicitly supervise our translation network to predict center residuals from the mask coordinate origin to real object center.”

  • 在回归3D box时，该文还提出同时使用Smooth_L1和Corner loss，以提升回归的准确性
    "While our 3D bounding box parameterization is compact and complete, learning is not optimized for final 3D box accuracy – center, size and heading have separate loss terms. Imagine cases where center and size are accurately predicted but heading angle is off – the 3D IoU with ground truth box will then be dominated by the angle error. Ideally all three terms (center,size,heading) should be jointly optimized for best 3D box estimation (under IoU metric). To resolve this problem we propose a novel regularization loss, the corner loss:
    "

Joint 3D Proposal Generation and Object Detection from View Aggregation (IROS2018)

3D Object Detection 3D目标检测综述
利用Anchor grid作为感兴趣区域进行Crop和Resize到同一大小，然后将两者的特征进行element-wise sum，然后进行3D proposals的第一次回归。然后进行NMS，使用proposals对feature map再次进行Crop和Resize, 然后再次回归，修正proposals，通过NMS得到Object Bounding Boxes。
上图中左边的Fully Connected Layers回归车辆位置的尺寸，右边的Fully Connected Layers回归车辆的朝向角。

  • 本文提出了一种新的3D box 的8个corner的编码方式
    “To reduce redundancy and keep these physical constraints, we propose to encode the bounding box with four corners and two height values representing the top and bottom corner offsets from the ground plane, determined from the sensor height.”

One Shot

3D Fully Convolutional Network for Vehicle Detection in Point Cloud (IROS2017)

3D Object Detection 3D目标检测综述
该文章是3D Object Detection的早期之作，使用的方法就是3D卷积，pytorch中有对应的函数torch.nn.Conv3D。方法简单，与YOLOv1思路类似。进行三维卷积和池化，提取高维特征，然后反卷积得到分辨率适中的feature map然使用分类头和回归头预测Bounding Box。

相比后来的方法，该方法显得粗糙一些，但是本论文是将3D Object Detection从传统方法过度到深度学习的文章之一，还是有值得学习之处。

  • 提出了使用Bounding Box的Corners作为回归变量，该回归方法在Frustum PointNets又被重新使用，并取得了效果的提升。
  • 该文章介绍了比较多的点云栅格化过程中每个栅格的特征构建的方法，可以用来查找手工构建栅格特征的方法。

Complex-YOLO: An Euler-Region-Proposal for Real-time 3D Object Detection on Point Clouds（ECCV2018）

YOLO3D: End-to-end real-time 3D Oriented Object Bounding Box Detection from LiDAR Point Cloud（ECCV2018）

两篇文章作者来自同一个机构，姑且认为两篇文章有联系。这两篇文章用的方法也如出一辙，都是使用MVNet俯视图的构建方法，然后利用YOLO在俯视图上做Object Detection，只不过是回归变量多了一个维度和角度，就解决了3D Object Detection的问题。
方法没有什么创新之处，文章中提到了Frustum Pointnet的不足之处。
“This approach has two drawbacks: i). The models accuracy strongly depends on the camera image and its associated CNN. Hence, it is not possible to apply the approach to Lidar data only; ii). The overall pipeline has to run two deep learning approaches consecutive, which ends up in higher inference time with lower effciency.”
说出了Frustum Pointnet在构建proposal的时候依赖CNN这个问题。

未完待续。。。

相关推荐