【3D目标检测】HDNET: Exploiting HD Maps for 3D Object Detection论文综述（2018）

1、 为什么要做这个研究（理论走向和目前缺陷） ?
之前的3D目标检测都不用高精地图，而是直接基于感知设备获得的数据做感知，高精地图一般只用于规划，白白浪费了这么简单易得的提升检测效果的方法。
2、 他们怎么做这个研究 （方法，尤其是与之前不同之处） ?
还是将点云进行体素化分成3D网格（占有网格，即网格中有点记为1，无点记为0），但是现有点云减去了地图中的地面高度信息，以实现将有坡度的地面拉直。同时增加了1个点云强度通道，1个来自地图中的道路区域通道。将这些通道连接在一起作为输入，做3D目标检测。考虑到并不是所有地方都有高精地图，提出利用一个基于U-Net的在线地图生成模块来产生地图，且提出Data dropout实现对无地图（地图通道输入置为空）时模型也能够鲁棒的数据增强方法。
3、 发现了什么（总结结果，补充和理论的关系）?
1）发现有地图先验会比没地图要好。2）地图中的地面高度先验比道路先验效果要好。3）离线地图（即真实的高精地图）比预测的高精地图效果好，且距离主车距离越远，好得越明显。

摘要：本文提出利用高精度(HD)地图的先验知识可以有效提高3D目标检测的准确率。为此，我们设计了一个可以从高精度地图里提取几何特征和语义特征的单阶段的检测器。因为，并不是所有场景都有HD地图，故还提出了一个HD地图预测模块，这个模块以lidar数据作为输入并预测鸟瞰图角度的hd地图。本文提出的检测器速度20帧。

1、 引言
自动驾驶汽车一般包含以下几个模块：感知、预测、规划、控制。其中感知是指感知障碍物比如车、人，预测是指预测障碍物的意图、轨迹。

高精地图广泛用于规划，但在感知里很少用或者不用。本文提出的检测器作用于鸟瞰图视角，并且可以融合雷达信息和网格地图信息。实验表明，融合了高精地图的信息之后，可以有效提升较远处目标的检测效果。

模型总体架构：

2、 相关研究
2.1 利用点云做3D目标检测：MV3D, PIXOR, FAF
2.2 利用了地图先验的方法：

3、 探索利用高精地图实现3D目标检测
3.1 输入表达
首先我们将点云数据投影到鸟瞰图，然后将来自高精地图的先验加入到该鸟瞰图中，加入过程如下图所示：

我们将z作为一个特征通道，考虑到效率，采用2D卷积而非3D卷积。故需要沿z轴方向有较为有分辨力的特征，但是如果地面存在下坡或上坡，在距离比较远的地方这些点云中的3D点就没那么有分辨力了，因为点云很稀疏，往往很难分得清是地面还是目标。
为了解决这个地面坡度问题，我们研究从高精地图里获取准确的地面信息。对应于一个3D点(xi,yi,zi)其对应位置的地面上的点为(xi,yi,z0)， 那么重新计算此3D点的位置为(xi, yi, zi-z0)。这样从新表征z值之后的3D点云进行体素化为一个3D空间占有网格（网格内有点记为1，无点记为0）。具体来说，上述的3D网格共有H/dh个通道，除此之外，我们还另外加了两个在设定的高度H范围之外的2个空间占有通道，1个点云强度通道以及1个来自高精地图的道路语义通道（一个mask通道，是道路的用1表示，非道路用0表示）。这样共计是H/dh+4个通道作为网络输入。

3.2 网络结构
主干网络和网络头如下左图所示：

输入到网络头的特征应用了主干网络的多尺度特征，网络头输出采用密集预测，每个像素点预测7个量：

P代表目标分类的置信度，剩下的用于预测3D框。

3.3 学习和推断
训练过程中要保证网络不能过度依赖先验地图，即使没有地图网络也可以预测准确的3D框，故进行对地图层进行随机置为空（应该就是像素点置为0），此操作命名为Data dropout。
训练时的正负例像素点是根据此像素点距离gt框中心点距离确定的，分类损失focal loss，回归smooth l1损失。

4 在线高精地图预测
为了解决并不是所有地方都能获得高精地图的情况，利用单束雷达光束来在线生成地图先验。具体来说就是利用U-Net来同时生成道路先验和地面高度先验。训练时的用已有的高精地图的作为监督。

5、实验
在两个数据集KITTI BEV和TOR4D上做了实验，TOR4D是自带有高精地图的，而KITTI不带高精地图，baseline用的是基于PIXOR改进的PIXOR++。实验结果如下图所示：

5.1 TOR4D实验结果：
TOR4D实验结果表明，1）有离线地图或者在线生成的地图加持的话效果会有提升，且在离线地图的情况下距离越远提升越明显。而在在线预测的地图的情况下，由于距离越远道路预测不准确，反倒提升不那么明显。2）地面高度地图（几何先验）比道路地图（语义先验）效果更好，两个都有的话会信息互补。

5.2 KITTI BEV实验结果
KITTI BEV数据集由于没有高精地图，故直接用TOR4D训练出来的地图预测模块来进行实时生成，且不做fine-turn。

5.3 消融研究
主要研究的是地图预测中的道路预测（语义先验）、地面高度预测（几何先验）以及随机抛弃地图（置为空， data dropout）对模型性能的影响。实验结果如下：

6、结论
本文提出的基于点云的数据的3D目标检测方法可以结果高精地图里的地面高度先验和道路先验实现更好的检测效果。由于高精地图并不是任何地方都有的，故提出了一个基于U-Net的地图生成模块。