VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection
论文：
在3D点云中准确检测对象是自主导航，客房服务机器人和增强/虚拟现实的中心问题。为了将高度稀疏的LiDAR点云与区域提议网络（RPN）进行接口，大多数现有工作都集中在手工制作的特征表示上，例如鸟瞰图。在这项工作中，消除了对3D点云进行手动特征工程的需求，并提出了VoxelNet，这是一种通用的3D检测网络，它将特征提取和边界框预测统一为一个端到端可训练的单阶段深层网络。将点云转换为等距的3D体素，并通过新引入的体素特征编码（VFE）层将每个体素内的一组点转换为统一的特征表示。这样，点云被编码为描述性体积表示，然后将其连接到RPN以生成检测。在KITTI汽车检测基准上进行的实验表明，VoxelNet在很大程度上优于基准。
LiDAR(Light Detection and Ranging)，是激光探测及测距系统的简称，另外也称Laser Radar [1] 或LADAR(Laser Detection and Ranging)于LiDAR的最新3D检测方法。
KITTI数据集由德国卡尔斯鲁厄理工学院和丰田美国技术研究院联合创办，是目前国际上最大的自动驾驶场景下的计算机视觉算法评测数据集。该数据集用于评测立体图像(stereo)，光流(optical flow)，视觉测距(visual odometry)，3D物体检测(object detection)和3D跟踪(tracking)等计算机视觉技术在车载环境下的性能。KITTI包含市区、乡村和高速公路等场景采集的真实图像数据，每张图像中最多达15辆车和30个行人，还有各种程度的遮挡与截断。整个数据集由389对立体图像和光流图，39.2 km视觉测距序列以及超过200k 3D标注物体的图像组成，以10Hz的频率采样及同步。
VoxelNet
一种通用的三维检测网络，将特征提取以及边界框预测集成在一个阶段，是一种端到端的可训练的深层网络。
体素是体积元素（Volume Pixel）的简称，包含体素的立体可以通过立体渲染或者提取给定阈值轮廓的多边形等值面表现出来。一如其名，是数字数据于三维空间分割上的最小单位，体素用于三维成像、科学数据与医学影像等领域。概念上类似二维空间的最小单位——像素，像素用在二维计算机图像的影像数据上。有些真正的三维显示器运用体素来描述它们的分辨率，举例来说：可以显示512×512×512体素的显示器。
具体而言，VoxelNet将点云划分为间隔相等的三维体素，并通过新引入的体素特征编码层（VFE），将每个体素内的一组点转换为一个统一的特征表示。点云被编码成描述性的体积表述，然后连接到RPN（Region Proposal Network）去生成检测结果。
RPN是一个有效的物体检测的高度优化算法。然而，这种方法要求数据必须是密集的，需要是张量结构，（例如，照片，视频），这种属性不是传统雷达点云数据所拥有的。这篇文章的任务就是通过VoxelNet解决这个问题，以及解决手绘特征表示的局限性。
基本流程
特征学习网络以原始点云作为输入，将空间划分为体素，并将每个体素内的点转换为向量表示特征形状信息。空间表示为稀疏的四维张量。卷积中间层处理四维张量，最后，通过RPN生成三维检测。
特征学习网络内部结构
三维点云空间数据栅格化
主要实现将点云数据所占的空间(D×W×H)分割为多个栅格，即构造三维栅格网。
点云数据分组
将栅格化的点云数据分组，一个栅格一个分组，即为一个体素。每个点云体素中的点的数量是不同的。
对于体素中的点进行处理。设置阈值T，当体素中的点大于T时，进行随机采样，使得体素中只保留T个点；当体素中的点小于等于T时，保留体素中的点数不变。最后得到的体素集合中，每个集合内的点数为t,t<=T。
堆叠体素特征编码
堆叠体素特征编码
中间卷积层
对于特征学习网络输出的稀疏四维张量特征，在卷积中间层，采用三维卷积层，BN层和ReLU层，通过逐渐扩大的感受域内聚合体素的特征，为形状描述增加更多内容。