LiDAR 3D Object Detection

最近读了一些基于LiDAR 3D检测的paper，general的方法这里不重复赘述，主要针对该类task的challenge部分work的点进行总结。
challenge
lidar-based method 面临的主要挑战之一是远处的物体/车辆，会有相当稀疏的点（如个位数），以至于这些点无法推断出这是一个物体，那么这便造成远处物体的漏检和误检。
approach
其实一直有方法尝试将dense的RGB image feature 和 sparse lidar point feature 融合来弥补远处稀疏性这个不足。然鹅，到目前为止并没有一个合适的方式将两个维度的feature combine，这也是一个可以探索的点。

Shi et al. [1] 和 Yang et al. [2] 都尝试将point的semetic feature 和 canonical coordinates concat 起来，从而丰富point的feature。从ablation study 上看，这样的操作融合使得在hard level 上performance有~10%d的提升（6x.->7x.）。


这似乎说明，对于点云这种特殊形式的数据，real point coordinates (detail local) 信息不能抛掉（since the object of this kind of task is specific location）。
semetic feature 不能完全解决问题，但也是需要的，因为远处的点实在稀疏，如果能借用一些周围的global context 信息，应该有好的辅助作用。

reference
[1] Shi S, Wang X, Li H. Pointrcnn: 3d object proposal generation and detection from point cloud[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019: 770-779.
[2] Yang Z, Sun Y, Liu S, et al. STD: Sparse-to-Dense 3D Object Detector for Point Cloud[J]. arXiv preprint arXiv:1907.10471, 2019.