点击上方“3D视觉工坊”，选择“星标”
干货第一时间送达
作者： 不知道叫什么好
https://zhuanlan.zhihu.com/p/146512901
本文仅做学术分享，如有侵权，请联系删除。
点云里面的目标跟踪（Object Tracking），目前还可以算是一个比较新的话题（文章比较少）。本文介绍一篇点云目标跟踪相关的文章：
https://github.com/HaozheQi/P2B
https://arxiv.org/pdf/2005.13888.pdf
文章将3D点云里面的目标跟踪（Object Tracking）问题看作一个目标检测（Object Detection）问题，主要使用了VoteNet里面用到的一些技术来实现目标检测。因此，理解VoteNet，对理解本文有很大的帮助。VoteNet的大概介绍，可以参考：
https://zhuanlan.zhihu.com/p/94355668
主要有两个输入：
目标模版点云（target template）：比如一辆汽车模型的点云，需要在search area中定位到与该模版点云相似的汽车的位置。
搜索区域点云（search area）：被搜索的点云。
一个输出：
target template点云在search area点云中的3D box信息。
如上图所示，整体分为两步。对照VoteNet：
第一步计算出seed point
第二步通过seed point计算出3D box
与VoteNet的主要区别在于：
目标跟踪最后只需要预测出一个包含目标点云的Box、score
目标检测最后要预测出所有物体的Box、每个box的类别、score
下面对两个步骤进行大概介绍。
该步主要对template点云和search area点云进行预处理，为search area点云生成一个seed point点集，以便在后续模块中执行voting操作。在上面的网络结构图中：
template点云有 个点，数据的shape为：
search area点云有 个点，数据的shape为：
每步的操作流程如下：
template点云（ ）使用一个PointNet++进行下采样，得出
个seeds的feature：
。最后将每个seed点的3D坐标拼到feature里面，得到：
Search area点云（ ）用同一个PointNet++进行下采样，得到
个seeds的feature：
。最后将每个seed点的3D坐标拼到feature里面，得到：
使用cosine距离，计算 个feature和
个feature之间，任意两个点之间的similarity，得出相似性矩阵：
使用相似性矩阵和template点云的seeds点feature，为Search area点云的每个seed点，构建出一个新的feature，得出： 。具体构建过程如下图所示：
这步可以认为是将模版点云和待搜索点云融合到一起，得到了一个新的seed点云。seed点云即包含了模版点云的信息，也包含了待搜索点云的信息。
该步操作以seed点云作为输入，在Search area点云内定位出target template点云的位置box。大概操作步骤如下：
voting：对每个seed，分别使用一个共享的MLP，预测出每个seed所属物体的中心点以及中心点的feature。具体实现时，先预测出seed点与其所属物体中心点之间的3D坐标和feature之间的偏移量，然后再通过偏移量计算出中心点3D坐标和feature。最后测出 个中心点坐标和feature：
。在计算loss时，只对落在目标物体上的点的3D坐标计算loss。
classifying：这步主要通过一个2分类器，预测出每个seed点落在目标物体表面的score（confidence）：
将每个seed点的voting结果与score拼接到一起，得到：
Clustering：从 个点中采样出
个点，分别用每个采样点作为中心点，用ball query找到每个点的邻居点，构成
个cluster
对每个cluster，使用一个类似于PointNet的网络（MLP-Maxpool-MLP），预测出K个目标物体中心点坐标、在X-Y平面上的偏移量，以及每个预测结果的score（confidence）。
最后选取score最高的预测值，作为最终的结果。如下图所示，0.96得分最高，则选为最终的结果：
共有4个loss组成：
：表示seed点voting出来的其所属物体中心点坐标，与GT的差距。只计算落在目标物体上的点。
：表示计算出来的每个seed点属于目标物体的score，与GT的差距。
：表示每个cluster预测出来的score，与GT的差距。GT的设置：cluster预测出来的box的中心点，距离GT中心点0.6米之内，则设置为1；否则设置为0.
：表示每个cluster预测出来的box，与GT box的差距。只计算
中GT-score为1的box。
对以上4个loss加权求和得出一个总体的loss来训练。
这篇文章主要使用VoteNet中的相关技术来实现目标追踪。另外，文章给出了一种将target点云与search area点云融合的方法，可以学习借鉴。
推荐阅读：
重磅！3DCVer-学术论文写作投稿 交流群已成立
扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流等微信群，请扫描下面微信号加群，备注：”研究方向+学校/公司+昵称“，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进去相关微信群。原创投稿也请联系。
▲长按加微信群或投稿
▲长按关注公众号
3D视觉从入门到精通知识星球：针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近1000+星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看介绍，3天内无条件退款
圈里有高质量教程资料、可答疑解惑、助你高效解决问题