Segment-driven 6D Objecy Pose Estimation——自我总结

Segment-driven 6D Objecy Pose Estimation

目标：实时估计刚体的6D位姿
手段：分割驱动的6D位姿估计框架(理由：全局匹配会使算法对于大面积遮挡比较敏感)，具体为每个可见的区域对它所属的对象进行一个位姿估计以预定义的3D模型的2D投影的方式，进行3D-2D匹配，无需后端优化
数据集：Occluded-LINEMOD && YCB-Video

最近工作：
一般流程：分离特征(从RGB图片中)——>特征匹配——>PnP求解
测量距离的手段：Hausdroff(形状相似度量)、Chamfer(倒角)

具体手段详解（简称：二流网络框架）：
预备：
encoder(编码器)：使用的是YOLOv3的Darknet-53网络，用于检测对象，此处做了改进，由原本的5个下采样层降为2个，标准步长2
decoder(解码器)：下面的二流
第一流(分割流)：将每个(虚拟的)单元分配标签（图a），输出每个的空间定位，光心损失为二流之和，基于类而非实例进行分割+预测的2D关键点的坐标信息进行集群

第二流(回归流)：预测预定义的3D模型的3D关键点的2D投影，包围框为标准的8点，输出3D向量，2D位姿估计为最小化偏移量（图b），实验中是选出10个最好的点进行匹配

损失函数


计算总损失：

总图：

代码链接：
代码