在视觉SLAM框架中加入语义特征点，采用概率描述语义特征点之间的对应关系，从而边缘化数据关联，优化相机位姿和语义地标点位置。

特征提取

图像特征

  由于选择使用语义特征来进行全局定位和回环检测，本文不关心图像特征的具体位置和全局的特征关联，只是使用特征描述子来计算相邻帧的位姿变换。

语义特征

  本文认为语义特征比图像特征数量少，但是表达能力强于，同时对视角变化更鲁棒。使用卷积神经网络在目标检测得到的bounding box中提取语义特征。同时一个物体的语义特征之间也存在结构约束，比如汽车的左前轮不能明显偏离预期位置。

代价函数

  位姿估计代价函数由IMU约束和图像特征数据关联，语义特征数据关联构成，通过左乘特征特征数据关联的雅可比矩阵的零空间的矩阵，避免优化图像特征的位姿。

数据关联

  基于相机模型对语义特征的数据关联和创建新的数据特征的概率进行建模。基于EM算法分别优化语义特征数据关联和相机位姿，语义地标点全局位姿。