语义SLAM框架整理

基本框架

目标检测=类别+位置；
语义分割=物体轮廓；
实例分割=类别+位置+物体轮廓

语义分析的基本概念

在SLAM中，基于语义信息执行任务需要准确的目标识别。对象的语义信息以TOSM的形式存储，其中包含符号、显式和隐式信息。语义分析是将通过传感器接收到的信息与预先映射的感官数据数据库和知识库进行合并。结果，它被表示为语义描述符，我们通过匹配描述符提出并执行数据关联，然后最终识别对象。

如上图，结合语义分析的数据关联方框图:橙色块是新获得的数据，蓝色块是预先映射的数据库。语义分析(红框)是将感官数据与数据库进行融合，生成语义描述符的过程。然后我们得到了两个语义描述符:一个来自环境，另一个来自map。数据关联是匹配两者的过程。

语义SLAM

语义SLAM是指SLAM系统在建图过程中不仅获得环境中的几何结构信息，同时可以识别环境中独立个体，获取其位置、姿态和功能属性等语义信息，以应对复杂场景及完成更加智能的服务任务。
语义 SLAM 的关键在于对环境中物体目标的精准识别，而近年兴起的深度学习技术恰好是当前最具潜力和优势的物体识别方法，因此深度学习和语SLAM的结合受到领域内研究者的广泛关注。地图的语义生成与 SLAM 过程是可以相互促进 的两部分．一方面精确的地图构建有利于目标模型 的学习和分类，另一方面目标的精确识别和分类有 利于地图的精确构建，如精准的闭环检测等，因此 两者是相辅相成的．语义信息生成的挑战在于精确 的物体目标级别或像素级别的分类。

语义SLAM的优势在于：

(1) 传统SLAM方法以静态环境假设为前提，而语义SLAM可以预知物体（人、汽车、动物等）的可移动属性。
(2) 语义SLAM中的相似物体知识表示可以共享，通过维护共享知识库提高SLAM系统的可扩展性和存储效率。
(3) 语义SLAM可实现智能路径规划，如机器人可以搬动路径中的可移动物体等实现路径更优。

语义和SLAM结合

将语义信息集成到系统中，语义信息有两种方式与视觉SLAM相结合。
一种是将语义信息与定位相结合，优化定位的准确性、鲁棒性和实时性。另一种方法是将语义信息与建图相结合。这些方法大多采用三维重建技术，其目的是完成语义图的构建，仅使用摄像机作为传感器是不够有效的。

优化视觉SLAM定位

基本思想

使用CNN来识别动态对象并将其从图像中移除，以避免动态对象的干扰。具体方法参照检测法。
语义信息与SLAM的结合提高了系统对环境的理解能力，并通过图像处理提高了语义分割的准确性。最后，在动态对象环境中建立了语义建图。

语义结合VO的缘由

传统的视觉里程计是通过像素点匹配和多视图几何关系计算帧与帧间的位姿。在这个过程中，像素点匹配本身存在不小的误差，依据该匹配求解出的相邻帧位姿将存在一定的误差。后续帧基于前面的序列帧继续建图，则这些位姿隐含的误差会不断累积。
为了减少累计误差有效地提升定位精度，现有的SLAM框架中一般采取两类方式：
1、使用局部优化，借助更多的相邻帧来引入更多的几何约束。其局限在于，未能引入新的信息，还存在更多减小误差的空间。
2、考虑全局下的位姿关系，借助回环检测消除累积误差，其改善作用显著，但只有在出现回环时才能产生效果，另一方面，用于帧间像素匹配的特征点并不具有完全的不变性。 这意味着角度、距离、光照等变化都会对其产生影响，而语义信息在建立约束时，具有极佳的鲁棒性，在这样的场景下,语义分割作为辅助信息，对SLAM中的位姿估计具有很大的提升作用。