室内定位——视觉方法的发展
转载自：室内定位——从入门到出家（二，视觉）
作者其他文章：
室内定位——从入门到出家（一）
室内定位——从入门到出家（三，近红外）
室内定位——从入门到出家（四）
室内定位——从入门到出家（五，WIFI信号）
提取信息：
目前送餐机器人在屋顶打的图案应该就是这种，用来纠正里程计的绝对位姿误差。
Hagisonic（2008）的StarGazer系统专为机器人定位而设计，原理是利用安装在天花板上的复古反光目标。红外敏感照相机观察由红外光源主动照亮的不同点图案。 点图案被独特地排列在3×3或4×4网格上以识别每个房间，而且还能在子分米准确度内确定漫游相机的姿态。
Lee和Song（2007）也使用了反射目标的原理来定位和定位移动机器人。这里，三角形目标的角部用于近似方位估计，六个内部扇区用于唯一识别。 为了实现算法的鲁棒性，算法比较了有主动照明与没有主动照明的图像之间的差异。 根据所述结果，二维精度在亚分米级。
这一部分主要讲的是可见光进行室内定位（照相机作为唯一或主要的传感器）。相机正在成为定位的主导技术，其涵盖了广泛的应用领域，包括各种精度，其主要应用领域是在亚毫米范围。它的成功源于致动器actuators?（例如激光器）的改进和小型化，特别是探测器（例如CCD传感器）的发展。
光学室内定位系统可以分类为(自)运动系统（顾名思义，移动的传感器如照相机需要被定位）和静态照相机（定位图像中的移动物体）。求解主要是解求利用CCD传感器上的2D图像计算得到物体在三维世界里的位置和旋转。所有方法都是基于AoA原理得到，即角度信息。单目图像的深度信息可以通过使用相机的运动来获得。这种方法被称为合成立体视觉 ，即相同的摄像机从不同位置按顺序观察场景，并且以类似于立体视觉的方式估计图像深度。但是，连续图像之间的基线需要通过补充技术来确定。因此，这种方法通常不能单独由图像确定。
从图像空间到物体空间的转换需要额外的距离信息。 如果已知基线可以从立体图像确定尺度。然而这种立体相机系统的性能由基线的长度直接决定，因此不适用手持设备的小型化。因此我们可以想到使用额外的传感器直接测量距离，例如激光扫描仪（后续会详细介绍）或距离成像摄像机（后者以100Hz的帧速率返回320×240图像的每个像素的距离值）。
可以使用自动对焦粗略地确定比例尺。
考虑到系统架构中的一个决定性特征就是如何获得参考信息。 因此，按照主要参照模式作为分类标准对近期开发的光学导航系统的进行介绍。
以3D建筑模型为参照
这类方法是检测图像上的对象并将其与已有的建筑数据库进行匹配（如CityGML，见下图，这类数据库包含了建筑内部的位置信息）。这类方法的优点是不需要布设额外的本地基础设施（比如说传感器标识）。换句话说就是参考物实际上是数据库中的一系列数字参考点（摄影测量中的控制点）。因此这类系统适合不增加太多成本的前提下进行大规模的覆盖。
Kohoutek等人 （2010）使用数字空间语义内部建筑模型CityGML，在（LoD 4）最高细节级别中确定距离成像摄像机的位置和方向。 在第一步中，在CityGML数据库中确定相机的正确房间。 从距离图像传感器获得的三维点云中，检测诸如门窗等固定物体，并将其几何性质与数据库进行比较。第二步也是最后一步是基于将三角测量和空间切除相结合的技术，对相机进行dm级精细定位。
Hile和Borriello（2008）将平面图与当前的手机图像进行了比较。在第一步中，通过WLAN连接来确定粗略位置以限制搜索区域。在第二步中，使用从图像中提取的特征来查找特征对应并在分米级别处计算手机的姿态。 在他们的方法中，位置信息可以即时显示。
Kitanov等人 （2007）利用机器人上安装的照相机拍摄的图像检测到出图像线，并与3D矢量模型进行比较。 照相机的方向是在照相机运动时从图像序列重复计算得出的。 渲染的图像线和从相机图像中提取的线，其离线最佳匹配达到了dm级的定位精度。他们利用里程表来稳定系统的鲁棒性。
Schlaile等人描述的计算机视觉算法 （2009）也依赖于图像序列中的特征检测。 这里，计算机视觉模块用于对安装在微型飞行器上的组合导航系统进行补充辅助。
以图像为参照
这种基于视图的方法依赖于摄像机沿着建筑物的某些路线预先拍摄的图像序列，如下图所示。 从而，移动摄像机的当前视图（下）与这些先前捕获的视图序列（上）进行比较。 这种方法的主要挑战是实现实时能力。为了识别图像对应关系，计算负担特别高，因为假定可操作性没有部署被动或主动光学目标。 尽管如此，为了控制累积的偏差，所有的系统都需要一个独立的参考源。
Sjö等人 （2009）利用具有变焦功能的低分辨率相机来导航机器人。为了近似估计到对象的距离，他们在第一步中使用了缩放位置，然后通过计算当前图像的RFC直方图（Receptive
Field Cooccurrence Histograms）并将它们与先前捕获的图像的直方图进行比较来执行SLAM。为了使SLAM方法几何稳定，机器人还配备有激光扫描数据。
Muffert等人 （2010）基于连续图像的相对方向来确定全向摄像机的轨迹。如果没有通过其他参考位置或方向的附加控制，则记录的路径偏离真实的轨迹，类似于仅依靠航位推算的惯性传感器。 40s的采集时间，偏航角的标准偏差为0.1度。
Kim和Jun（2008）将存储的图像序列与当前的无线头戴式摄像头视图相匹配。除了基于视觉的定位技术之外，还使用部署的标记和室内环境的地形信息来支持位置的识别。 该系统是为增强现实应用程序设计的，通过用附加信息注释用户的视图。
基于光学测距原理，Maye等人 （2006）开发了一种使用光学鼠标传感器的低成本光学导航设备。对电脑鼠标的唯一修改是针对更高速度（2米/秒）和离地间隙（5厘米）的不同镜头。 为了纠正累积的路径偏差，部署固定地标以进行位置更新。 另外，他们还采用了磁感罗盘。 (小于2 m / s的速度漂移是行程长度的1％)
部署编码目标作为参考
完全依赖图像自然特征的光学定位系统缺乏鲁棒性，特别是在光照变化的条件下。 为了提高参考点的鲁棒性和提高精度，利用专用的编码标记以满足系统更高的定位要求。 这些标记提供了三个目的：a）简化相应点的自动检测; b）引入系统尺度; c）通过对每个标记使用唯一的代码来区分和识别目标。
目标的常见类型包括同心环，二维码或由彩色点组成的图案，见图4。 有反光和不反光的版本。
天空特里克斯公司（2011）开发了一种光学导航系统用于仓库铲车。 编码的参考标记被部署在沿着路线的天花板上。 在每个叉车的顶部，光学传感器将图像转发到集中处理的服务器。位置准确度为“在一英寸到一英尺之间”。
Mulloni等人 （2009）利用条形码为拍照手机开发了一种低成本的室内定位系统。
这些标记放在墙上，海报或某些物体上。 如果捕获这些标记的图像，则可以以“几厘米”的精度确定设备的姿态。还可以显示额外的基于位置的信息（例如关于下一个会议室或下一个会话）。
AICON 3D Systems（2010）开发了一种名为“ProCam”的系统，用于亚毫米级精度范围的工业应用。 移动摄像机指向一个预先校准的参考点字段。为了增加点检测的鲁棒性，照相机发射照射参考点的主动红外光。 触觉测量是使用集成的探针头手动进行的。
目前送餐机器人在屋顶打的图案应该就是这种，用来纠正里程计的绝对位姿误差。
Hagisonic（2008）的StarGazer系统专为机器人定位而设计，原理是利用安装在天花板上的复古反光目标。红外敏感照相机观察由红外光源主动照亮的不同点图案。 点图案被独特地排列在3×3或4×4网格上以识别每个房间，而且还能在子分米准确度内确定漫游相机的姿态。
Lee和Song（2007）也使用了反射目标的原理来定位和定位移动机器人。这里，三角形目标的角部用于近似方位估计，六个内部扇区用于唯一识别。 为了实现算法的鲁棒性，算法比较了有主动照明与没有主动照明的图像之间的差异。 根据所述结果，二维精度在亚分米级。
Frank（2008）描述了由Breuckmann GmbH开发的名为“stereoScan-3D”的系统，用于工业表面的高精度测绘。两个移动的高分辨率相机具有固定的基线，用于捕获精度为50μm的点。 摄像机的精确定位是在校准阶段执行的，该阶段包括了图像捕捉，用到的标记是附着在目标物体上的。
参照发射目标(Projected Targets)
发射参考点避免了环境中目标的物理部署，使得这种方法更经济。 对于某些应用来说，安装参考标记是不理想的或不可行的。 还可以投射红外光以对用户不可见。 与仅依赖于自然图像特征的系统相反，由于发射特征的不同颜色，形状和亮度，发射图案的检测得到促进。
在中央光投影代替照相机的光路的情况下，可以使用逆照相机（或主动三角测量）的原理。 基于主动光的系统的主要缺点是相机和光源需要在同一表面上直接观看。
Figure 5. Projected reference patterns. Upper left: TrackSense Grid, upperright: CLIPS aserspots, lowerleft: laserspots of Habbecke, lower right:diffraction grid of Popescu
科勒等人 （2007）构建了一个名为TrackSense的实验模型，由一台投影仪和一个简单的网络摄像头组成。 如图5.（左上）所示，网格图案投射到相机视野的平面墙上。 使用边缘检测算法，确定线条和交点。 通过三角测量原理 - 类似于立体视觉 - 计算每个点相对于相机的距离和方向。 有了足够的点数，TrackSense可以确定摄像机相对于固定的大平面的方向，如墙壁和天花板。 TrackSense的评估表明，这种系统能够提供3厘米的精密度（precision)和4厘米的准确度(accuracy)。
Tilch和Mautz（2010）开发了CLIPS（相机和激光基室内定位系统），目的是确定移动摄像机相对于激光钻机的姿态。由于钻机从虚拟中心点发射激光束，因此可以视为反相机。 如图5.（右上）所示，从没有任何特定场景结构的投影到任何表面的明亮激光点，可以计算摄像机和激光装置之间的相对方向。
点跟踪是在15赫兹的帧速率下实现的，摄像机位置的精确度是毫米。
Habbecke和Kobbelt（2008）的摄像机系统基于激光指示器和固定摄像机的移动装备。
安装在钻机上的激光射线可以实现任意匹配而不需要中心交点。 为了正确识别激光点（如图5.左下所示），使用贪心配对算法。 通过最小二乘最小化，确定照相机和钻机之间的相对取向。 除了姿态确定之外，该系统还可用于跟踪和场景重建。报告的精度表明位置偏差在几毫米左右。
Popescu等人的激光钻机 （2004,2006）安装在手持式摄像机上，其优点在于激光源和摄像机之间的相对取向保持不变。从一个激光源和一个作为分束器的衍射光栅，产生一个7×7激光点的网格，见图5.右下。 这49个点位于每个帧中，并且它们的3D位置是通过光线与激光束之间的三角测量来计算的。 当具有激光装备的照相机可以自由地移动通过场景时，激光光斑的3D位置可以用于场景建模。 据报道位置精度优于1厘米。
Evolution Robotics（2010）开发了用于导航购物车或机器人吸尘器的室内定位系统NorthStar。 移动单元的位置和方向由从一个或多个红外LED发射的红外光点确定。 每个移动单元可以配备红外探测器和投影仪，以确定移动设备之间的相对方向。 所报告的定位精度在cm到dm的范围内。
无参照系统
该类系统的目的是直接观察对象的位置变化，因此不需要外部参考。 常用的方法是通过单个或多个静态相机实时跟踪高帧速率的移动对象。
Bürki等人描述的DEADALUS系统 （2010年）由一台CCD摄像机夹在测量总站上组成。 由于望远镜的放大使得高精度、高频率的水平和垂直角度可以被测量，用于自动二维监测。
一般来说，任何物体都可以被追踪，但通常被照亮的目标被观察到增强算法的鲁棒性，见图6。 DEADALUS是一个高端系统，报告的点间相对精度可以达到0.3弧秒或0.04毫米。
Figure 6 Tracked LED by DEADALUS with a circle indicating the centroid
Boochs等人 （2010）使用多个固定校准和定向摄像机来跟踪安装在工业机器人头部的照明目标。目标物体由一个带有54个自发光红外LED的球体组成，可以从各个方向进行稳健的跟踪。 这种摄影测量跟踪方法的第一个测试结果已经显示约0.05mm的3D坐标质量。
Tappero（2009）建议了一种在室内环境中追踪人员的低成本系统。为了使用非常便宜的组件来实现实时跟踪，他们通过检测随后帧的差异图像的变化来优化计算效率。利用天花板上安装的静态摄像机使其能够以一定的分米精度定位人员和物体。
以其他传感器为参照
Soloviev和Venable（2010）将GNSS载波相位测量的视觉数据与GNSS挑战的环境结合起来。 如果少于所需可见卫星的数量，则使用亚厘米级准确度的单载波相位测量来支持从视频图像中提取特征。通过GNSS观测的距离测量来确定系统尺度，并以此初始化图像深度来促进特征提取。不需要确定整数载波模糊度，因为未知的模糊度通过连续位置的载波相位测量之间的差分来消除，而空间仅有小的移位。
总结