双目视觉中本质矩阵和基础矩阵的详细推导

原文链接如下：https://www.cnblogs.com/houkai/p/6661607.html

对极几何是视图几何理论的基础，对极几何（Epipolar Geometry）描述了同一场景两幅图像之间的视觉几何关系。

设两相机的中心分别为Ol和Or，两图像平面分别为I和，P为共同视域中的场景空间点，它在两幅图像平面上的像点分别为pl和pr。对极几何关系中主要包含以下几何元素：

极平面：两个相机坐标原点Ol、Or和物体P组成的平面。

极线：极平面和两个像平面的交线，即和

极点:为右相机原点在左像平面的投影;为左相机原点在右像平面的投影

我们要研究的极线约束:两极线上点的对应光系(和当然也满足)

如果有两个相机,cam1在建筑物的左侧,cam2在建筑物的右侧,拍摄得到两张照片.像平面是无限延伸的,照片只是像平面的一部分.

左侧是cam1的像平面，右侧是cam2的像平面。

红线表示相应的对极线，这些对极线满足一定的几何约束。

本质矩阵

两个相机坐标系的关系：

是物体P在相机坐标系的位置,是物体P在坐标系的位置。相对于的旋转矩阵为R,位移为T。则：

由于R是正交矩阵，可以写成：

由于三向量共面，如下图，所以它们的混合积为0.

将叉乘写成矩阵相乘的形式：

令：，S是一个秩为2的矩阵，则：

显然，和可以通过矩阵E=RS来约束，我们称E为本质约束(Essential Matrix)。它具有两个性质：

1. 秩为2
2. 只依赖于外部参数R和T

基础矩阵

继续前面的本质矩阵，结合成像的集合关系：

这里的和是在单位距离坐标系下的位置.如果我们要分析的是图像，需要转到像素坐标系下，此时：

从而有：

我们称矩阵F为基础矩阵：，性质是：

1. 秩为2
2. 依赖于相机内参和外部参数R和T

基础矩阵给出了：在已知一个点和F的情况下，其匹配点的直线约束方程：

直线约束方程为：

进一步分析：而这里的F是秩为2的矩阵，所以存在：和。

e表示它满足所有的直线约束，也就是上面图中那一堆直线的交点，物理意义便是cam2(cam1)在cam1(cam2)的像平面的投影，即极点。

使用SVD分解即可求得极点。