计算机视觉学习之摄像机的几何标定

摄像机:

CCD摄像机:1970年推出,采用敷设在薄硅片上组成矩形网格的电荷收集晶格,来记录到达每个晶格的光能总量的某种度量。每个晶格是通过在硅片上生长一层二氧化硅,然后再二氧化硅上渗入导电门结构的方式组成的。大部分CCD摄像机的数字输出在内部先转换成模拟电视信号,再送到图像帧采集卡中,才构成最后的数字图像。

摄像机的内外参数估计问题(称为几何标定),假设摄像机观察到的特征(点或线)都在世界坐标系中有确定的位置。在这个假设下,摄像机标定可以看成是一个优化问题,优化的目标是使摄像机观察到的特征与理论位置之间的距离最小。

最小二乘法的参数估计

前面提到,摄像机标定问题等价于使理论预测值与观察值之间的均方误差最下。最小二乘法用于解决这个问题。

假设有P个关于q个未知数的线性方程组:

u11x1+u12x2+u13x3+....u1qxq=y1;

u21x1+u22x2+u23x3+....u2qxq=y2; <==>Ux=y

..

up1xq+up2x2+.........upqxq=yp;

在这个方程组中,令

U=u11  u12 ....u1q    ,                  x= x1,                        y=y1

     u21  u22 .....u2q                            x2                              y2

     ...                                                      ....                              .....

     up1   up2 ....upq                              xq                              y3

由线性代数理论可得到下面(一般情况下的)的结论:

  • 当p<q时,方程的解集构成一个(q-p)维的Rq上的子空间;
  • 当p=q时,有唯一解秩
  • 当p>q时,方程无解。当u的秩(线性独立的行或列的最大数目)最大(等于min(p,q),这就是一般情况的意思)时,以上结论成立。当秩小于min(p,q)时,解的存在性取决于y的取值以及它是否在u构成的空间内(由各列张成的Rp的子空间)。
  • 正则方程和伪逆  假设u是过约束的,即p>q,且秩为q。在这种情况没有标准的解,只能找到使误差最小的向量x,误差定义为:
  • 计算机视觉学习之摄像机的几何标定计算机视觉学习之摄像机的几何标定
  • 由于E正比于方程的均方误差,因此最小二乘法的意思就是使均方误差(数理统计中均方误差是指参数估计值与参数真值之差平方的期望值,记为MSE)最小化。齐次系统和特征值问题对原始问题稍加变化,同样是p个线性方程,q个未知数,但是矩阵y=0,
  • u11x1+u12x2+u13x3+....u1qxq=0;

    u21x1+u22x2+u23x3+....u2qxq=0; <==>Ux=0

    ..

    up1xq+up2x2+.........upqxq=0;

    计算机视觉学习之摄像机的几何标定
使用线性方法进行摄像机标定:标定用装置在摄像机中成像,在本节中假设从图像中取了n个特征点Pi(i=1,...,n),这些点的齐次坐标Pi是已知的,可以通过自动或手工的方法得到。标定过程分为两步,(a)计算这个坐标系下摄像机的投影矩阵M;(b)从投影矩阵估计摄像机的内外参数。
估计投影矩阵:假设摄像机的歪斜不为零,投影矩阵M可以是非奇异的任何矩阵。
(m1-uim3).p=0
(m2-vim3).p=0

奇异矩阵是线性代数的概念,就是该矩阵的秩不是满秩。首先,看这个矩阵是不是方阵(即行数和列数相等的矩阵。若行数和列数不相等,那就谈不上奇异矩阵和非奇异矩阵)。然后,再看此矩阵的行列式|A|是否等于0,若等于0,称矩阵A为奇异矩阵;若不等于0,称矩阵A为非奇异矩阵。 同时,由|A|≠0可知矩阵A可逆,这样可以得出另外一个重要结论:可逆矩阵就是非奇异矩阵,非奇异矩阵也是可逆矩阵。 如果A为奇异矩阵,则AX=0有无穷解,AX=b有无穷解或者无解。如果A为非奇异矩阵,则AX=0有且只有唯一零解,AX=b有唯一解。
则所有n个点的约束可以写成一个2n维的线性方程M,Pm=0,方程参数为投影矩阵的12个分量。
计算机视觉学习之摄像机的几何标定计算机视觉学习之摄像机的几何标定计算机视觉学习之摄像机的几何标定计算机视觉学习之摄像机的几何标定若n>>6,则可以用齐次线性最小二乘法计算单位向量m的值(且因而得到矩阵M),得到使|Pm|2最小的解。
估计内外参数
特征点的退化问题:特征点Pi(i=1,...,n)的一些退化情况可能会引起标定失败。
应用:机器人定位。