stereo calibration使用opencv获取图像rectification

    1. 使用opencv获取图像rectification

左右两张图像经过rectification后,会前向共面,也就是它们的主光轴平行,见“三角测量的前提的假设”。

该处理的源代码对应于opencv的sample的stereo_calib.cpp。

      1. 基本处理过程

基本处理过程分为两个部分,1)获取进行rectification所需要的map1和map2。 2)对每张图像基于是left camera还是right camera分别进行remap。

第二部分非常简单,类似于单目camera的UndistortRectify的remap操作,省略。

第一部分的处理如下:

  1. 从图片列表中读取图像。
  2. cvtColor,把图像转换成灰度图;
  3. 基于灰度图像,使用findChessboardCorners, 获取corners
  4. 基于灰度图,使用cornerSubPix,获取更精确的corners
  5. 基于左右camera,把每张图的Corner points 放入分别放入左右images points,二维向量,第一维对应于图像,第二维对应于图像内的corners points;
  6. 基于图像的数量构造obj points ;
  7. 调用initCameraMatrix2D函数,基于3D object的points和2D image points的对应关系,获取左右camera matrix。
  8. 调用stereoCalibrate函数,进行stereo 标定
  9. 遍历所有图像,调用undistortPoints函数和computeCorrespondEpilines函数和函数fabs来计算标定的epipolar的误差。
  10. 调用stereoRectify函数,获取左右image plane的和、投影矩阵和和用于3维重建的矩阵Q。后面会调用stereoRectifyUncalibrated函数更新左右image plane的和、投影矩阵和。
  11. 如果使用的是HARTLEY'S METHOD,调用findFundamentalMat函数,计算基本矩阵。
  12. 果使用的是HARTLEY'S METHOD,调用stereoRectifyUncalibrated函数,计算用于rectification的单应性矩阵,并基于单应性矩阵获取左右image plane的和,并更新投影矩阵和。
  13. 调用initUndistortRectifyMap函数,获取左右image plane对应的undistortion map。
  14. 结束。
      1. demo的输入参数

demo的输入参数:

  1. -w=6,board_width,棋盘的x-axis有6个Corner;
  2. -h=9,board_height,棋盘的y-axis有9个Corner;
  3. Inputdata=stereoFrames/path.yml,它的左右图像必须成对出现,因此,它的组织形式按seq方式组织如下:

%YAML:1.0

---

image:

   - "/data_1/songqing/opencv/example/image/stereoFrames/Color_0.bmp"

   - "/data_1/songqing/opencv/example/image/stereoFrames/IR_gain0x0_exp0x0_1.bmp"

   - "/data_1/songqing/opencv/example/image/stereoFrames/Color_10.bmp"

   - "/data_1/songqing/opencv/example/image/stereoFrames/IR_gain0x0_exp0x0_11.bmp"

  1. square size,默认为1;

我使用了HARTLEY'S METHOD,如果使用BOUGUET’S METHOD,出来的结果是错误的,应该是我右边的摄像头有光斑导致的。

用网上使用的棋盘图像,使用HARTLEY'S METHOD和BOUGUET’S METHOD都能得到正确的结果。

      1. 结果分析

原有的程序输出的结果有:

  1. extrinsics.yml:包含stereo 标定的旋转矩阵R,left camera的,right camera,平移矩阵T,leftcamera的投影矩阵,rightcamera的,重映射矩阵Q。
  2. intrinsics.yml:左右两个camera的camera 内参和畸变相关系数。

 

我进行图像验证的输入和输出如下:

输入的图像如下:

stereo calibration使用opencv获取图像rectification

stereo calibration使用opencv获取图像rectification

输出的图像如下:

stereo calibration使用opencv获取图像rectification

stereo calibration使用opencv获取图像rectification