光线从物体反射到摄像机的图像采集器过程中光路的几何研究

针孔成像模型

首先引入一个简单的模型解释——*模型，利用小孔成像原理。

-f（焦距）：从针孔到屏幕的距离，单位是像素。
-Z：物体到摄像机的距离。
-X：物体的实际长度。
-x：图像（投影）平面的物体长度，单位是像素。
由三角形相似可知：-x/f = X/Z

为了投影平面的图像不倒立，把投影平面前移至投影中心前f远处

-投影中心：针孔点
-主点：光轴与图像平面的交点
空间某点Q
依旧符合三角形相似，有x/f = X/Z。

但由于安装的误差，摄像机的图像采集器通常不在光轴上，因此我们引入c_x， c_y对偏移补偿，同时由于部分不良的图像采集器的像素单元为长方形而非正方形，如下图：

而投影的图像是不会变的，这样就会导致在以像素为单位的图像平面中，横纵坐标比例与空间坐标中的原图像不符，即两图像不相似。
为此我们以某种方式对像素单元的长宽以mm进行测量得到，在x方向上一个像素值对应s_xmm，在y方向上一个像素值对应s_ymm。这样，尽管得到的像素值坐标不标准，仍能通过乘上s_x或s_y来转换成正确的长度坐标。（s单位：像素/毫米）
为了方便图像处理，依旧采用像素坐标表示投影平面的点，把s_x或s_y乘给f，从而得到f_x，f_y，（单位：像素）

对空间中某点Q（X, Y, Z ），有

基本投影几何

投影变换：将坐标Q（X, Y, Z）投射到投影平面上坐标q（x，y）的过程。

透镜畸变

但是由于利用小孔去成像，收集的光线太少，也受一定的距离限制，再引入透镜，与此同时带来了光线折射，即为透镜的畸变，为此利用摄像机的标定来矫正这种畸变（折射），从而回到简单的*模型。

径向畸变

原因：由于透镜本身对光的折射，造成远离中心点的地方光线弯曲更厉害而导致。

矫正：
x_corrected = x（1 + k₁r²+k₂r²+k₃r²）
y_corrected = y（1 + k₁r²+k₂r²+k₃r²）
-（x_corrected，y_corrected）：校正后畸变的新位置。
-（x，y）：畸变点在图像（投影）平面的位置

切向畸变

原因：由于摄像机组装时的误差，导致透镜不平行于图像（投影）平面。

矫正：
x_corrected = x + []
y_corrected = y + [p₁(r² + 2y²) + 2p₂x]

其他

成像过程中还有其他很多类型的畸变，但他们对图像的造成的形变相对来说不明显，在此不做讨论。

标定

目的：计算摄像机的内参数和畸变向量，从而将成像过程简化为针孔成像模型。
基础知识
旋转矩阵：
在三维直角坐标系中，一点Q（x，y，z），若坐标轴沿着x轴旋转Ψ，在旋转后的坐标系下Q’（x’，y’，z’）,有旋转矩阵Q’ ·R_x(Ψ) = Q。

令R = R_x(Ψ)R_y(φ)R_z(θ)，此时旋转矩阵R可应对各种坐标旋转。
平移向量：
若不仅坐标轴发生了旋转，坐标原点也发生了移动，就需要引入平移向量。
t = O’ - O；（在某一坐标系中）

综上：无论坐标系怎么平移、旋转，总能找到变换后坐标系下的Q’（x’，y’，z’）,原坐标系下Q（x，y，z）的关系：Q’ = R·（Q - t）。

棋盘法标定