摄像机成像模型

工业摄像机作为图像传感器是视觉测量的重要组成部分，能够实现三维空间点与二维图像点信息的转换。实际情况中成像模型往往呈非线性，小孔成像模型是简化后的线性模型，是实际成像模型的基础。

一、小孔成像原理

小孔成像模型如图所示，空间点成像于像平面1，为便于分析，以像平面1的对称面2作为像平面。空间点$P$P在世界坐标系下坐标为$（x_w，y_w，z_w）$（xw​，yw​，zw​），在摄像机坐标系下坐标为$（x_c，y_c，z_c）$（xc​，yc​，zc​），经过透视投影中心 $o$o，在像平面投影点为 $P'(u,v)$P′(u,v)。
成像模型涉及坐标系：
（1）像素坐标系: $o-uv$o−uv
（2）图像坐标系: $o-xy$o−xy
（3）摄像机坐标系: $o-x_cy_cz_c$o−xc​yc​zc​
（4）世界坐标系: $o-x_wy_wz_w$o−xw​yw​zw​
摄像机标定结果结果：
（1）有效焦距：$f$f
（2）主点位置：$u_0，v_0$u0​，v0​
（3）像元尺寸：$d_x，d_y$dx​，dy​
（4）外部参数：$R，T$R，T
（5）畸变系数：$k_1，k_2，k_3，p_1，p_2$k1​，k2​，k3​，p1​，p2​

1、实际应用中，通过简单图像处理，能够直接得到特征点的像素坐标图像$(u,v)$(u,v)，为建立坐标系转化关系，需要以图像坐标系作为中介，如图所示关系，像素坐标系与图像坐标系关系为
$\left[\begin{matrix}u\\v \\1\end{matrix}\right]= \left[\begin{matrix}1/d_x&0&u_0\\0&1/d_y&v_0\\0&0&1\\\end{matrix}\right] \left[\begin{matrix}x \\y \\1\end{matrix}\right]\tag1$⎣⎡​uv1​⎦⎤​=⎣⎡​1/dx​00​01/dy​0​u0​v0​1​⎦⎤​⎣⎡​xy1​⎦⎤​(1)

2、根据透视投影可知：$x=\cfrac {x_c}{z_c}f,y=\cfrac {y_c}{z_c}f$x=zc​xc​​f,y=zc​yc​​f，即图像坐标系与摄像机坐标系为
$z_c\left[\begin{matrix}x\\y\\1\end{matrix}\right]= \left[\begin{matrix}f&0&0&0\\0&f&0&0\\0&0&1&0\\\end{matrix}\right] \left[\begin{matrix}x_c \\y_c \\z_c\\1\end{matrix}\right]\tag2$zc​⎣⎡​xy1​⎦⎤​=⎣⎡​f00​0f0​001​000​⎦⎤​⎣⎢⎢⎡​xc​yc​zc​1​⎦⎥⎥⎤​(2)

3、摄像机坐标系与世界坐标系的关系由外部参数 $R,T$R,T 决定，内参与外参均有摄像机标定过程确定，摄像机坐标系与世界坐标系为
$\left[\begin{matrix}x_c \\y_c \\z_c\\1\end{matrix}\right]= \left[\begin{matrix}R&T \\0&1\end{matrix}\right] \left[\begin{matrix}x_w \\y_w \\z_w\\1\end{matrix}\right]\tag3$⎣⎢⎢⎡​xc​yc​zc​1​⎦⎥⎥⎤​=[R0​T1​]⎣⎢⎢⎡​xw​yw​zw​1​⎦⎥⎥⎤​(3)

综上所述，小孔成像模型完成了三维空间点到二维信息的转换关系，表示为
$z_c\left[\begin{matrix}u\\v \\1\end{matrix}\right]= \left[\begin{matrix}f/d_x&0&u_0&0\\0&f/d_y&v_0&0\\0&0&1&0\\\end{matrix}\right] \left[\begin{matrix}R&T \\0&1\end{matrix}\right] \left[\begin{matrix}x_w \\y_w \\z_w\\1\end{matrix}\right]\tag4$zc​⎣⎡​uv1​⎦⎤​=⎣⎡​f/dx​00​0f/dy​0​u0​v0​1​000​⎦⎤​[R0​T1​]⎣⎢⎢⎡​xw​yw​zw​1​⎦⎥⎥⎤​(4)

二、成像畸变校正

但是由于透镜制造精度以及组装工艺偏差的存在，会导致实际的成像过程中存在非线性畸变，所以线性模型不能准确描述成像过程。显然这对于视觉测量是不利的，虽然畸变无法消除，但可以根据畸变系数在一定程度上进行校正。
1、径向畸变，认为成像中心位置处无径向畸变，越靠近图像边缘，径向畸变越严重，则用 $r=0$r=0 处泰勒展开式尽量量化描述，应用中依据选用的相机类型，确定畸变系数 $k$k 的数量，常用校正模型为
$u_{corrected}=u(1+k_1r^2+k_2r^4+k_3r^6)\\ v_{corrected}=v(1+k_1r^2+k_2r^4+k_3r^6)$ucorrected​=u(1+k1​r2+k2​r4+k3​r6)vcorrected​=v(1+k1​r2+k2​r4+k3​r6)

2、切向畸变，是由于镜头与成像平面不平行导致，通常用两个畸变系数进行描述，校正模型为
$u_{corrected}=u+[2p_1v+p_2(r^2+2u^2)]\\ v_{corrected}=v+[p_1(r^2+2v^2)+2p_1u)]$ucorrected​=u+[2p1​v+p2​(r2+2u2)]vcorrected​=v+[p1​(r2+2v2)+2p1​u)]