相机

相机将三维世界中的坐标点（单位为米）映射到二维图像平面（单位为像素）的过程能够用一个几何模型进行描述。这个模型有很多种，其中最简单的称为针孔模型。针孔模型是很常用，而且有效的模型，它描述了一束光线通过针孔之后，在针孔背面投影成像的关系。在本书中我们用一个简单的针孔相机模型来对这种映射关系进行建模。同时，由于相机镜头上的透镜的存在，会使得光线投影到成像平面的过程中会产生畸变。因此，我们使用针孔和畸变两个模型来描述整个投影过程。

针孔相机模型根据三角形相似关系

$\frac{Z}{f}=-\frac{X}{X^{\prime}}=-\frac{Y}{Y^{\prime}}$fZ​=−X′X​=−Y′Y​
其中负号表示成的像是倒立的。为了简化模型，我们把可以成像平面对称到相机前方，和三维空间点一起放在摄像机坐标系的同一侧，如图5-2中间的样子所示。这样做可以使式子更加简。
$\begin{array}{l} X^{\prime}=f \frac{X}{Z} \\ Y^{\prime}=f \frac{Y}{Z} \end{array}$X′=fZX​Y′=fZY​​
式（5.3）描述了点 P 和它的像之间的空间关系。不过，在相机中，我们最终获得的是一个个的像素，这需要在成像平面上对像进行采样和量化。为了描述传感器将感受到的 光线转换成图像像素的过程，我们设在物理成像平面上固定着一个像素平面 $o-u-v $。 我 们在像素平面得到了 $P'$P′ 的像素坐标: $[u, v]^{T}$[u,v]T。
像素坐标系“通常的定义方式是：原点 o’ 位于图像的左上角， 轴向右与 $x$x 轴平行， $v$v 轴向下与 $y$y 轴平行。像素坐标系与成像平面之间，相差了一个缩放和一个原点的平移。 我们设像素坐标在 $u$u 轴上缩放了$\alpha$α倍，在 $v$v 上缩放了 $\beta$β 倍。同时，原点平移了 $\left[c_{x}, c_{y}\right]^{T}$[cx​,cy​]T 那么，$P'$P′ 的坐标与像素坐标 $[u, v]^{T}$[u,v]T 的关系为:
$\left\{\begin{array}{l} u=\alpha X^{\prime}+c_{x} \\ v=\beta Y^{\prime}+c_{y} \end{array}\right.${u=αX′+cx​v=βY′+cy​​
把 $\alpha f$αf 合并成 $f_{x},$fx​, 把 $\beta f$βf 合并成 $f_{y},$fy​, 得:
$\left\{\begin{array}{l} u=f_{x} \frac{X}{Z}+c_{x} \\ v=f_{y} \frac{Y}{Z}+c_{y} \end{array}\right.${u=fx​ZX​+cx​v=fy​ZY​+cy​​
其中， $f$f 的单位为米， $\alpha, \beta$α,β 的单位为像素每米，所以 $f_{x}, f_{y}$fx​,fy​ 的单位为像素。把该式写成矩阵形式，用到齐次坐标,会更加简洁，像素点的归一化坐标:
$x= \left(\begin{array}{l} u \\ v \\ 1 \end{array}\right)=\frac{1}{Z}\left(\begin{array}{lll} f_{x} & 0 & c_{x} \\ 0 & f_{y} & c_{y} \\ 0 & 0 & 1 \end{array}\right)\left(\begin{array}{l} X \\ Y \\ Z \end{array}\right) \triangleq \frac{1}{Z} \boldsymbol{K} \boldsymbol{P}$x=⎝⎛​uv1​⎠⎞​=Z1​⎝⎛​fx​00​0fy​0​cx​cy​1​⎠⎞​⎝⎛​XYZ​⎠⎞​≜Z1​KP

该式中，我们把中间的量组成的矩阵称为相机的内参数矩阵(Camera Intrinsics) $K$K .

双目相机模型

双目相机一般由左眼和右眼两个水平放置的相机组成。我们可以把两个相机都看作针孔相机。它们是水平放置的，意味两个相机的光圈中心都位于$x$x轴上。它们的距离称为双目相机的基线(Baseline, 记作 $b$b )，是双目的重要参数。

理想情况下，由于左右相机只有在$x$x轴上有位移, 因此$P$P的像也只在$x$x轴（对应图像的$u$u轴）上有差异。根据相似关系
$\frac{z-f}{z}=\frac{b-u_{L}+u_{R}}{b}$zz−f​=bb−uL​+uR​​
整理得
$z=\frac{f b}{d}, \quad d=u_{L}-u_{R}$z=dfb​,d=uL​−uR​

这里$d$d为左右图的横坐标之差，称为视差(Disparity)。根据视差，我们可以估计一 个像素离相机的距离。视差与距离成反比。然由视差计算深度的公式很简洁，但视差$d$d本身的计算却比较困难。我们需要确切地知道左眼图像某个像素出现在右眼图像的哪一个位置（即对应关系），这件事亦属于 “人类觉得容易而计算机觉得困难”的事务。