相机成像原理与数学模型

相机的成像结果可以抽象为一个小孔和一个平面，用小孔成像模型描述。
在这里插入图片描述
三维世界的光线经过小孔即光心到达成像平面，形成二维投影。以相机的光心O为原点， $X_c$ 、 $Y_c$ 、 $Z_c$ 为坐标轴组成相机坐标系；以成像平面的中心 $O'$ 为原点， $x'$ 、 $y'$ 为坐标轴组成图像坐标系。成像过程即为相机坐标系下的三维点变换为图像坐标系下的二维点的过程。

假设P为三维空间中一点。在相机坐标系下，其坐标为 $P = [ X,Y,Z]^T$ ；在图像坐标系下为点 $p$ ，其坐标为 $p = [x,y]^T$ 。

连接O 、O^’ 与光轴重合，且与成像平面垂直，则p在相机坐标系下 $p = [x,y,z]^T$ ，其中 $z = f$ ， $f$ 表示相机的焦距。仅考虑水平和光轴方向，模型抽象为一组相似三角形。
在这里插入图片描述
由几何关系：
$\frac{Z}{f} = \frac{X}{x} = \frac{Y}{y}$
整理得：
$x = f \cdot \frac{X}{Z}\\ y = f \cdot \frac{Y}{Z}\\ z = f \\ \tag1$
扩展坐标的维度，将 $Z$ 线性化：
$\left[ \begin{matrix} \hat{x} \\ \hat{y} \\ \hat{z} \end{matrix} \right] = \left[ \begin{matrix} f&0&0&0 \\ 0&f&0&0 \\ 0&0&1&0 \end{matrix} \right] \left[ \begin{matrix} X \\ Y \\ Z \\ 1 \end{matrix} \right]$
则坐标 $(\hat{x} ,\hat{y} ,\hat{z})$ 就是 $p = (x,y)$ 的齐次坐标。

相机的像素信息的计算机中占据一段连续的磁盘或内存空间，为了从存储信息的首地址开始读写，以成像平面的左上角为原点，水平向右作为 $u$ 轴正向，竖直向下作为 $v$ 轴正向，建立像素坐标系，其基本单位为像素。
两个坐标系的对应关系如下：
在这里插入图片描述
由此可知，图像坐标系和像素坐标系虽然在同一平面，但是相差了一个缩放和一个原点的平移。由于像素块是一个矩形，设其水平长度为 $\alpha$ ，竖直长度为 $\beta$ 。将图像坐标系下的点 $(x,y)$ 在水平方向上缩放 $\alpha$ 倍、平移 $c_{x}$ ，竖直方向上缩放 $\beta$ 倍、平移 $c_{y}$ ，得到像素坐标系下坐标 $(u,v)$
$u = \alpha \cdot x + c_{x} \\ v = \beta \cdot y + c_{y}$
式(1)带入：
$f_{x} = \alpha \cdot f \\ f_{y} = \beta \cdot f$
写成齐次坐标的形式：
$\left[ \begin{matrix} u \\ v \\ 1 \end{matrix} \right] = \frac{1}{Z} \left[ \begin{matrix} f_{x}&0&c_{x} \\ 0&f_{y}&c_{y} \\ 0&0&1 \end{matrix} \right]$
得相机得内参数矩阵：
$K = \left[ \begin{matrix} f_{x}&0&c_{x} \\ 0&f_{y}&c_{y} \\ 0&0&1 \end{matrix} \right]$
其中 $K$ 称为相机的内参数矩阵，有四个未知数，这与相机的构造有关。根据以上推导可知， $f_{x}$ 、 $f_{y}$ 与相机的焦距、像素的长宽有关； $c_x$ 、 $c_y$ 与相机的成像平面大小有关。
综上所述，相机的成像过程为：
$p = K \cdot P$
当相机移动时，相机坐标系的原点和坐标轴的方向也会随之变化，所以需要将其变换到系统的绝对坐标系下，即世界坐标系。

相机的运动可以用一个旋转和一个平移描述。设某一点在相机坐标系下坐标为 $P_c$ ，在世界坐标系下坐标为 $P_w$ ，旋转矩阵为 $R$ ，平移向量为 $t$ ，则其转换关系为： $P_c = R \cdot P_w +t$
写成齐次坐标形式为
$\left[ \begin{matrix} X_c \\ Y_c \\ Z_c \\ 1 \end{matrix} \right] = \left[ \begin{matrix} R_{11} & R_{12} &R_{13}&t_1 \\ R_{21}&R_{22}&R_{23}&t_2 \\ R_{31}&R_{32}&R_{33}&t_3 \\ 0&0&0&1 \end{matrix} \right] \left[ \begin{matrix} X_w \\ Y_w \\ Z_w \\ 1 \end{matrix} \right]$
即
$\left[ \begin{matrix} X_c \\ Y_c \\ Z_c \\ 1 \end{matrix} \right] = \left[ \begin{matrix} R & t \\ 0&1 \end{matrix} \right] \left[ \begin{matrix} X_w \\ Y_w \\ Z_w \\ 1 \end{matrix} \right]$
得到相机的外参数矩阵
$T = \left[ \begin{matrix} R & t \\ 0&1 \end{matrix} \right]$
综上所述，就得到了一个相机的矩阵：
$\left[ \begin{matrix} u \\ v \\ 1 \end{matrix} \right] = \left[ \begin{matrix} \frac{1}{dx} & 0 & c_x \\ 0& \frac{1}{dy} & c_y \\ 0 & 0 &1 \end{matrix} \right] \left[ \begin{matrix} f&0&0&0 \\ 0&f&0&0 \\ 0&0&1&0 \end{matrix} \right] \left[ \begin{matrix} R & t \\ 0&1 \end{matrix} \right] \left[ \begin{matrix} X_w \\ Y_w \\ Z_w \\ 1 \end{matrix} \right]$
其中：