3.3 摄像头成像模型

摄像头成像模型是对光学成像模型的一种简化，代表了从真实三维世界到二维图像平面的几何映射关系。在实际生活中，成像系统是基于透镜的非线性成像模型进行图像捕捉的，透镜成像原理示意图如图3-7所示。

其中， u 为物距， f 为焦距， v 为相距。三者满足如下关系：

摄像头镜头中的透镜在光线传播和投影过程中会引起畸变。通过摄像头成像模型和畸变模型，我们可以比较准确地描述外部三维空间点到摄像头内部成像平面的投影过程。摄像头成像模型和畸变模型构成了摄像头的内参。

3.3.1 针孔摄像头成像模型

图3-8所示小孔成像模型其实是一个最常用的摄像头成像模型——针孔摄像头成像模型。该模型基于典型的相似三角形原理进行计算，如图3-9所示。

假设 P 的坐标为（ X ， Y ， Z ） ^T ， P′ 的坐标为（ X′ ， Y′ ， Z′ ） ^T ，已知焦距 f （物理成像平面到小孔的距离），根据三角形相似关系，则有

其中，负号表示成像为倒立的。为了简化该模型并去除负号，这里将成像平面对称地翻转到摄像头前方，使其与三维空间点一起放在摄像头坐标系的同一侧（见图3-10），可得

所以有

镜头的折射和生产工艺可能会导致光线透过镜头投射到成像平面上成像点的位置与理想位置存在偏差，这种现象被称为“摄像头成像畸变”。

摄像头成像畸变主要分为径向畸变和切向畸变两种类型。径向畸变是由镜头光学元件形状引起的，光线在远离透镜中心的区域比靠近中心的区域更加弯曲。由于镜片的制造过程往往是以中心对称进行的，由此产生的畸变通常具有径向对称的性质。径向畸变进一步又可以分为桶形畸变和枕形畸变两大类。图3-11a展示了正常没有畸变的图像，图3-11b展示了桶形畸变的图像，图3-11c展示了枕形畸变的图像。除了桶形畸变和枕形畸变外，还有一种不常用的须形畸变。须形畸变是桶形畸变和枕形畸变混合产生的结果，图像中心处接近桶形畸变，但由中心向边缘逐渐过渡到枕形畸变。图3-12给出了不同畸变的成像效果。

除了透镜形状引入的径向畸变外，安装工艺导致镜头不完全平行于成像平面，这种安装偏差产生的图像中心偏移被称为“切向畸变”，如图3-13所示。

为更好地理解径向畸变和切向畸变，我们采用严格的数学公式对这两种畸变进行描述。假设平面上的任意一点 p 可以用笛卡儿坐标表示为（ X ， Y ） ^T ，该点也可以描述成极坐标的形式（ r ， θ ） ^T ，其中， r 为点 p 离坐标系原点的距离， θ 为该点与原点的连线和水平轴之间的夹角。径向畸变可以理解为坐标点沿着从原点向外的径向距离 r 发生了变化，即该点到原点的距离发生了变化。切向畸变则可以看成坐标点沿其所在的圆的切线方向发生了变化，也就是与水平轴的夹角 θ 发生了变化。

对于径向畸变，无论桶形畸变还是枕形畸变，它们都是随着离中心的距离增加而变形增加。这种现象可以采用一个多项式函数来描述，它反映了畸变前后坐标的变化关系。具体来说，这种畸变可以用与中心距离有关的二次或更高次的多项式函数进行矫正：

x _corrected = x（ 1+ k ₁ r ² + k ₂ r ⁴ + k ₃ r ⁶ ）

y _corrected = y（ 1+ k ₁ r ² + k ₂ r ⁴ + k ₃ r ⁶ ）

其中，（ x ， y ） ^T 是未矫正点的坐标，（ x _corrected ， y _corrected ） ^T 是去畸变后点的坐标，它们是归一化平面上的点，而不是像素平面上的点。在上式中，对于畸变较小的图像中心区域，径向畸变矫正主要是 k ₁ 起作用；对于畸变较大的边缘区域，主要是 k ₂ 起作用。一般来说，使用 k ₁ 、 k ₂ 就能够很好地矫正径向畸变。像鱼眼镜头这种畸变更加明显的镜头，可以加入 k ₃ 对畸变进行矫正。

对于切向畸变，可以使用另外两个参数 p ₁ 、 p ₂ 进行矫正：

x _corrected = x +2 p ₁ xy + p ₂ （ r ² +2 x ² ）

y _corrected = y + p ₁ （ r ² +2 y ² ）+2 p ₂ xy

所以，对于摄像头坐标系中的任意一点 P （ X ， Y ， Z ），我们可以通过这5个畸变系数来找到该点在像素平面上的位置，具体如下。

1）将三维空间点投影到归一化图像平面，假设归一化后的坐标为（ x ， y ） ^T 。

2）将归一化图像平面上的点进行径向畸变和切向畸变矫正：

3）将矫正后的点通过内参矩阵投影到像素平面，得到该点在图像上的正确位置：

上面矫正畸变共使用了5个畸变项。在实际应用中，我们可以灵活选择矫正模型，如只选择 k ₁ 、 p ₁ 、 p ₂ 这3项等。

畸变去除前后的效果如图3-14所示。

3.3.2 鱼眼摄像头成像模型

鱼眼摄像头成像模型也是常见的一种摄像头成像模型，主要用于泊车、安防等领域，具有独特的特性，具体如下。

1）视角大，一般鱼眼摄像头的FOV都大于180°，有的甚至可以达到360°。

2）受抖动影响小，快速运动时图像不会模糊。

3）对光线不很敏感，在地库、低光线下可以使用。

鱼眼摄像头的畸变主要由摄像头镜头的设计造成的，其成像效果如图3-15所示。图3-16展示了传统针孔摄像头与鱼眼摄像头成像原理。

由于鱼眼摄像头的成像过程相对复杂，为了简化分析，先将鱼眼镜头简化成一个球面，如图3-17所示。假设世界坐标系中有一个点 P ，其入射角度为 θ ，如果按照针孔摄像头成像模型，入射光线 PO ₁ 经过镜头后不会改变传播路线，此时 P 、 O ₁ 、 p′ 三点共线， p′ 为 P 对应的像点；但对于鱼眼摄像头，由于入射光线 PO ₁ 经过镜头后发生折射， P 实际的像点偏移后为 p 点[该点的极坐标表示为（ r ， φ ）]。

为了将尽可能大的场景投影到有限的图像平面内，Sami.S.Brandt在“A Generic Camera Model and Calibration Method for Conventional，Wide-Angle and Fish-Eye Lenses”文章中提出了鱼眼摄像头成像设计，如图3-17所示。

根据投影函数的不同，鱼眼摄像头的设计模型大致被分为5种：透视投影（即针孔摄像头成像模型）、体视投影、等距投影、等积投影、正交投影，如表3-1所示。

常用的鱼眼摄像头成像模型为等距模型。但实际应用中的鱼眼摄像头成像模型由于制造公差、光学设计等因素，并不完全符合等距投影模型。为了方便鱼眼摄像头的标定，一般取 r 关于 θ 泰勒展开式的前5项来近似描述鱼眼摄像头的实际投影函数：

r（θ ）= fθ ≈ k ₀ θ + k ₁ θ ³ + k ₂ θ ⁵ + k ₃ θ ⁷ + k ₄ θ ⁹

其中， θ 为入射光线 PO ₁ 和光轴的夹角，即入射角； r 为摄像头空间任一点 P 在摄像头成像平面的像点 p 距离光心的距离| O ₂ p |； k ₀ 为经验值， k ₀ =1； k ₁ ～ k ₄ 为畸变参数，由标定结果提供。 5Pnh1vktOVSJeUyqmXQ5FclBJqnWMTyUOy6wmrkVD/xIa2L+v2VpKmtVT7E+k/sI