3.4 摄像头标定方法

摄像头标定方法有很多种，可以分为基于标定间的标定法和在线标定法两大类。

基于标定间的标定法是在特定的标定间布置一定数量的标定参照物（简称“标靶”），通过测量标靶关键点的图像信息以及对应的空间信息，求解出摄像头的内外参。这里的标靶包括但不限于棋盘格（见图3-18）、AprilTag（见图3-19）等。基于标定间的标定法都是基于张正友标定法进行标定的。

在线标定法指的是在车辆运行过程中实时进行的一种标定方法。它通过摄像头实时观察到的数据，结合传感器与车辆底盘、多个传感器之间的观测，动态地对外参进行修正。在线标定过程中使用的数据可以是通过语义分割、目标检测、特征检测等多种方法得到的特征数据。

3.4.1 张正友标定法

在摄像头标定中，张正友标定法是应用最广泛的一种方法。该方法主要是利用棋盘格标定板进行标定的。在标定过程中，将世界坐标系固定在棋盘格上，由于棋盘上每个格子的大小都是预先定义好的，我们可以准确地计算出棋盘格每一个角点在世界坐标系下的坐标。所以，这种方法也被称为“棋盘格标定法”。

当摄像头对标定板进行拍摄时，通过特定的图像检测算法来检测并获得棋盘格中每个角点在像素坐标系下的坐标，进而求解出摄像头的内外参矩阵和畸变系数。获取的匹配点数越多，标定结果越鲁棒。图3-20展示了单应矩阵的转换关系，也是求解摄像头内外参的示意图。

值得注意的是，张正友标定法只考虑了径向畸变，没有考虑切向畸变。

OpenCV提供了相关的函数库，下面给出求解摄像头参数的代码：

3.4.2 产线EoL标定法

产线EoL（End of Line）标定是车辆生产的一个必要工序，通过使用诊断设备触发标定程序，以完成域控制器内部参数的初始化和传感器外参的精确标定。产线EoL标定可以保证传感器安装角度的误差符合生产工艺标准。

图3-21、图3-22为某产线EoL标定过程中车辆前后摄像头标定的俯视和侧视图。

产线EoL标定涉及链路复杂，需要连接诊断仪以启动标定软件。该标定软件通过UDS（Unified Diagnostic Services，统一诊断服务）协议来完成标定条件检查、标定程序启动、标定结果获取等操作。此外，它还需要对反馈的标定结果、标定精度、标定时间等信息进行显示和记录。整个产线EoL标定过程涉及模块众多，包括MCU状态机、SoC感知软件、应用软件等。产线EoL标定的整体流程如图3-23所示。

产线EoL标定高度依赖OEM工程标定间的设计和设备状态，如标定间运行状态、标定间设备的精度等，有些OEM还需要产线EoL标定间适配多个车型等，所以在标定算法上，产线EoL标定软件需要进行兼容性设计。图3-24展示了一个比较简单实用的标定间。

对于摄像头传感器，产线EoL标定算法的原理基本上是相似的。首先通过定位设备将车辆摆在标定间的正确位置，然后通过摄像头检测到标志物（如ArUco或棋盘格等），并提取图像中的角点像素信息，再结合已知的摄像头内参以及角点在车体坐标系中的坐标，通过3D-2D姿态求解算法计算摄像头坐标系与车体坐标系下的相对位姿。

3.4.3 售后标定法

售后标定指的是车辆在保养或者返修过程中，涉及更换域控制器、调整或者更换传感器等操作，需要对传感器安装角度进行校验，以达到重新标定传感器参数，以及对软硬件功能进行初步诊断的目的。售后标定的特点与产线EoL标定的特点类似。

售后标定可以分为基于标定间标定和基于道路标定。基于标定间标定与产线EoL标定流程类似，对标定间的平整度以及标靶的安装有一定的精度要求。而基于道路标定对道路场景有一定的限制，需要在较为空旷和结构化（多车道要求）的场景下进行；同时为了保证标定效率也对标定时间做了限制，限定时长一般为10min，若标定无法在标准时间内完成或达到收敛，可能会影响使用体验。

基于道路标定的要求如下。

1）选择的标定路段需要包含一段完整的四线三车道的平直道路。

2）车辆在四线三车道路段行驶过程中，需要行驶在中间车道。两侧的车道尽量保持为单线，并保证在行驶过程中车道线无遮挡，如图3-25所示。

3）需要确保车道线清晰可见，且不存在旧的或未擦除的车道线。

4）尽量避免在黄昏、傍晚等光线较弱的时候进行动态标定。

5）需要避开雨雪天气，以防道路积水或积雪对车道线的影响。

6）车速应保持在30～60km/h。

基于道路标定流程如图3-26所示。

3.4.4 行车自标定法

在车辆运行过程中，轮胎气压、司乘人数、道路坡度以及车辆加减速等相关因素均有可能会导致摄像头参数相对于车辆初始外参有所偏差，如图3-27所示。所以，我们需要在车辆行驶时对摄像头外参进行实时矫正，以准确计算摄像头坐标系与车体坐标系之间的变换关系。行车自标定整体的流程与基于道路标定的流程类似，只不过不包含相关的诊断流程，如图3-28所示。行车自标定也属于行车功能中的一部分。

3.4.5 消失点标定法

行车自标定和基于道路标定都是利用道路的几何拓扑结构进行摄像头参数的标定，其中利用消失点进行摄像头姿态求解的方法也是一种进行外参矫正的方法。

消失点是真实物理世界中相互平行的两条直线，在摄像头投影图像中汇聚相交的点。图3-29展示了消失点的形成原理。图3-30展示了在FV透视图和BEV俯视图下车道线的对应关系。

消失点与光心的连线与生成该消失点的平面中的线平行。所以，在同一空间，这些平行线对应的消失点与摄像头光心的连线相互垂直，则有

其中， p _i 是消失点对应的像素坐标系下的坐标， K 为内参矩阵， R 为旋转矩阵， X _i 是消失点对应的世界坐标系下的坐标。对应求3个参数需要3个消失点联立成3个方程。在实际车辆运行时，这三个消失点对应3个相互正交的不同方向，即VP1（在车辆运动方向的消失点）、VP2（在地面上垂直于车辆运动方向的消失点）、VP3（垂直于地面方向的消失点）。

对于VP1坐标的求解，一般车辆是沿着车道线行驶，所以可以利用车道线求解消失点在像素坐标系下的位置关系，如图3-31中两条绿色线相交的红色点（即消失点VP1）。关于VP1的求解会在后续车道线检测中介绍，这里仅给出最简单的利用VP1求解摄像头位姿的代码：

消失点VP2坐标的求解一般比较复杂，目标接地线下底边与上边缘在现实世界是平行的，但图像上略微不平行会产生VP2，如图3-31中所示的两条黄色的线的交点（超出图像范围）。对于VP2的检测，一般使用菱形空间的概念进行。这涉及对前景对象（如同向行驶的车辆）进行边缘检测并进行级联霍夫变换，根据平行理论求解出目标上下边缘的相交点位置。我们可能会得到多个相交点，一般通过投票法，求解出相对其他点权重值最大的点，即最终的VP2。

消失点VP3坐标的求解比较简单，因为VP3与摄像头光心连线是垂直于地面的（即垂直于VP1和VP2构成的平面），所以根据正交理论可求解出VP3坐标。

其中，PP为图像坐标系中的任意一点，focal为焦距。

在实际车辆运行过程中，摄像头相对于地面的pitch角与消失点在图像中的位置有着直接关联。当车头扬起时，消失点的行坐标在图像中的位置会向下部移动；当车尾扬起时，消失点的行坐标在图像中的位置会向上部移动。利用这种关系，可以得到pitch角的计算公式： 。

Apollo中的pitch角估计也是利用了类似的方法，这里给出Apollo中pitch角计算的相关代码。

在直线行驶一段距离后，利用车道线交会得到的消失点进行pitch角的计算，同时对当前时刻的pitch角进行了直方图滤波：

3.4.6 基于车道线宽度假设标定法

车辆运行过程中，相对地面的姿态（主要是俯仰角，即pitch角）可能会发生瞬时变化。这些变化在成像瞬时，同样会影响俯视图中（也就是真实物理环境中）车道边界的平行性，所以可以利用基于车道线宽度假设的标定方法来完成对摄像头姿态的求解。图3-32给出真实车道线宽度与pitch角的变化影响关系，其中 α 为摄像头的pitch角， w ₀ 为真实的车道线宽度， w ₁ 为pitch角变化计算出的车道线宽度， h 为摄像头安装高度， L 为车道线的长度，所以在某一时刻 k 对应的pitch角可以表示为 。图3-33给出了基于车道线宽度假设获取的BEV投影结果。