下载掌阅APP，畅读海量书库
立即打开
由于缺乏ground truth数据，先前的大多数车道检测研究都使用视觉验证来评估系统性能，只有很少研究进行了定量性能分析和评估。这是因为，车道检测评估是一项复杂的工作，检测方法可能会因硬件和算法而异，尚无可用于全面评估车道检测算法的通用指标。由于不同国家或地区的道路和车道情况明显不同，因此不能保证一个地方的车道检测系统在其他国家或地区也准确无误。某些检测算法甚至可能在昼夜的不同时间，显示出明显不同的检测结果。另外，基于单目视觉的系统，其性能不如采用激光雷达和视觉融合的系统。
因此，对车道检测系统进行评估是必要的。应该注意的是，评估车道检测系统的重要指标是驾驶安全性，以及系统对环境变化的鲁棒性。在研究工作中，评估方法可分为离线评估和在线评估两类，如图3-1所示。如前所述，常见的基于视觉的车道检测系统可大致分为三个部分，即预处理、车道检测和跟踪。因此，评估方法可被应用于这三个部分，并分别评估它们的性能。
图3-1 车道检测系统评估方法
在基于视觉的车道检测系统的研究中，硬件、算法和应用程序都有所不同，比如有些系统专注于高速公路，而有些系统则专注于城市地区，从而不能保证在城市道路区域可以使用精确的高速公路导向车道检测系统，因为这些区域有更多的干扰和密集的交通。因此，不可能使用单一的评估方法或度量标准来评估现有的所有系统。在表3-1中，列出了一些影响车道检测系统性能的因素。在对车道检测系统进行公正的评估和比较时，应考虑这些因素以及系统的工作环境。由于针对不同区域所设计和测试的车道检测算法不同，因此不同区域的不同道路和车道因素会影响检测性能。此外，数据记录设备、摄像机或其他视觉硬件会显著影响车道检测系统的其他方面。例如，在使用不同的摄像机时，车道检测系统可能具有不同的分辨率和视角，因而会影响检测精度。还有一些交通因素和天气因素，也可能会影响车道检测系统的性能。
表3-1 影响车道检测系统性能的因素
许多因素会导致检测结果的准确性降低，并使车道检测系统的性能随其他系统而变化。例如，有些车道检测系统是在复杂的交通环境下进行测试的，对这些系统会有更多的干扰（如人行横道或劣质的车道标记），还有一些系统则是在几乎没有影响因素的标准高速公路环境下进行测试的。理想的情况是使用通用平台进行系统评估，但是这在现实中几乎是不可能实现的。因此，成熟的评估系统应尽量考虑影响因素，并全面评估车道检测系统的性能。解决这些问题的一种潜在方案是使用并行视觉体系结构。下面将讨论性能评估方法，提出合理的评估指标。
在以往的文献中，对车道检测系统经常使用的是离线评估系统。在确定车道检测系统的框架之后，首先使用静态图像或视频序列对系统的性能进行首次评估。众所周知，Internet上已有一些公共数据集，如KITTI Road和Caltech Road等。在KITTI Road数据集中，包含289张训练图像和290张测试图像，分为三类。在该数据集中，标记了道路和自我车道区域。通常，可以通过使用ROC曲线来说明像素级真假检测率，从而完成评估。在Caltech Road数据集中，包含在4种不同道路情况下捕获的1224个标记的单个框架。这两个数据集都专注于评估城市道路和车道检测性能。基于图像的评估方法，其主要缺点是对真实的交通环境的反映较差，并且数据集中还包含有限的带注释的测试图像。
此外，使用视频数据集可以描述更多的信息，并能反映真实的交通情况。不过，它通常需要更多的人力资源来标记真实的路线。为此，Borkar等人 [44] 提出了一种半自动方法来标记视频序列中的车道像素，其中使用了时间切片图像和插值方法来减少标记工作量。通过从每个视频帧中选择相同的行，并根据帧的顺序重新排列这些行像素来构造时间分割图像。这需要两张或更多的时间切片图像，标记车道的准确性与图像数量成正比。对车道标记的任务，将被归结为对时间切片图像中的点标记。从每张时间切片图像中选择标记的真实值后，可将内插的标记车道相应地恢复到视频序列中。通过将车道标记转换为几个点标记任务，可大幅减少标记工作量。
尽管有人工注释的真实数据，一些研究人员还是使用综合方法在模拟器中生成具有已知位置和曲率参数的车道图像。Lopez等人 [45] 使用MATLAB仿真器，通过已知的车道参数和位置创建车道框架来生成视频序列与真实的车道线。这种方法能生成具有任意数量视频帧的道路和车道模型。使用模拟器生成真实的车道线，是在理想的道路条件下评估车道检测系统的一种有效方法。然而，目前可能很少有完全模拟现实世界交通环境的驾驶模拟器。因此，在使用模拟器进行评估之后，仍然必须使用真实的车道图像或视频来测试检测性能。另一种方法是在真实的测试轨道上测试系统，与GPS和高精度地图提供的准确车道位置进行比较，从而评估车道检测系统 [46] 。
在线评估系统将道路和车道的几何信息结合起来，并与其他传感器集成，以生成检测置信度。车道几何形状约束，是对车道检测系统进行在线评估的可靠指标。
一旦摄像机被校准并安装在车辆上，就可确定道路和车道的几何特征（例如，自我车道宽度）。在论文 [47] 中，论文作者提出了一种基于检测到的车道宽度测量的实时车道评估方法，其中根据三个条件对检测到的车道进行验证。这三个条件是：直线车道模型的坡度与截距、预定的车道宽度和消失点的位置。作者分析了车道模型参数的分布，并创建了一个查询表，以确定检测的正确性。一旦检测到的车道宽度超过阈值，便对车道宽度约束提出重新估计。
在论文 [48] 中，使用了世界坐标而非图像坐标测量误差来评估检测精度。同时使用了路边朝下的摄像头直接记录车道信息，生成地面实况，并估算车道内的车辆位置。在论文 [49] 中，基于不同的检测算法给出结果的相似性度量来计算实时置信度。评估模块的功能，通常是评估使用不同算法检测到的车道的位置是否在一定的距离内。如果获得相似的结果，则将检测结果取平均值，并报告较高的检测置信度。然而，此方法需要在每个步骤中同时执行两种算法，这增加了计算负担。
在论文 [50] 中，将视觉和基于激光雷达的算法结合起来，建立了一个置信概率网络，并采用行进距离来确定车道检测置信度。如果车辆能在该距离内安全行驶，则说明系统在车辆前方一定的距离处具有较高的估计一致性。在此前的研究中，还使用了其他在线评估方法。例如，评估指标是中心线和车道边缘之间的偏移。除使用单个传感器外，还可以使用其他传感器（如GPS、激光雷达和高精度的道路模型等）来评估基于视觉的车道检测结果 [50] 。在论文 [51] 中，引入了消失点车道检测算法。首先基于概率投票方法检测车道线段的消失点，然后通过消失点与线方向阈值一起来确定正确的车道线段。为了进一步降低误检率，作者采用了实时帧间相似度模型对车道位置的一致性进行评估。这种实时评估的思想，假设车道的几何特征在连续帧的短时间内不会发生显著变化。
现有的研究工作主要使用视觉评估，或者使用检测率作为评估指标，这是因为仍然没有通用的性能指标来评估车道检测性能。Li等人 [52] 为智能车辆设计了一套完整的测试方案，该方案主要针对整车的性能进行评估，而不仅仅是车道检测系统的性能，因此对车道检测系统提出了5个主要要求：对阴影不敏感、适用于未涂漆的道路、对弯曲道路的处理、满足车道平行约束、可靠性测量。
Veit等人 [53] 提出了一种基于手工标记数据集的特征级评估方法，他们比较了6种不同的车道特征提取算法。其所得出的结论是：结合光度和几何特征的特征提取算法取得了最佳效果。McCall和Trivedi [54] 检查了最重要的评估指标，以评估车道检测系统的性能。他们所得出的结论是：仅使用检测率作为评估指标是不合适的。因此，他们建议使用3个不同的评估指标，即误差的标准偏差、平均绝对误差和变化率误差的标准偏差。Satzoda和Trivedi [55] 提出了5个评估指标来测量车道检测系统的不同属性，并在准确性和计算效率之间进行权衡。这5个评估指标包括车道特征准确性、自我车辆定位、车道位置偏差、计算效率和准确性，以及随时间推移的偏差累积。在这些指标中，随时间推移的偏差累积有助于确定最大安全时间，并可用于评估所建议的系统是否满足ADAS的关键响应时间。然而，所有这些指标都非常重视检测的准确性，但没有考虑其鲁棒性。
总之，可以将车道检测系统与预处理、车道检测算法、跟踪分开来进行评估。而且，评估指标不限于测量检测到的车道与真实车道之间的误差，还可以扩展到评估车道预测范围、阴影敏感度和计算效率等方面。系统的具体评估指标，应基于有关实际应用程序的要求来确定。一般而言，车道检测系统应具有3个基本属性，即准确性、鲁棒性和效率。车道检测算法的主要目标是获得可接受的精度和具有较低的计算成本，还应满足实时安全性要求。再者，精度度量标准的衡量算法，能否检测到直线和弯曲的车道，且都具有较小的误差。以往，车道检测的准确性问题已得到广泛研究，并且在文献中能找到许多指标。然而，检测系统的鲁棒性问题尚未涉及，无疑会遇到更多的挑战。因此，通常使用城市道路图像来评估系统的鲁棒性。但是，许多其他因素也会影响车道检测性能，例如天气、阴影和照明、交通和道路状况等。