购买
下载掌阅APP,畅读海量书库
立即打开
畅读海量书库
扫码下载掌阅APP

基于激光雷达边界框的自动泊车车位识别方法

朱冰,王志伟,赵健,陶晓文

吉林大学汽车仿真与控制国家重点实验室

【摘要】 利用激光雷达进行车位识别在探测精度和识别距离上更具有优势,但激光点云数据庞大,系统计算压力大。为提升基于激光雷达的车位识别的计算效率,本文提出了一种基于激光雷达边界框的自动泊车车位识别方法。根据边界框位置提取有效边界,结合有效边界长度利用加权中值滤波方法去除噪点;基于DBSCAN算法,引入边界框面积重合率判定,实现目标物体聚类;最后设计了不同参考车辆数量下的车位识别算法,并选取典型工况进行了实车测试验证。结果表明,引入边界框有助于减少数据量,提高计算效率,能够实现不依赖车位标线的平行泊车和垂直泊车目标车位识别。

【关键词】 车辆工程,自动泊车,车位识别,激光雷达,边界框

Automatic Parking Space Recognition Method Based on LiDAR Bounding Box

Zhu Bing, Wang Zhiwei, Zhao Jian, Tao Xiaowen

State Key Laboratory of Automotive Simulation and Control , Jilin University

Abstract: The use of LiDAR to recognize parking spaces has more advantages in accuracy and detection distance,but the data of laser point cloud is huge,and the system calculation pressure is large.In order to improve the computational efficiency of LiDAR based parking space recognition,this paper presents a method of automatic parking space recognition based on LiDAR bounding box.According to the position of the bounding box,the effective boundary is extracted,and the noise is removed by weighted median filter combined with the effective boundary length.Based on DBSCAN algorithm,the overlapped area rate of bounding box is introduced to realize object clustering.Finally,the parking space recognition algorithm under different number of reference vehicles is designed,and the real vehicle test of typical working conditions is carried out.The methed can realize the parallel parking and vertical parking spaces recognition independent of parking mark.The results show that the introduction of bounding box can reduce the amount of data and improve the computational efficiency.

Key words: vehicle engineering,automatic parking,parking space recognition,LiDAR,bounding box

引言

泊车对驾驶人操控能力和驾驶经验要求较高,被视为难度最高的驾驶操作之一 [1] 。自动泊车系统的应用,能够减少驾驶人操作负荷,提高泊车安全,降低泊车潜在危险 [2]

自动泊车系统包括车位识别、路径规划、泊车执行三个部分 [3] ,其中,车位识别是自动泊车的基础。目前常用的车位识别传感器是超声波雷达和摄像头等 [4] ,例如宝马3系、奥迪A8等车型的自动泊车功能均是基于这两种传感器开发。基于超声波传感器的方案,通过多传感器配合能够确定障碍物位置及距离,且其成本较低,在防碰撞预警、车位识别等方面已得到广泛应用 [5] 。基于摄像头的方案一般利用车辆环视系统,将原始图像经过预处理,提取车位角、旁车等关键信息,以此实现车位识别 [6-7]

超声波雷达波束角越大,探测距离越近,使其难以同时满足平行车位和垂直车位的探测需求,同时,对于反射面太小的障碍物,超声波雷达的识别能力较差 [8] 。受限于环境光照以及物体的反射表面,摄像头的识别能力在环境光线差、物体颜色深或表面光滑等情况下将大大降低 [9] ,且深度信息的处理计算量大,对计算性能提出更高要求。与上述两种传感器相比,激光雷达同时具有环境感知和测距功能,其感知距离远,不受环境光影响,在垂直泊车场景和黑暗条件下都能正常工作。

随着激光雷达成本的降低,已有越来越多的学者开展了基于激光雷达的自动泊车系统研究 [10-14] 。文献[10]提出了一种基于激光SLAM的停车空间重构及车位识别方法,并设计了基于B样条线的路径规划算法和基于MPC的路径跟随算法。文献[11]使用32线激光雷达进行环境建模,利用欧几里得聚类方法划分点云数据,在此基础上,利用改进的RRT算法建立了泊车路径规划方法。文献[12]提出一种2D点云数据的“L”型簇的识别方法,以此进行了垂直车位辨识。文献[13]利用自适应阈值聚类和LT-LEPF拟合方法对2D激光点云信息进行处理,建立多输入的模糊推理车位识别系统。文献[14]对比了基于网格和基于K均值聚类联合分割的两种激光雷达车位检测方法。

现有这些利用激光雷达的车位识别方法大多是基于点云数据处理计算的,庞大的点云数据量对处理设备的性能提出了更高的要求。本文以一款四线激光雷达的原始目标信息为基础,提出了一种基于激光雷达边界框的自动泊车车位识别方法。利用边界框数据,构建泊车环境,根据识别的参考车辆,实现基于自由空间的目标车位识别,并进行实车测试验证。结果表明,该方法具有良好的检测效果,且数据处理量少,有助于提高系统的实时性。

1 激光雷达边界框

本文选用工程实用化程度较高的4线IBEO激光雷达作为车位识别传感器,其可通过以太网或者CAN总线进行数据传输。相比于单线激光雷达,该激光雷达具有一定的角度辨识能力,多层激光束能够在车辆存在侧倾角时进行补偿,当底层激光束失效时,上层激光束仍能完成扫描。

IBEO激光雷达可直接输出其根据激光点云初步计算得到的目标物体边界框,边界框包含中心点 P c 、边长( x b y b )、方向角 θ 等信息,如图1所示,方向角以顺时针方向为正,边界框是按一定角度 θ 将点云簇包围起来的方框,雷达输出的每一帧数据包含大小、位置、角度不同的边界框。本文选择雷达输出的边界框信息作为车位识别的原始信息,相比于数据量庞大的点云信息,边界框将点云信息浓缩,只需要用四个顶点坐标来表示其位置及角度信息,很大程度地降低了后续计算的数据量,这能够降低计算压力,提高系统的响应速度和实时性。

图1 边界框

在泊车场景中,车位识别并不需要获取停靠车辆的精确轮廓,使用方框表示停靠车辆能够满足系统需求,所以用边界框表示扫描信息是可行的。将激光雷达布置在车辆两侧,随着车辆移动,即可采集到本车两侧的车位信息,如图2所示。其中,坐标原点为起始状态下的激光雷达中心, x 轴指向车辆行驶方向,称之为纵向; y 轴指向驾驶人右侧,称之为横向。在车位信息采集过程中,同一车辆或物体,由于其位置或外界干扰等影响,存在在同一时间不能完全被扫描到,以及被分割为多个边界框的情况,需要对边界框信息进行处理以获取准确车位识别结果。

图2 车位扫描示意图

2 边界框数据处理

2.1 边界框标签设置

将一段时间内每一帧边界框数据加入车辆里程信息进行汇总,得到该时间段车辆驶过区域内的边界框数据集,实际物体将表现为大量的边界框聚集,如图3所示,图中可以看到路边停靠车辆的大致轮廓。

图3 边界框数据集

泊车场景下,物体的边界信息是最重要的,但雷达很难同时感知到目标物的所有边界,即边界框的四边不都是有效边界。本文根据边界框与激光雷达的位置关系,对每一帧数据中的边界框添加标号。如图4所示,红色实线部分为有效边界。当边界框位于 y 轴左侧,即 x 正方向一侧时,标号为1,此时边界框的右边界和下边界为有效边界;当边界框位于 y 轴右侧,即 x 负方向一侧时,标号为-1,此时边界框的左边界和下边界为有效边界;当边界框与 y 轴相交时,标号为0,此时边界框的下边界为有效边界。根据边界框标号,提取有效边界,得到有效边界数据集。

图4 边界框与激光雷达的位置关系图

2.2 噪点去除

由于传感器自身精度或外界干扰的影响,雷达输出数据存在一定误差和抖动,对于车位识别精度有较大影响。因为物体边界不会发生突变,本文将孤立存在和跳变的边界数据视为噪点,如图5箭头所示。

目前常用的数据噪点处理方法主要有:卡尔曼滤波、中值滤波、均值滤波、高斯滤波、自适应滤波等。由于车辆外形是不会发生变化的,相邻几帧数据中物体边界不应发生太大差别,本文提出了适用于边界框数据的加权中值滤波方法,根据连续数帧的相邻数据,消除噪点。

中值滤波的基本原理是针对图像或其他数字信号中的某一点,取其规定邻域范围内的所有数据进行排序,用序列的中值代替该点的原数据。中值定义如下:

图5 有效边界数据集

设一组数据按照数值大小升序排列,如下:

式中, n n =1,2,3,…)表示排序后的序列; Y 为中值;Med为中值函数。

根据图4确定的位置关系,对标号为1的边界框的右边界 x 坐标,标号为0的边界框的下边界 y 坐标,标号为-1的边界框的左边界 x 坐标进行滤波处理。以当前处理的有效边界所在帧为基准,以边界框相交为原则,按照时间顺序分别向前和向后搜索,各提取5个满足要求且时间间隔最短的边界框为滤波邻域。

上述标准中值滤波邻域内各点对输出的作用是相等的,即权值为1。为提高滤波精度,本文引入加权中值滤波方法,增加邻域内某些数据的个数,以增加其在滤波中的权重,权值即为该数据的个数。根据边界框定义可知,边界框包含的点云数据与其大小有关;边界框越大包含的点云数据就越多,其为外边界的可能性更高;边界框越小,其局部精度相对更高,但是其为外边界的可能性越小。利用这一特性,将邻域内有效边界的长度作为权值分配的标准,长度越大,权值越大。具体过程如下:

以编号为 s 的边界框滤波为例,设邻域内有效边界 y 坐标集 A =[ y 1 ,…, y 5 y s y 6 ,…, y 10 ],设有效边界长度集为 B =[ l 1 ,…, l 5 l s l 6 ,…, l 10 ],其中 s 代表滤波点,以20cm为除数,对长度集取商,若余数大于10商加1,得到权值矩阵,见式(3):

式中, W =[ w 1 ,…, w 5 w s w 6 ,…, w 10 ];fix为取商函数; k 为附加系数,当余数大于10时, k =1,余数小于等于10时, k =0。

加权中值滤波输出为

式中,⊕代表将 y i 复制 w i 个。

这样,权重值大的变量参与个数更多,输出结果也就更接近该值。在滤波操作前,首先确认邻域内数据个数,当数据个数为1时,判定该边界框为孤立框,直接去除。滤波结果如图6所示,可以看出,该方法能较好地除去孤立或跳变噪点。

2.3 目标聚类

在进行车位识别前,需要将离散的边界框数据进行聚类处理,完成物体划分,但环境内的物体数据并不固定,需选择类别不定的聚类方法。基于密度聚类的方法能较好地适应类别不定的聚类场景,本文利用基于密度的空间聚类算法(Density-Based Spatial Clustering of Applications with Noise,DBSCAN),引入边界框面积重合率,实现目标聚类。DB-SCAN算法重点在于核心对象的提取,有邻域半径Eps和密度阈值MinPts两个关键参数。

图6 滤波后有效边界数据集

本文以边界框中心点代表边界框参与聚类,两中心点的距离为邻域半径内有效边界框的第一项判断标准,中心点距离采用欧氏距离,见式(5):

式中, d 为中心点距离; X Y 表示横纵坐标; P c 为边界框中心点; i j 表示两个不同的边界框。

引入边界框面积重合率作为邻域半径内有效边界框的第二项判断标准,边界框面积重合率定义见式(6):

式中, φ 为边界框面积重合率; S 为边界框的面积,可根据边界框坐标求取; S i S j 表示两个边界框的重合面积。

聚类开始时,首先进行核心对象判定。随机选择一个边界框作为起点,记作B i ;以边界框B i 的中心点为中心,搜索外围边界框,记作B j 。当边界框B j 与边界框B i 的中心点欧氏距离小于邻域半径,且两边界框面积重合率大于最小面积重合率阈值 φ min 时,视边界框B j 为边界框B i 邻域半径内的有效边界框。当有效边界框数量超过密度阈值时,将边界框B i 视为一个核心边界框。重复上述流程,提取所有核心边界框。

核心边界框判定结束后,基于DBSCAN算法密度相连的概念,将密度相连的边界框划为一类,实现边界框聚类,并利用外接矩形表示聚类后的边界框,聚类结果如图7所示。

图7 聚类结果

3 车位识别

目标车位指车辆的期望泊车位置,其长和宽分别对应本车的长度 l 和宽度 w 。泊车开始,驾驶人启动泊车程序,选定泊车模式为平行泊车或垂直泊车,以驾驶人启动泊车程序时的位置为起点,设定识别兴趣空间。随车辆前进,兴趣空间在纵向随着车辆行驶逐步推移。当兴趣空间内目标物体满足尺寸要求时,识别其为参考车辆。在平行泊车场景下,兴趣空间纵向设置为18m,横向设置为5m,识别纵向长度在3~6m,横向长度在1.5~3m范围内的目标物体为参考车辆;在垂直泊车场景下,兴趣空间纵向设置为6m,横向设置为8m,识别纵向长度在1.5~3m,横向长度在3~6m范围内的目标物体为参考车辆。

目标车位将根据参考车辆的位置定位,本文将泊车工况分为两参考车辆和单一参考车辆两种情况。当存在两个参考车辆时,如图8所示,将两参考车辆分别标记为主参考车辆和副参考车辆,角点 A 设为主参考点,角点 C 设为副参考点。

图8 两参考车时目标车位示意

A C 两点之间的纵向距离大于纵向车位预设总长度时,根据主、副参考点计算目标车位中心点,见式(7):

式中, D 为目标车位中心点。

当存在一个参考车辆时,如图9所示,只有主参考车辆和角点 A B ,选择两角点距离车辆中心最近的点作为主参考点,之后将根据主参考点计算目标车位中心点,见式(8):

式中, P 为参考点; L x 为纵向车位预设总长度,平行泊车时取值为6m,垂直泊车时取值为2.5m; L ref 为主参考车纵向长度; k 为方向系数,当参考点为 A 时取值为1,当参考点为 B 时,取值为-1。

图9 单参考车时目标车位示意

得到车位中心点后即可确定目标车位空间,检测目标车位空间内物体,若检测到该空间内有障碍物存在,则将该车位舍弃,重新进行参考车辆检测,直至获取有效车位,车位识别流程如图10所示。

最终得到的车位识别系统工作流程如图11所示。

图10 车位识别流程

图11 车位识别系统工作流程

4 实验验证

为验证车位识别方法的有效性,在实验车两侧安装激光雷达,对上述算法进行实车验证,如图12所示。试验车辆为某品牌SUV,所用的激光雷达为IBEO LUX4L,其主要参数为:水平视场角110°,角分辨率0.125°,测量距离200m,数据更新频率12.5Hz。在校园内,选取不同车位场景进行平行和垂直车位识别测试。

图12 实验车辆

正确的目标物体划分是实现参考车辆识别的前提,首先将 Eps 设为1m, MinPts 设为10, φ min 设为0.5,对本文设计的聚类算法进行验证。图13为一处垂直泊车场景的聚类结果对比图,图13a为只考虑边界框中心点距离,不考虑面积重合率时基于密度的聚类结果。可以看出,只考虑中心点距离无法对数据进行正确划分,停靠较近的两参考车被划分为一类,不符合实际情况。图13b为引入面积重合率后的聚类效果, Eps MinPts 不变,此时四辆参考车辆能被正确地划分。

图13 聚类效果对比

根据实验车尺寸,将目标车位长 l 设为4.5m,宽 w 设为1.9m。图14a为有两参考车辆时的平行泊车实验场景,图14b为目标车位识别结果,图中黑色矩形是以最小边界矩形表示的目标聚类结果,①号和④号矩形分别为主参考车辆和副参考车辆,②号矩形为目标车位,③号矩形为行道树,红色箭头为车辆行驶方向。在该场景下, A C 两点之间纵向距离大于 L x ,目标车位纵向定位于 A C 两点中间,目标车位下边界 y 坐标值为 A C 两点 y 坐标中值,其中, A 点坐标为(4.80,1.20), C 点坐标为(12.40,1.13), D 点坐标为(8.60,2.10),其余角点坐标可根据 l w 推算。

图14 两参考车辆的平行泊车目标车位识别

图15a为单一参考车辆时的平行泊车实验场景,图15b为目标车位识别结果,其中,③号矩形表示泊车背景环境中的绿化栏。在该场景下,系统检测到当前兴趣空间范围内只存在单一参考车辆,则以主参考点 A 确定目标车位,其中 A 点坐标为(8.97,1.01),目标车位中心 D 点坐标为(12.33,1.94)。此外,该实验场景无车位标线,本车位识别算法通过识别参考车辆来定位目标车位,无车位标线不对算法产生影响。

图15 单一参考车辆的平行泊车目标车位识别

图16a为有两参考车辆时的垂直泊车实验场景,图16b为目标车位识别结果,其中 A C D 三点坐标分别为(5.79,0.69),(8.78,0.86),(7.27,3.02)。图中,③号矩形表示车位后方墙体,其余标号含义与上文相同。相比于超声波雷达,激光雷达在远距离障碍物的探测上更有优势,能够获取更全面的环境信息。

图16 两参考车辆的垂直泊车目标车位识别

对算法的运算速度进行分析,得到系统单次识别平均计算时间为27.3ms,低于激光雷达的数据更新周期80ms。说明基于激光雷达边界框的自动泊车车位识别方法具有较高的计算效率,可满足系统实时性需求。

5 结论

车位识别是自动泊车系统的重要基础,本文提出了一种基于激光雷达边界框的自动泊车车位识别方法。根据边界框位置提取有效边界,根据有效边界长度设计加权中值滤波去除噪点;基于DBSCAN算法,引入面积重合率判定,解决了边界框距离较近时被误划分为一类的问题;最后根据参考车数量设计了车位识别算法。以边界框数据作为系统输入很大程度地降低了数据量,该识别方法平均计算时间为27.3ms,识别速度较快。本算法只依赖于参考车辆,当路面车位标线无法获取时依旧适用。未来的工作将着重于完善从激光点云到边界框的数据处理,以适应更复杂的工况。

参考文献

[1]PARK W J,KIM B S,SEO D E,et al.Parking space detection using ultrasonic sensor in parking assistance system[C]//IEEE Intelligent Vehicles Symposium,Eindhoven:IEEE,2008:1039-1044.

[2]MA S,JIANG H,HAN M,et al.Research on Automatic Parking Systems Based on Parking Scene Recognition[J].IEEE Access,2017,5:21901-21917.

[3]VOROBIEVA H,GLASER S,MINOIU-ENACHE N,et al.Automatic Parallel Parking in Tiny Spots:Path Planning and Control[J].IEEE Transactions on Intelligent Transportation Systems,2015,16(1):396-410.

[4]钱立军,胡伟龙,刘庆,等.多段式自动泊车路径规划及其关键技术[J].吉林大学学报(工学版),2016,46(3):785-791.

[5]仇旭,朱浩,邓元望.基于超声波雷达的改进车位检测算法研究[J].中国机械工程,2020,31(14):1747-1753.

[6]朱旺旺,黄宏成,马晋兴.基于图像识别的泊车车位检测算法研究[J].汽车工程,2019,41(7):744-749.

[7]LEE S,SEO S W.Available parking slot recognition based on slot context analysis[J].Iet Intelligent Transport Systems,2016,10(9):594-604.

[8]JEONG S H,CHOI C G,OH J N,et al.Low cost de sign of parallel parking assist system based on an ultrasonic sensor[J].International Journal of Automotive Technology,2010,11(3):409-416.

[9]SHIH S,TSAI W.A Convenient Vision-Based System for Automatic Detection of Parking Spaces in Indoor Parking Lots Using Wide-Angle Cameras[J].IEEE Transactions on Vehicular Technology,2014,63(6):2521-2532.

[10]SONG J,ZHANG W,WU X,et al.Laser-based SLAM automatic parallel parking path planning and tracking for passenger vehicle[J].IET Intelligent Transport Systems,2019,13(10):1557-1568.

[11]LEE B,WEI Y,GUO I Y.Automatic parking of self-driving car based on lidar[J].The International Archives of the photogrammetry,remote sensing and spatial information sciences,2017,42(7):241-246.

[12]JUNG H G,CHO Y H,Yoon P J,et al.Scanning laser radar-based target position designation for parking aid system[J].IEEE transactions on intelligent transportation systems,2008,9(3):406-424.

[13]薛峰.基于2D激光雷达的泊车车位智能检测设计与实现[D].重庆:重庆大学,2018.

[14]王海.基于激光雷达的自动泊车环境感知技术研究[D].大连:大连理工大学,2013. joyWrTRvRE9e1AZ6a2tbpvDabLBqmpNCoDhn9vY0cPlfptgW7d+hOb0fPM7M0yjU

点击中间区域
呼出菜单
上一章
目录
下一章
×