下载掌阅APP，畅读海量书库
立即打开
张钰，林雨田，高利，赵亚男，吴绍斌
北京理工大学
【摘要】 毫米波雷达对于远距离静态物体检测能力较弱，在识别前方静态物体时目标丢失和信息缺失现象时有发生，驾驶辅助系统所搭载的毫米波雷达对静态物体的误检率和漏检率也相应上升，严重降低了驾驶辅助系统的安全性和可接受性。针对毫米波雷达对于静态物体辨识能力较弱，本文使用了机器学习算法来实现静态物体检测和跟踪。首先，远处静止障碍物，车辆以一定速度接近，采集并处理分析不同工况下毫米波雷达的数据，结果表明毫米波雷达在静态物体距离超过100m并且车速超过19m/s时的检测能力较差。然后，选取雷达检测目标的相对速度和相对距离作为观测量，使用高斯隐马尔可夫模型学习雷达的标签数据，获取了相对速度、相对距离和目标状态之间的非线性关系。基于雷达信号，通过高斯模型聚类可以对目标标签进行预测，再通过前后向反馈算法实现目标跟踪。结果表明，本文使用的模型能够有效地改善雷达对于距140m远、速度达到30m/s物体的目标预测和跟踪精度。
【关键词】 毫米波雷达，静态物体检测，机器学习
Static Targets Recognition and Tracking Based on Millimeter Wave Radar
Zhang Yu, Lin Yutian, Gao Li, Zhao Yanan, Wu Shaobin
Beijing Institute of Technology
Abstract: Due to the poor ability of millimeter wave radar in recognizing distant static objects,target loss and incomplete information will occur when it recognizes the static target in front,thus increasing the false alarm rate and missing alarm rate of the radar-dependent driving assistant system,which will reduce the driving safety and the acceptability of the assistant system.Aiming at the radar's poor ability to recognize static targets,this paper uses machine learning algorithm to recognize and track targets.Firstly,test vehicle approaches distant static target with constant velocity,and the radar signals are collected and processed in different conditions.The results show that the radar has a poor recognition effect when the distance is more than 100 meters and the vehicle speed is more than 19m/s.After that,taking the relative distance and relative velocity of the radar target as observation quantity,Gaussian Hidden Markov Model(GHMM)is used to learn the labeled data from radar,and the nonlinear relationship among the relative distance,relative velocity and target states are obtained.Moreover,through the clustering of Gaussian Model(GM),the target's label can be predicted according to the radar signal,and the forward-backward algorithm can be used to track the target.The results show that the model can effectively improve the accuracy of target prediction and tracking effect when the distance is around 140 meters and the speed is around 30m/s.
Key words: millimeter wave radar,static object detection,machine learning
随着车辆智能化水平的提升，涌现了许多先进技术来保障车辆、驾驶人和乘客的安全。先进驾驶辅助技术集环境感知、决策规划和控制于一体，能够有效地降低事故发生率并尽可能减少事故造成的损失 [1] 。先进驾驶辅助系统中的感知系统，如摄像头和激光雷达等传感器需要实现高精度的目标检测，尤其是高速公路和越野场地等复杂的交通环境下。精确的目标检测系统能够为车辆控制系统提供保障，从而实现对驾驶人、乘客和车辆的保护。毫米波雷达有着诸多的优点，如占用空间小、低功耗和高集成等特性。毫米波雷达有着摄像头和激光雷达难以望其项背的优异特性，如检测距离远、高可靠性和不受光照条件及微尘影响等 [2] 。更关键的是，毫米波雷达不受恶劣天气的影响并且能够工作于各个时段。因此毫米波雷达在大多数先进驾驶辅助系统的感知系统中都是关键的感知部件 [3] 。由此，也要求毫米波雷达能够在其检测范围内尽可能精确地识别障碍物的信息。按此要求，在商用车自动紧急制动系统的性能要求和试验程序中，规定目标车辆的检测距离应不小于150m [4] 。如今许多先进驾驶辅助系统采用的商用毫米波雷达能够在检测范围内高效地检测和跟踪移动的物体，但对围栏和安全锥桶等静态物体的检测效果较差，并由此引发交通事故。因此当具有配置毫米波雷达的驾驶辅助系统的车辆高速行驶时，远处静态物体的不精确检测和跟踪会导致误检率和漏检率上升，而这会严重影响决策和控制系统的性能，使得车辆的行驶安全性无法得到良好的保障。
毫米波雷达有必要对静态物体进行检测，尤其是在高速行驶的车辆上。对于AEB来说，毫米波雷达的静态物体检测能力较差，可能导致紧急制动系统无法及时地作出响应，因此发生事故。据此，卡尔曼滤波器与其衍生算法被广泛地应用于雷达目标跟踪和车辆定位技术。Jia X建立了一种车辆动力学模型，利用卡尔曼滤波算法处理雷达数据，并同时进行了车辆位置、速度和加速度的估计 [5] 。此外，毫米波雷达也常与其他传感器进行数据融合以获取更高精度的物体检测和跟踪结果。Siwei G提出了一种多传感器联合自适应卡尔曼滤波器来估计前方运动车辆的运动状态，实现了毫米波雷达和激光雷达的数据融合，旨在自适应调整测量噪声的协方差矩阵和系统噪声矩阵 [6] 。Kiin Na将四个毫米波雷达与一个激光雷达融合来不间断地检测同一目标，使用卡尔曼滤波器进行跟踪和预测，同时用联合概率数据关联滤波器实现数据更新，并实现目标检测和跟踪的可视化 [7] 。然而，卡尔曼滤波器并不是最优的跟踪算法，因为雷达检测目标的状态值是有限的，并且噪声的不合理设置会显著地影响检测结果。类似的，基于马尔可夫过程模型也常用于目标预测和跟踪。基于损失了一定信息量的视频数据，HE YI采用隐马尔可夫测量域进行车辆检测和跟踪。结果表明该算法即便在目标存在遮挡的情况下仍能较好地跟踪目标 [8] 。S.Tugac采用联合了检测前跟踪方法的隐马尔可夫模型来减少分类器阈值的干扰，减少了检测信号的噪声影响；相比于先验概率检测方法，在一定程度上改善了检测的精度 [9] 。Yogesh Nijsure采用隐马尔可夫模型检测和跟踪超宽带雷达来改善目标定位的精度。结果表明该方法能有效地改善定位估计精度并减少信噪比 [10] 。显然地，马尔可夫过程常被用于雷达目标的预测和跟踪。随着车辆智能化要求的不断提升，车辆上搭载的传感器也需要具有更长效和更强的检测能力来确保车辆的行驶安全。因此，对于行驶车辆上搭载的毫米波雷达在静态物体检测和跟踪时能力较弱的问题，本文提出了一种基于统计数据和高斯隐马尔可夫模型融合的方法，使用可信数据来训练模型，并采用统计方法来表达检测目标的特性。更为特别的是，上述模型能够在稀疏雷达信号的条件下实现静态目标的检测和跟踪。
车载网络通信平台收集、处理和分析毫米波雷达信号，该平台配备了NVIDIA® JETSON TM TX2（TX2）作为核心处理器，并配备了视觉传感器、激光雷达、惯性导航系统和毫米波雷达作为传感器，并通过以太网和CAN总线进行通信。为了控制车辆状态，车辆CAN总线同时采集车辆状态数据并实时传输控制器传达的指令。车载通信网络平台结构如图1所示。实际测试车辆的车载网络平台安装配置如图2所示。TX2发送时间戳信号给各个传感器以实现同步互联，并同时采集过程中产生的数据。在本文中，仅使用了车载通信网络平台的毫米波雷达来验证模型的有效性。
图1 车载通信网络平台
图2 测试车辆及其传感器配置
车载通信网络平台采用德尔福ESR毫米波雷达。该雷达工作频率在76～77GHz，并集中远距离广视场角和远距离窄视场角，采样频率为20Hz，最大探测距离达175m，并最多可同时检测64个目标。基于车辆状态信息，如车速、转向轮转角和横摆角速度以及回波强度等数据，ESR雷达能从64个检测目标中选出最具危险性的动静态目标。然而，静态目标的回波会与周围地面的杂波混合在一起。因此，毫米波雷达的静态目标输出信号具有阶跃性。故必须使用目标预测和跟踪模型来保持雷达静态目标输出的稳定性。
本文使用的高斯隐马尔可夫模型如图3所示，数字1～64代表雷达所检测目标的编号。需要通过雷达进行数据采集，同时筛选与分析数据来得出最危险目标 N （1≤ N ≤64）的相对距离和相对速度信息。相对距离和相对速度信息能作为模型的观测量用于目标隐藏状态序列的预测。若预测结果是真实目标，则使用前向后向算法对其进行跟踪。
图3 高斯隐马尔可夫模型
隐马尔可夫模型在处理多时间序列的相关性上有较大的优势。因此，选取毫米波雷达检测数据作为观测量，并选取目标状态作为隐藏状态量。通过模型参数的学习，高斯隐马尔可夫模型可实现一定距离内静态目标稳定检测和跟踪。
离散的状态观测值能够映射隐藏状态序列，隐藏状态的概率密度分布函数可以通过聚类分析用正态分布来进行描述，并以此来描述其属于某标签的概率密度分布函数。正态分布的概率密度函数如式（1）所示。式中 μ 、∑分别代表正态分布的均值和方差，并使用置信区间来表达目标的可信程度。
隐马尔可夫模型能够通过状态观测序列值来获取隐藏状态序列值。而观测状态和隐藏状态之间并没有直接的联系，因此必须要引入随机过程来关联状态信息。
假定 X 、 Y 分别为状态观测序列和隐藏状态序列。若 X =（ x 1 ， x 2 ， x 3 ，…， x n ）已知，可以通过贝叶斯公式获取与 X 相关的 Y =（ y 1 ， y 2 ， y 3 ，…， y n ）的概率。贝叶斯公式可基于事件的先验概率来求解后验概率，贝叶斯公式如式（2）所示。依据贝叶斯公式，并带入观测序列和隐藏状态序列可得式（3）。
首先基于隐马尔可夫模型的无后效性，也即是现在的状态 y i 仅仅取决于前一状态 y i -1 ，可导出状态序列式（4）。其次，基于隐马尔可夫模型的观测独立性，观测量 x i 仅和隐藏状态 y i 有关，得式（5）。最后，将式（4）和式（5）的结果结合式（3）可得到式（6）。
在式（6）中，分母与变量
y
无关因而可以视作常数。由此后验概率与三个概率的积成正比关系。这三个概率分别是：
P
（
y
1
），
，
。
P
（
y
1
）表示隐藏状态
y
1
的初始概率。
表示隐藏状态的状态转移概率。
代表隐藏状态
y
i
下取得观测值
x
i
的概率。
基于此，可以借助以下参数来定义隐马尔可夫模型：
1）隐藏状态 m t ：
m t ∈ M ={ m 1 ， m 2 ，…， m M }代表 t 时刻的隐藏状态，其中 M 是可选状态集合。根据目标是否被选为隐藏状态量，采用两种隐藏状态{0，1}表示，也即是 m t ∈ M ={0，1}。
2）观测变量 o t ：
o t ∈ O ={ o 1 ， o 2 ，…， o O }代表 t 时刻的可观测量，其中 O 是可选状态集合。车上配置的毫米波雷达能够输出64个目标中最危险目标的相对距离、相对速度和方位角数据。由于远处目标的方位角非常微小，可忽略不计。因此仅考虑相对距离和相对速度， o t ∈ O ={ d t ， v t }。
3）初始概率分布 π ：
π 代表隐马尔可夫模型中隐马尔可夫链的初始概率分布， π =（ π 1 ， π 2 ，…， π M ），其中：
π
i
=
，1≤
i
≤
M
，
=1。
4）状态转移概率 A ：
表征
t
时刻变量从隐藏状态
i
转变为状态
j
的概率，
是
M
*
M
的方阵。
5）状态转移概率 B ：
表征
t
时刻隐藏状态
i
为观测值
o
l
的概率，
是
M
*
O
的矩阵。
当三个概率参数确定时，隐马尔可夫模型可以用 λ =（ π ， A ， B ）表示。依据隐马尔可夫模型的数学表达式， π 和 A 用于生成状态序列， B 用于生成观测序列。采用Baum-Welch算法训练不同参数，获得优化后的状态转移矩阵 A 和输出矩阵 B ，并基于获取目标物体的标签。为此，采用前向后向算法通过约束置信区间获得目标状态值，以获得与当前观测值相对应的状态序列为静态目标的可能性 [11] 。使用高斯隐马尔可夫模型时，可使用观测概率密度函数 b j =（ O t ）= N （ O t ; μ j ，∑ j ），其中 μ j ，∑ j 分别表示隐藏状态 j 下高斯模型的均值和协方差矩阵。因此可用 λ =（ π ， A ， μ ，∑）来表示高斯隐马尔可夫模型。
为了获取合适的雷达工作环境条件，预先测试了雷达采集系统。测试过程中选取一辆静态汽车作为目标，驾驶测试车辆减速并最终制动停止在目标车辆前，雷达采集整个过程的数据。目标车辆和试验场地如图4所示。
图4 目标车辆与试验区域图
由于试验场地的道路相对狭窄，导致墙壁和路边栏杆可能被误检测，因此筛选了特定角度范围内的检测结果。不同工作条件下的目标检测结果如图5所示。从图中可以分析得出，雷达在对较近距离且速度相对较低的物体的检测效果更为精确、连续且不发生目标丢失；相应地对于远距离和高速运动的物体则存在目标丢失、检测不连续和误检测问题。因此，基于雷达检测试验及其检测数据和Delphi ESR雷达特性来设计雷达的工作条件。工作距离选取80m，也即是雷达校准的最大检测距离中间值，作为最低限制；速度则随着距离的增加逐渐增加。
为了确保采集到的数据尽可能地精准可信，测试车辆分别选取不同的初始距离和初始速度，重复对前方静止车辆目标进行数据采集。测试过程如图6所示。具体试验条件见表1。测试车辆需要在某一距离处加速，确保其以初始速度通过初始距离处，并减速为0。数据采集平台的采样频率为20Hz。
数据采集完成后，数据和模型的处理过程如图7所示。从试验数据中选取相对距离和相对速度作为模型训练的初始数据进行分析。对数据进行预处理后，执行高斯聚类并训练隐马尔可夫模型以获取不同距离和速度下的目标检测和跟踪模型。
表1 不同的工作条件
基于采集数据的分析结果，不仅能够描述雷达目标所处的状态，还能减少雷达数据的随机误差。如图8所示，图8a和图8b分别表示相对距离和相对速度的概率密度分布函数。在目标检测的过程中，雷达对于100m以内物体的检测效果良好，但对于100m以外的物体则存在漏检的情况，这也说明了选取80m作为相对距离最小值的合理性。数据结果表明，某些特定距离处（均值为42m）的目标并没有被检测到。速度检测的结果表明，当速度大于19m/s时，检测率明显低于速度小于19m/s的情况。由上可知，雷达的检测效果会在目标距离过大和速度过高的条件下受到影响。将雷达检测出的目标的状态进行标记；当距离和速度数据正确且连续时，标记为1；当不存在目标时，标记为0。
图5 不同测试条件下的检测结果
图6 测试数据采集
图7 高斯隐马尔可夫模型训练过程
图8 目标数据统计分析结果
通过分析隐马尔可夫模型的输出矩阵，获得了如图9所示的相对距离和相对速度的概率密度分布。由图9可知：①当目标相对较近且速度较低时，雷达对目标的检测效果最好；②当目标距离50～100m时，雷达对相对速度较高的目标检测效果良好；但当距离大于100m时，目标可能被漏检，导致目标跟踪失败；③雷达的检测范围主要集中在相对速度15～30m/s这一区间，这与雷达的检测特性保持一致，同时雷达的目标检测效果会在更高速度时有所改善；当速度在10m/s左右时，检测的效果会随着检测距离的减小而增加；④采集到的数据不能覆盖所有可能的速度与距离组合情况，因此某些条件下物体可能会被漏检。但相对于雷达自身的检测率来说，本模型下雷达对于静态目标的检测率已得到了明显的改善。
图9 状态观测量的概率密度函数
此外，对于不同时间序列下的观测值，隐马尔可夫模型通过状态转移矩阵生成不同的状态序列。随后通过结合了高斯模型的输出矩阵来表示目标状态。
为验证高斯隐马尔可夫模型的有效性，选取雷达数据作为验证数据集。由于高斯隐马尔可夫模型是一种基于期望最大化的统计算法，因此需设置目标状态最大阈值。当且仅当生成状态值的概率大于阈值概率时，将该目标设置为一个有效目标，并标记为1；否则为0。当目标状态为0时，跟踪结果也置为0。
在验证模型有效性时，选取了远距离和高速条件。工况一，距离为145m，速度为25m/s，速度保持2s后减为0；工况二，距离为135m，速度为30m/s，速度保持2s后减为0。目标识别和跟踪结果如图10所示。
从图10中可看出：①工况一下雷达的检测率为38.9%，高斯隐马尔可夫模型的检测率为70.9%，提高了32%，时间上延迟了40ms；②工况二下雷达的检测率为28.0%，高斯隐马尔可夫模型的检测率为58.9%，提高了30.9%，时间上延迟了52ms；③预测结果与跟踪过程相关，当目标预测结果为1时，隐马尔可夫模型能够通过前向后向算法对目标进行跟踪；当目标预测结果为0时，表明目标跟踪失败，状态设为默认初值0。当预测结果由0变为1时，表明有观测量的输入。在连续的预测过程中，隐马尔可夫模型计算输入观测量的前向概率并跟踪之；④在高速状态下，高斯隐马尔可夫模型的检测率相比于雷达的检测率有显著的改善，并且最大延迟不超过60ms，保证了目标预测与跟踪的实时性。
图10 高斯隐马尔可夫模型的目标预测与跟踪验证结果
着眼于毫米波雷达在检测静态物体方面的不足，本文采用了基于高斯隐马尔可夫模型的目标识别与跟踪模型。其采用了统计学习算法分析雷达信号，并描述了观测量和状态量之间的非线性关系。此外，该模型还实现了雷达目标的检测与跟踪。
综上，结论如下：
1）通过预先试验分析了雷达对于静态物体的检测能力，并基于此设计了数据采集的工作条件；对数据进行高斯聚类分析，基于该结果验证了数据采集工作条件设计的合理性，并针对目标检测结果进行了定量分析。
2）使用隐马尔可夫模型的输出矩阵获取了观测量和状态量之间的非线性关系并表达之。
3）交叉验证了高斯隐马尔可夫模型。设计试验得出在两种不同工况下，高斯隐马尔可夫模型的检测率对比雷达检测率分别提高了32%和30.9%。
因此，目标预测与跟踪模型可以以较低的延迟提高目标识别能力，在需要试时性和准确性的辅助驾驶系统中具有一定的应用价值。
在今后的工作中，将会考虑添加更多的交通场景并对更多的试验相关数据进行分析处理。尽管场景中存在一辆车辆就足以验证模型的有效性，但还应包括其他车辆和行人来提高模型的鲁棒性。此外，可以将相机与毫米波雷达融合在一起，来增强识别能力。
[1]SHAOUT A,COLELLA D,AWAD.Advanced driver assistance systems-past, present and future[C]//2011 Seventh International Computer Engineering Conference(ICENCO′2011),2011: 72-82.
[2]苏赓，刘笛，果敢.车载毫米雷达技术及测试方法[J].电信网技术，2017（6）：1-6.
[3]THAKUR R.Scanning LIDAR in Advanced Driver Assistance Systems and Beyond: Building a road map for next-generation LIDAR technology[J].IEEE Consumer Electronics Magazine,2016, 5 (3): 48-54.
[4]中华人民共和国交通运输部.营运车辆自动紧急制动系统性能要求和测试规程：JT/T 1242-2019[S].2019.
[5]JIA X,WU Z L, GUAN H.The target vehicle movement state estimation method with radar based on kalman filtering algorithm[C]//Applied mechanics and materials,2013: 638-642.
[6]GAO S, LIU Y, WANG J, et al.The joint adaptive Kalman filter (JAKF) for vehicle motion state estimation[J].Sensors,2016, 16 (7): 1103.
[7]NA K, BYUN J, ROH M, et al.Fusion of multiple 2D lidar and radar for object detection and tracking in all direc tions[C]//2014 International Conference on Connected Vehicles and Expo (ICCVE),2014: 1058-1059.
[8]YI H, XING Y.Detection and Tracking of Vehicles Based on Hidden Markov Measure Field Model[J].Journal of Shanghai Jiaotong University,2008, 2.
[9]TUGAC S, EFE M.Radar target detection using hidden Markov models[J].Progress In Electromagnetics Research,2012, 44: 241-259.
[10]NIJSURE Y,CHEN Y, LITCHFIELD C, et al.Hidden Markov model for target tracking with UWB radar systems[C]//2009 IEEE 20th International Symposium on Personal, Indoor and Mobile Radio Communications,2009: 2065-2069.
[11]DEGIRMENCI A.Introduction to hidden markov models[J].Harvard University,2014: 1-5.
这项工作得到了国家重点研发计划的部分资助，授权号分别为2018YFB0105205-02、2017YFC0804808和2017YFC0804803。