基于脑电（EEG）与车辆运动信息融合的驾驶疲劳检测方法

赵剑 ¹ ，兰振东 ¹ ，刘蓬勃 ¹ ，张驰 ² ，丛丰裕 ² ，吕娜娜 ¹

1.大连理工大学汽车工程学院

2.大连理工大学生物医学工程学院

【摘要】 针对传统驾驶疲劳检测方法存在的易受环境影响且准确率低的问题，提出了基于驾驶人脑电 （ EEG ） 与车辆运动信息融合的驾驶疲劳检测方法，采用小波包分解与重构算法解构了4种典型脑电节律波，研究了脑电节律波频带能量比和车辆状态 （ 转向盘转角、汽车行驶加速度和车速 ） 的样本熵值之间的关联性，结果表明，Beta波频带能量比与转向盘转角样本熵 （ SASE ） 关联性最强，Pearson相关系数可达0.165。以此为驾驶疲劳表征指标，以16个驾驶人的776个样本为依据，疲劳检测准确率可达92.37%，高于脑电 （ 89.84% ） 和车辆状态信息 （ 83.59% ） 检测准确率。

【关键词】 脑电，频带能量比，特征指标，相关性分析

Driving Fatigue Detection Method Based on EEG and Vehicle Motion Information Fusion

Zhao Jian ¹ , Lan Zhendong ¹ , Liu Pengbo ¹ , Zhang Chi ² , Cong Fengyu ² , Lv Nana ¹

1. Dalian University of Technology School of Automotive Engineering

2. Dalian University of Technology School of Biomedical Engineering

Abstract: Aiming at the problems that the traditional driving fatigue detection methods are vulnerable to environmental influence and have low accuracy,a driving fatigue detection method based on the fusion of driver EEG and vehicle motion information was proposed.The wavelet packet decomposition and reconstruction algorithm was used to construct four typical EEG rhythm waves.The correlation between frequency band energy ratio of EEG rhythm wave and sample entropy of vehicle state(steering wheel Angle,vehicle driving acceleration and vehicle speed)was studied.The results show that Beta wave frequency band energy ratio has the strongest correlation with steering wheel Angle sample entropy(SASE),and the Pearson correlation coefficient can reach 0.165.Based on 700 samples of 16 drivers,the accuracy of fatigue detection can reach 92.37%,which is higher than that of EEG(89.84%)and vehicle status information(83.59%).

Key words: EEG,Frequency band energy ratio,Characteristic index,Correlation analysis

引言

疲劳驾驶检测技术种类众多，可基于驾驶人-车-路等多源信息分别进行疲劳驾驶检测 ^[1] 。将多源疲劳检测方法进行疲劳检测关联性分析是提高疲劳检测系统鲁棒性和可靠性的新思路 ^[2] 。脑电疲劳检测是基于驾驶人脑电信号进行特征提取与分析的“金标准”疲劳检测方法 ^[3-5] 。基于车辆运动信息驾驶人疲劳检测是利用车辆行驶和驾驶人操纵行为数据进行分析与特征提取进行驾驶疲劳状态检测的办法 ^[6-8] 。

以往疲劳检测特征分析研究中，包括基于多源生理信号的疲劳驾驶分析，检测准确率为90.88% ^[9] ；基于多面部特征疲劳驾驶分析，检测准确率为88.64% ^[10] ；基于多驾驶行为特征疲劳驾驶分析，检测准确率为84.76% ^[11] ，每种疲劳检测方法都有其自身缺陷例如侵入性测试、误检测、漏检测等。基于多源信息融合疲劳检测因其能互补多种方法的优势来提高系统疲劳检测准确率而引起人们关注，故基于人-车多源信息疲劳检测关联性分析并进行特征融合疲劳检测研究具备意义。

因此，针对传统驾驶疲劳检测方法存在的易受环境影响且准确率低的问题，对驾驶人脑电（EEG）与车辆运动信息进行Pearson关联分析，提出了基于驾驶人脑电（EEG）与车辆运动信息融合的驾驶疲劳检测方法，检测准确率可达92.37%。

1 实验方案设计

研究表明，考虑疲劳驾驶实验的危险性，以虚拟驾驶实验替代实车实验有效且可行 ^[12] 。论文借助大连理工大学自主搭建的模拟驾驶平台与德国ANT Neuro公司的eego ^MT mylab系统开展疲劳驾驶检测试验研究，其中模拟驾驶平台系统如图1所示。

实验招募年龄22～26岁，驾龄0.5～5年的16名（女：6名，男：10名）驾驶人员佩戴脑电采集设备使用模拟驾驶平台完成7种道路场景（100R弯道、100L弯道、200R弯道、200L弯道、300R弯道、300L弯道、直道）进行两组（正常驾驶组和基于睡眠剥夺诱发的疲劳驾驶组）模拟实验采集车辆运动数据，并利用eego ^MT mylab系统同步采集驾驶人驾驶过程中的脑电信号。实验过程中模拟疲劳驾驶实验脑电与车辆运动信息同步采集如图2所示。

2 疲劳特征关联性分析

2.1 脑电疲劳性分析

脑电信号是大量神经细胞的突触后电位在时间叠加的过程中产生可被电极记录的节律性电活动 ^[13] 。脑电的信号强度很小，频率范围为0.5～50Hz，在模拟驾驶实验过程采集的脑电信号不可避免会携带大量来自于实验环境、实验设备、驾驶人等不确定因素的干扰信号，其中驾驶人进行模拟疲劳驾驶实验时，观察仿真道路环境会自然出现眨眼和眼球转动等动作，导致采集的脑电信号中会混入部分眼电信号而影响疲劳状态检测准确率，因此本文基于eeglab进行去除眼电伪迹处理，采用独立成分分析（ICA）原理视模拟疲劳驾驶实验采集的脑电信号为若干信号的观测组合，通过ICA将脑电信号中的眼电信号去除。然后提取常应用于驾驶疲劳检测的脑电信号为 α 、 β 、 θ 、 δ 四种典型节律波，基于小波包分解与重构小波包树根节点的频率范围为0～64Hz。为了分解出频率范围为0～30Hz的脑电信号中 α （8～12Hz）、 β （12～30Hz）、 θ （4～8Hz）、 δ （0～4Hz）四种节律波，选用db4小波对采集的脑电信号进行5层分解，对脑电信号进行小波包分解之后，各子频带带宽为2Hz对应着每个节点，提取各节点的能量计算四种典型脑电节律波频带能量占比作为后续相关性分析的脑电疲劳检测特征指标。

2.2 车辆运动信息疲劳性分析

根据模拟驾驶实验采集转向盘转角、加速度、车速的车辆运动信息数据，计算标准差、样本熵值进行疲劳检测准确性分析。本文引入样本熵算法 ^[14-16] 对数据进行观测，若时间序列的复杂度高，则数据的样本熵值大。样本熵算法嵌入维数 m 为2，阈值 r 为（0.1～0.25）倍序列标准差值。图3为处理后的转向盘转角样本熵、标准差分别与疲劳状态关联性分析图。

图3a中驾驶人在正常状态下转向盘转角样本熵值相较于驾驶疲劳状态时更大，说明驾驶人在疲劳时操作随机性加大，故转向盘转角样本熵能体现出两种状态的显著性差异。图3b中驾驶人疲劳时转向盘转角标准差均值相较于正常时更大，说明驾驶人在疲劳驾驶与正常状态下，转向盘转角标准差能体现出两种状态的显著性差异。图4为汽车行驶加速度样本熵、标准差、均值分别与疲劳状态关联性分析图。

图4a中驾驶人在正常状态下汽车行驶加速度样本熵值相较于驾驶疲劳状态时更大，说明驾驶人在正常驾驶状态下为保持稳定的车速，频繁使用加速和制动踏板，故汽车行驶加速度样本熵值能体现出两种状态的差异。图4b中驾驶人在疲劳状态下的行驶加速度标准差相较于正常状态下更大，故汽车行驶加速度标准差也能体现出两种状态的显著性差异。图5为车速样本熵、标准差、均值分别与疲劳状态关联性分析图。

图5a中驾驶人在正常状态下车速样本熵值相较于驾驶疲劳状态时更大，因此正常状态下车速序列的复杂度高于疲劳状态，且驾驶人会用小幅调整的方式来调整车速，故车速样本熵值能体现出两种状态的差异。图5b中驾驶人在疲劳状态下的车速标准差普遍相较于正常状态下更大，故车速标准差也能体现出两种状态的显著性差异。

2.3 脑电与车辆运动信息关联性分析

基于车辆运动信息6个特征指标：转向盘转角样本熵（SASE）、转向盘转角标准差（SASD）、汽车行驶加速度样本熵（ASE）、汽车行驶加速度标准差（ASD）、车速样本熵（SSE）和车速标准差（SSD），分别计算其在不同驾驶状态下与脑电四种典型节律波频带能量比的Pearson相关系数。表1为4种节律波频带能量比与车辆运动信息6个特征指标的Pearson相关系数表。

图6为脑电4种节律波频带能量比与车辆运动信息6个特征指标的Pearson相关系数比较图。

由图6结果表明，转向盘转角样本熵（SASE）、转向盘转角标准差（SASD）、汽车行驶加速度样本熵（ASE）、汽车行驶加速度标准差4个指标与脑电信号疲劳检测关联性更强，且Beta波频带能量比是与车辆运动信息变量最相关的脑电特征量，Beta波频带能量比与转向盘转角样本熵（SASE）为关联性最强的一组疲劳检测特征组合，Pearson相关系数为0.165。Beta波一般出现在驾驶人注意力集中、精神状态紧张状态下，对周围环境保持警惕，可利用Beta波频带能量比与转向盘转角样本熵（SASE）相关性分析结果应用于人-车等多源信息融合的疲劳驾驶检测研究，提高融合检测系统的准确性和鲁棒性。

3 疲劳检测准确率

脑电与车辆运动信息融合SVM疲劳检测模型输入。驾驶人脑电与车辆运动信息疲劳特征指标参数量纲不同且数量级差别较大，故需对驾驶人脑电与车辆运动信息进行融合归一化处理来消除量纲差异、缩短训练周期并提高模型的疲劳检测精度，归一化处理如公式（1）所示：

式中， x 为原始特征参数； 为归一化后的特征参数； x _max 和 x _min 为最大值和最小值； N 为样本总数。

脑电与车辆运动信息融合检测模型训练。利用虚拟驾驶测试平台采集并构建样本集共776组（正常驾驶样本392组，疲劳驾驶样本384组）进行模型训练。针对驾驶人疲劳状态的判断问题需要引入径向基核函数如式（2）所示：

脑电与车辆运动信息融合检测模型测试。在样本集中随机选择128组数据作为测试集，并利用剩余648组样本数据作为训练集。将正确分类的正常和疲劳驾驶样本数之和与测试集样本总数的比值作为脑电与车辆运动信息融合疲劳检测模型识别准确率，检测结果如图7所示。

图7结果表明，16名被试人员的脑电与车辆运动信息融合的疲劳检测准确率要普遍高于单独依靠脑电或车辆运动信息进行驾驶人疲劳检测的准确率，16名被试者中最高融合检测准确率可达95.21%。

4 结论

本文针对传统驾驶疲劳检测方法存在易受多源信息干扰且准确率低的问题，分析了驾驶人脑电（EEG）与车辆运动信息的Pearson相关性，找出最强关联性疲劳检测特征指标（Beta波频带能量比与转向盘转角样本熵，相关系数0.165），提出基于驾驶人脑电（EEG）与车辆运动信息融合的驾驶疲劳检测方法，以16个驾驶人的776个样本为依据，平均疲劳检测准确率可达92.37%，高于脑电（89.84%）和车辆状态信息（83.59%）检测准确率。

参考文献

[1]CHEN L,et al.Driver Fatigue Detection via Differential Evolution Extreme Learning Machine Technique[J].Electronics,2020,9(11):1850-1850.

[2]HUANG J,LIN Z H.Multi-feature fatigue driving detection based on computer vision[J].Journal of Physics:Conference Series,2020,1651(1).

[3]RAO S H,et al.Application of Ensemble Learning in EEG Signal Analysis of Fatigue Driving[J].Journal of Physics:Conference Series,2021,1744(4):042193.

[4]LUO H W et al.Research on fatigue driving detection using forehead EEG based on adaptive multi-scale entropy[J].Biomedical Signal Processing and Control,2019,51：50-58.

[5]GAO Z K,LI Y,et al.A recurrence network-based convolutional neural network for fatigue driving detection from EEG.[J].Chaos(Woodbury,N.Y.),2019,29(11).

[6]SYEDIMRAN A,PRASHANT S,HUSSAINS,et al.An Efficient System for Real Time Fatigue Detection[J].Innovative Systems Design and Engineering,2013,Vol 4,no.11 18-24.

[7]MARIE H,et al.Probabilistic reliability analysis of dynamic behavior of human driver[J].IFAC PapersOnLine,2015,48(4):111-116.

[8]HAMOUCHE W,MAURINI C,VINCENTI A,et al.Basic criteria to design and produce multistable shells[J].Meccanica.2016,51(10):2305-2320.

[9]ABBAS Q,ALSHEDDY A.Driver Fatigue Detection Systems Using Multi-Sensors,Smartphone,and Cloud-Based Computing Platforms:A Comparative Analysis.[J].Sensors(Basel,Switzerland),2020,21(1).

[10]LIU,et al.Convolutional Two-Stream Network Using Multi-Facial Feature Fusion for Driver Fatigue Detection[J].Future Internet,2019,11(5).

[11]WANG F et al.Multiple nonlinear features fusion based driving fatigue detection[J].Biomedical Signal Processing and Control,2020,62.

[12]GODLDY S T,TRIGGS T J,FILDES B N.Driving simulator validation for speed research[J].Accident Analysis and Prevention,2002,34:589-600.

[13]雷旭，尧德中.同步脑电-功能磁共振（EEG-fMRI）原理与技术[M].北京：科学出版社，2014.

[14]PINCUS S M.Approximate entropy as a measure of system complexity[J].Proceedings of the National Academy of Sciences,1991,88(6):2297-2301.

[15]RICHMAN J S,MOORMAN J R.Physiological time-series analysis using approximate entropy and sample entropy[J].American Journal of Physiology-Heart and Circulatory Physiology,2000,278(6):H2039-H2049.

[16]LAKE D E,RICHMAN J S,GRIFFIN M P.Sample entropy analysis of neonatal heart rate variability[J].American Journal of Physiology-Regulatory,Integrative and Comparative Physiology,2002,283(3):R789-R797 p58QGI/DHtgJSuS9jmN8JJ/Z0U1iWAV2swvYoDtdzp1Fy0SnkoJhj+2oRbvsgwk8