基于多特征融合的疲劳驾驶检测
1.引言
随着机动车辆数目的增加，与之而来的恶性道路交通事故总数也呈同步上升趋势。在所有交通事故的成因中，驾驶员疲劳驾驶所造成的交通事故占总交通事故的20%左右，占特大交通事故的40%以上。研究人员指出，如果驾驶员处于疲劳驾驶状态，与清醒情况下相比，撞车概率提高了4~6倍疲劳驾驶预警系统[1]。疲劳驾驶已成为导致交通事故的重要因素之一，给国家和个人的生命财产安全造成了严重的损失。疲劳是一种随着时间的推移而积累的生理状态，在事故发生前的一段时间内驾驶员就会出现相应的征兆。疲劳驾驶在实际行车中经常发生，如果能有效监测驾驶员是否疲劳，并在疲劳时发出警告甚至主动控制车辆运动，那么驾驶员和乘员的安全将得到显著提高，还能够大大降低引发交通事故的可能性。自20世纪80年代起，许多科研机构、整车厂和零部件供应商开始从事驾驶疲劳相关研究，并取得了显著成果。目前疲劳驾驶检测的研究主要集中于视觉特征检测、生理特征检测、车辆行为特征检测。单一特征的疲劳检测方法存在局限性，多信息融合的疲劳检测方法逐渐成为研究的热点。
2.单一特征检测的局限性
1）基于车辆行为特征的疲劳驾驶检测
基于车辆行驶的物理行为检测方案的核心是通过车辆加速度、车辆轮胎转动角度、方向盘转动角度以及车辆行驶轨迹等物理信息，判别驾驶员是否处于疲劳状态。但是，实际驾驶过程中，由于外界因素的干扰、驾驶员习惯的不同以及错综复杂的路况信息，该检测方法频繁出现误判。
2）基于驾驶员生理信号特征的疲劳驾驶检测
基于驾驶员生理特性的检测方案通过检测驾驶员的心电波、脑电波、肌电波等生理信号，客观反映驾驶员疲劳程度的生理特征值，以此判别驾驶员是否处于疲劳状态。由于直接监测生理特征，因此该方案检测精度高，响应速度快，准确度高。但是，人体生理特性的检测仪器穿戴麻烦、不易携带，具有明显的局限性。
3）基于视觉特征的疲劳驾驶检测
基于视觉特征的疲劳驾驶检测主要检测眼部、嘴部、头部和面颊部等特征。可以通过眼睛闭合时间的占比、打哈欠的频率、头部姿势等参数来判断驾驶员的疲劳状态。陈昕[2]等基
于OpenCV中的Haar分类器和PERCLOS算法提出了“双眼检测、单眼判别”的疲劳驾驶判别法，并借助仿真实验研究了驾驶员的疲劳状态，得出基于视频的疲劳驾驶检测方法检测效率较高的结论。毛须伟[3]等通过改进人脸检测算法，提高了人脸检测速度，并将眨眼频率和PERCLOS-P80原理结合，降低了误判率。许少凡[4]等提出一种嵌入式系统，系统通过瞳孔图像的几何特征定位人眼，基于直方图均衡预处理后收集到的图像，降低了光线对检测结果造成的影响，实现准确检测疲劳驾驶程度。疲劳时，头部运动常表现为频繁点头、抬头姿势难以维持和头部长期不动，点头的频率和头部倾斜角度与疲劳程度有很高的相关性。李勇达[5]等用摄像头收集人脸信息，并用Camshift算法求出头部旋转角度及角速度，以达到疲劳检测的目的。田文杰[6]等在车上安装红外线发射器和接收器，通过接收头接收到的信息检测头部相对位置，根据头部偏离正常位置是否超过设定时间判断驾驶人的疲劳状态。频繁打哈欠也是疲劳的重要信号。施树明[7]等用机器视觉研究驾驶员嘴部状态，并借助Fisher线性分类器确定驾驶员嘴的形状和位置，结合BP神经网络研究了打哈欠、说话和正常这三种嘴部状态，实验表明当驾驶员头部摆动幅度较小时，此方法可有效跟踪嘴部区域。
头部、眼部、嘴部运动等常用的视觉检测指标，目前均采用非接触类检测，不对驾驶员的正常驾驶造成影响，具有良好的实时性和较准确的检测结果，但是容易受到诸多环境因素，如光线强弱、是否有遮挡、背景复杂程度大小的干扰，检测、识别算法较复杂，须符合一定的条件，如头部动作较缓慢才可正常识别，故此类检测方式容易受到条件的限制，如何提高检测的精度是要解决的问题。
3.基于多特征的疲劳检测算法
驾驶员疲劳检测的信息融合的研究主要是视觉特征融合、视觉特征和车辆行为特征融合、视觉特征和生理特征融合、生理特征融合四个方面。研究最多的是视觉特征的融合以及视觉特征和其他特征的融合，这是目前研究的热点也是今后的发展趋势。
3.1 视觉特征信息融合
视觉特征的多信息融合主要有：眼部、嘴部、头部和面颊部等特征的融合。曹国震[8]等采用视觉来识别疲劳驾驶，为了解决单个特征识别正确率低的问题，融合眼部和嘴巴特征，并通过实验证明了多特征融合的准确率更高。白中浩[9]等提出了基于主动形状模型（ASM）
人脸特征定位算法定位眼睛和嘴部特征，对驾驶员状态进行综合判断。李玲玲[10]采用了双摄像机联合定位方法，通过获取眼睛、嘴部、头部运动等多种特征来评估疲劳状态。唐琎申请的驾驶员疲劳监测系统的专利，通过人脸检测采集眼睛闭合时间占比、打哈欠的频率、头部晃动的情况、眼睛注视方向和时间等疲劳特征参数，通过融合分析来判定疲劳程度。Jo J，Lee SJ[11]等为了克服单个眼睛提取的特征的分类方法易受眼睛定位误差和视觉障碍的影响，提取和融合双眼特征。
3.2 生理特征信息融合
生理特征多信息融合主要是通过脑电、肌电、心电和呼吸等特征参数的融合来判断驾驶员的疲劳状态。付荣荣[12]等利用无线检测技术来检测脑电信号、肌电信号和呼吸信号，进行融合分析处理，实现驾驶员的疲劳检测。周凌霄[13]提出了多源生理信号融合的疲劳驾驶检测方法。对脑电、心电多个信号源的特征进行融合，经实验证实，融合的结果要比单个信号源的结果准确率更高。祝荣欣对驾驶员的心电信号和肌电信号进行采集和信息融合，构建了驾驶疲劳等级评价模型。燕山大学申请了一种基于多源生理信息的驾驶员疲劳及情绪评价方法的中国专利，同步采集驾驶员脑电、心电、肌电和姿态信号，构建模糊神经网络
的评估模型，实现驾驶员疲劳及情绪评估。Awais M，Badruddin N[14]提出了一种检测驾驶员困倦的方法，该方法集成了心电图（ECG）和脑电图（EEG）的特征，以提高检测性能。
3.3 视觉特征和车辆行为特征信息融合
车辆行为特征检测主要包括对车辆变向情况、方向盘转动状态和持续驾驶时间等方面。视觉特征和车辆行为的融合可以更好地评估驾驶员的状态。沈永增[15]等选取PERCLOS值、方向变化、方向盘动作状态和连续驾驶时间作为融合参数，并进行综合判断。李娟[16]等选取眼睑遮住瞳孔的面积、眨眼次数、车辆越线指标作为特征参数，利用特征参数将疲劳等级分成3级。汪宴宾[17]分析了驾驶员眼睛和驾驶行为在不同状态下的表现，采集驾驶行为和眼睛特征参数，利用信息融合技术建立驾驶疲劳识别模型。东南大学申请的基于软计算的疲劳驾驶融合检测方法的专利，融合了检测两个视觉特征（频繁眨眼和打哈欠）和两个车辆行为特征（车辆偏离车道和方向盘转动情况）。中国农业大学申请的基于信息融合的驾驶员疲劳识别系统的专利，对采集的驾驶员的眼部状态信息、方向盘操纵信息和车辆轨迹行驶状态信息进行加权融合处理，得到了驾驶员疲劳等级。Daza IG[18]等融合了闭眼百
分比、横向位置、方向盘角度等信号，通过信息融合提高了疲劳驾驶检测精确度。
3.4 视觉特征和生理特征信息融合
视觉特征和生理特征的融合主要有：人眼和脉搏信号的融合，人眼和脑电信号融合，人眼和心跳速率的融合，眼睛、嘴巴和心跳特征的融合等。王宁[19]提取人眼状态和脉搏信号，融合建立特征向量空间，构建疲劳状态监测模型，多角度验证整个算法模型的效果。陈昭宁[20]提出了融合人眼检测和脑电波侦测的疲劳检测方法，信息融合模块通过融合分析脑电信息和人眼信息，综合身份认证模块计算出驾驶员的疲劳状态。刘金金[21]等设计了驾驶员疲劳检测系统，选取了能够直接反映驾驶员的疲劳程度的眼睛状态和心跳速率两种参数。
江苏东洲物联科技有限公司申请了多参数融合的疲劳驾驶检测方法的专利，该方法的人脸识别模块能检测驾驶员的眼睛、嘴巴的特征，心跳检测模块可以检测驾驶员的心跳，通过车载智能终端判断驾驶员是否为疲劳驾驶。Lee BG[22]等利用捕获驾驶员图像的视频传感器和收集驾驶员生物信号传感器来评估驾驶员疲劳，如果认为驾驶员疲劳达到规定的阈值，则会发出警报。
3.5 其他特征信息融合
除了上述四个方面的特征融合之外，还有生理特征和车辆行为特征融合、车辆行为特征融合、语音多特征融合、视觉表情和脑前额叶血氧饱和度融合等。李响[23]等基于人在疲劳状态下会影响发声，提出一种基于语音多特征的驾驶疲劳检测的方法，建立多特征融合分类器来识别驾驶员语音样本的疲劳。张伟[24]选取了视觉表情及脑前额叶血氧饱和度作为融合的基本特征来评估驾驶员的状态。胡立芳[25]针对视觉方法的不足，提出了融合驾驶时间、驾驶路段和车辆行为特征的疲劳检测的综合评价方法。南京邮电大学申请了一种基于数据融合的疲劳驾驶状态检测系统和方法的专利，该系统依据方向盘4s不动理论来初步判断疲劳状态，再融合驾驶员的生理状态，可得驾驶员的疲劳状态。合肥工业大学申请了基于多信息的驾驶员疲劳实时监测系统的专利，利用多个传感器来采集方向盘的握力信息、驾驶员的头部位置信息和方向盘的转角信息，并对采集的信息进行融合处理，判断驾驶员疲劳状态等级。Craye C[26]等利用多个传感器提取音频、彩视频、深度图、心率、方向盘和踏板位置，融合多个特征参数来判断驾驶员的疲劳状态。
4.驾驶疲劳评价标准
目前驾驶员疲劳程度评价标准按照执行者不同分为自评法和他评法。自评法就是驾驶员根据KSS（Karolinska Sleepiness Scale）标准每隔一段时间对自己当前状态的疲劳程度打分，将十分清醒到十分疲劳划分为9个等级对应分数1分到9分。KSS优点：通用性好、精度高，是疲劳程度自评法广泛使用的标准；缺点：试验人员询问驾驶员疲劳程度与驾驶员回答自己的疲劳程度都会对驾驶员状态的延续产生刺激，影响驾驶员疲劳程度的评分。他评法分为主观他评法和客观他评法。主观他评法根据信号源不同分为两种：一种是试验人员首先观察驾驶员面部表情、眼动情况、打哈欠频繁程度等，然后根据KSS标准给驾驶员当前的状态打分；第二种是基于驾驶员面部视频的主观他评法，采用摄像头采集驾驶员面部信息，后期处理时对视频进行分段，经过专门训练的多名试验员对某视频片段打分，最后各个试验员的平均评分作为该段视频里驾驶员疲劳程度的分值。后者较前者的精度高，只需要在车内安装一个采集驾驶员面部视频信息的摄像头，所以基于视频的主观他评法更常用。客观他评法利用驾驶员生理信号判断其疲劳程度，例如心电图、脑电图，尤其是脑电图最能表征驾驶员的疲劳状态。客观他评法的优点：精度高；缺点：需要增加专用的测试设备，并且不同驾驶员间可能存在个体差异。未来车辆将普及生物识别技术，因此基于驾驶员生理信号的疲劳程度判断将具有硬件基础，将会逐渐取代主观自评法和主观他评法。
5.存在的问题及分析
1）目前驾驶员疲劳检测的方法难以在复杂环境应用中取得较好的效果，这是因为实际的驾驶环境复杂多变，特别是基于视觉特征的检测受到光照的影响较大，转弯、变线又会对基于车辆行为的检测产生较大影响，检测设备的精度也是影响的因素之一。目前的研究基本上需要基于较好的光照以及直线行驶，因此在实际环境中应用还存在较多局限。在今后的研究中应该更加注重实用性，例如加入红外技术来增强适用性，或者加入新算法来消除外界的干扰。
2）目前的驾驶员疲劳检测主要从心理、视觉、车辆行为三方面开展，从其它方面开展驾驶员疲劳检测的研究还比较少，并且实车上有效的疲劳检测产品还比较少。单个特征的检测方法都存在一定的局限。为了进一步提高疲劳检测精确度，除了要考虑多特征信息融合和设备在实车上的可行性之外，还应开展一些新的疲劳驾驶特征的研究，比如：连续驾驶时间、语音等特征，来提高检测的精度。
3）目前的研究通常把清醒和疲劳作为离散的两个状态，实际上从清醒到疲劳是一个逐渐变化的过程。驾驶员的疲劳程度无法判断，也就不能针对驾驶员的实际的疲劳程度给予有针
对性的提示信息。因此要依据疲劳特征参数对疲劳状态进行更加具体的划分，建立相应的标准及疲劳分级模型。应制定驾驶疲劳等级划分的标准，建立疲劳分级模型。
6.小结
驾驶疲劳导致的交通事故在重大交通事故诱因中一直占有较大比例，因此驾驶员疲劳状态监测系统对于提高行车安全具有重要作用。随着车辆电子化、智能化、网联化程度增加，硬件基础越来越好，高精度的驾驶员疲劳监测系统将会成为未来车辆的重要配置之一，并与其他驾驶辅助系统集成，共同保障车辆行驶安全。
7.参考文献
[1] 刘文玲, 钱晓飞, 裴军. 基于关联规则的公交事故受伤情况预测研究[J]. 控制工程, 2016, 23(9): 1448-1453.
[2] 陈昕, 朱国华, 张驰, 等. 基于眼睛闭合状态的驾驶疲劳检测方法[J]. 辽宁工业大学学报:自然科学版,2018,38(3):182-186,191.
版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。
发表评论