基于融合特征的疲劳驾驶检测系统实现
DOI:10.19551/jki.issn1672-9129.2021.05.167
基于融合特征的疲劳驾驶检测系统实现
张㊀磊1㊀㊀吴㊀严1㊀刘慧祥2㊀王惠宁2㊀洪㊀乐2㊀郭东伟2
(1.吉林大学计算机科学与技术学院㊀长春㊀130012;2.吉林大学软件学院㊀长春㊀130012)
基金项目：吉林大学大学生创新训练项目(201910183428)
摘要：疲劳驾驶检测系统可对驾乘者给予一定程度的智能安全保障，避免事故发生㊂本文所述疲劳检测算法基于人体视觉特征的融合，提出根据嘴巴区域特征点坐标信息来计算嘴部张闭程度的MAR(Mouth Aspect Ratio)算法，并将其与眼睛纵横比EAR表示的眼部疲劳特征进行融合，最后得到MAR/EAR的比值用来度量驾驶员主观疲劳程度，系统实时测得的比值与设定的疲劳度阈值进行比较即可判定是否疲劳驾驶㊂系统实验结果验证了所提出方法的有效性㊂
关键词：疲劳驾驶；疲劳检测；融合特征;MAR
中图分类号:TP391.41;U463.6㊀㊀㊀文献标识码:A㊀㊀㊀文章编号:1672-9129(2021)05-0174-02
㊀㊀1㊀引言
近些年来，由于疲劳驾驶所导致的事故频频出现在人们
的视野中，疲劳驾驶已成为当今交通事故的重要来源之一㊂
由于疲劳驾驶危害之大，人们不断探索疲劳驾驶检测及预警
疲劳驾驶预警系统系统，希望通过借助一些外界的检测来使驾驶员掌握自身的
状态，以此来有效降低事故发生率㊂
2㊀研究现状
解决疲劳驾驶检测问题的方法众多，从数据的类型以及
目前的研究来看大致可以分为三大类㊂一为确切的可直接
获得的生理参数特征，如：脑电信号㊁眼电信号等㊂Xu Gu 等[1]提出了一种基于连续波多普勒雷达的非接触疲劳驾驶监测方法，该雷达可以测量驾驶员的呼吸和心跳信号，实现了基于检测算法的决策树，另外，有一种可通过脑电信号来实现睡眠监测的模型[2-6]，通过使用EEG来分辨睡眠状态与清醒状态㊂二是通过车辆本身的行为特征[7](如：前方路况㊁人手握方向盘的压力及位置等)间接反映驾驶
员的疲劳情况㊂另外值得注意的是现已有一种较为新颖的硬件与软件㊁云端服务器结合的检测产品[8]㊂
总的来看，对行为特征的检测则不需要与驾驶员直接的接触，其实用性㊁推广性都更强㊂将高效的疲劳驾驶行为检测应用于便捷的Android平台，不仅更加便捷㊁实惠，并且在复杂场景中依旧有较高的准确率㊂
3㊀疲劳检测算法及疲劳评估模型
3.1人脸检测及人脸关键点定位㊂为了保证人脸检测的准确率，同时提高检测速度，本项目采用开源机器学习库Dlib提供的HOG Face Detector人脸检测器来检测人脸㊂该人脸检测器模型是基于HOG特征和SVM的一种人脸检测模型，被广泛应用㊂该人脸检测器模型包括5个HOG过滤器：除了前视㊁左视㊁右视，还包括前视同时向左旋转及前视同时向右旋转，属于轻量级模型，在较小遮挡下仍然能够正常检测出人脸㊂
之后再进行人脸关键点的定位，但由于驾驶员在驾驶过程中头部可能会产生不同的偏转，这使得人脸检测存在一定的困难，为了在不影响检测速度的前提下提高人脸检测准确率，本实验采用Kazemi等提出的面部标志估算算法来实现人脸关键点的检测，并对人脸68个关键点的定位编号㊂
3.2眼部疲劳特征判断㊂对人脸关键点进行定位后，可直接提取图像中的眼部特征点，在眨眼过程中，双眼的闭合程度可采用EAR[9]来度量，计算双眼的平均纵横比，其计算公式为
:
当EAR比值式的值变小时，说明双眼睁开程度变小，驾驶员正在进行一次眨眼动作，存在某个显著阈值，当EAR值小于该阈值时，即判定双眼为闭合状态㊂
3.3嘴部疲劳特征判断㊂在本实验中，我们根据EAR 的计算形式对嘴部宽高比MAR[10]进行改进，其计算嘴部平均张开程度计算公式为
:
其中,x㊁y为相应点的横纵坐标，打哈欠时嘴部张开程度在一定时间内逐渐增大，嘴部宽高比MAR逐渐变大㊂
4㊀特征融合
在实验中，我们采用YawDD[11]数据集，该数据集包括不同性别，多种状态下的驾驶画面㊂
为了获得更佳的实验效果，提高对驾驶员的疲劳检测率，我们综合评估眼部㊁嘴部疲劳特征及头部姿态，对三种疲劳特征进行融合㊂由于人在疲劳时，打哈欠频率及闭眼频率会显著增加，在打哈欠的同时会致使闭眼行为的发生，故我们首先考虑眼部疲劳特征与嘴部疲劳特征的融合，作为疲劳预估值FA(fatigue assessment):
㊃471㊃
我们根据上述方法对数据集进行测试，选取疲劳检测率准确率最佳状态的平均值作为FA的阈值㊂试验中我们以两组视频为例，首先实时记录出现疲劳驾驶状态时疲劳预估值FA的变化，如图2；之后将睁眼驾驶状态与闭眼驾驶状态进行对比，其中睁眼与闭眼时间均约为200帧，如图3㊂实验结果如图10和图11所示，为了让系统检测结果准确度更高，降低误报率，由此设定当MAR/EAR阈值为2.0，超过阈
值连续2s时判定为疲劳状态，此时疲劳检测成功率较优
㊂
5㊀疲劳驾驶检测系统实现
5.1系统功能模块㊂为了保证用户拥有更好的体验感，除了基本的疲劳行为检测，我们还增加了违章查询及路线导航个性化功能，方便用户在驾驶过程中进行路线规划，其中，违章查询包含多种种类：机动车违法查询㊁驾驶证记分查询㊁
车辆报废查询及号牌寄递运单查询㊂整个系统框架如下
:
5.2疲劳检测结果㊂启动APP实时驾驶检测功能时，开始进行基于摄像头的动态实时疲劳驾驶检测,APP在检测人脸的同时会对人脸的68个关键点进行定位，并标识出68个关键点，该功能使用一大一小两个窗口进行显示，并在界面上方的工具栏实时显示检测所耗费的时间㊂当检测到驾驶员疲劳驾驶时，工
具栏会显示 您已疲劳驾驶! 字样，标
识人脸的68个关键点变为红，同时发出警报声提醒用户
㊂
6㊀结束语
本文采用一种基于融合特征的方式开发疲劳检测APP，将多种疲劳特征(包括头部姿态，眼部㊁嘴部疲劳特征)融合，取得较高的检测准确率㊂同时，开发系统个性化功能，方便用户在驾驶过程中的规划与信息查询；由于在手机等终端设备上可以直接进行检测，无需额外购买或设置额外的传感设备，采用友好的用户界面为用户提供更佳的用户体验，充分体现其友好性㊂总的来看，本文为疲劳驾驶检测提供了一种具有较高准确率㊁便捷可行的方案，在今后的研究中，将进一步提高在实际复杂场景(如光线较暗，图像中检测到多个人脸等场景)的疲劳检测准确率，同时考虑未来可添加疲劳判定等级模块，当驾驶员疲劳时，依据不同的疲劳状态划分等级，给予不同等级的预警与提示㊂
参考文献:
[1]X.Gu,L.Zhang,Y.Xiao,H.Zhang,H.Hong and X.Zhu,"Non-contact Fatigue Driving Detection Using CW Doppler Radar,"2018IEEE MTT-S International Wireless Symposium(IWS),Chengdu,2018,pp.1-3,doi:10.1109/ IEEE-IWS.2018.8400971.
[2]Li-Chen Shi,Bao-Liang Lu.EEG-based vigilance estimation using extreme learning machines.2013,102:135 -143.
[3]Rajendra Acharya U.,Oliver Faust,N.Kannathal,et al.Non-linear analysis of EEG signals at various sleep stages. 2005,80(1):37-45.
[4]NAN-YING LIANG,PARAMASIVAN SARATCHAN-DRAN,GUANG-BIN HUANG,et al.CLASSIFICATION OF MENTAL TASKS FROM EEG SIGNALS USING EXTREME LEARNING MACHINE.2006,16(1):29-38.
[5]R.Jenke,A.Peer and M.Buss,"Feature Extraction and Selection for Emotion Recognition from EEG,"in IEEE Transactions on Affective Computing,vol.5,no.3,pp.327-339,1July-Sept.2014,doi:10.1109/TAFFC. 2014.2339834.
[6]Robert J.Barry,Frances M.De Blasio.EEG differ-ences between eyes-closed and eyes-open resting remain in healthy ageing.2017,129:293-304.
[7]F.Baronti,F.Lenzi,R.Roncella and R.Saletti," Distributed sensor for steering wheel rip force measurement in driver fatigue detection,"2009Design,Automation&Test in Europe Conference&Exhibition,Nice,2009,pp.894-897, doi:10.1109/DATE.2009.5090790.
[8]Xintong Zhu,Yong Wang,Chen Wang,et al.Develo-ping a driving fatigue detection system using physiological sen-sors.2017,:566-570.
[9]Tereza Soukupová,Jan Cech.Real-Time Eye Blink Detection using Facial Landmarks.21st Computer Vision Winter Workshop(CVWW2016)Rimske Toplice,Slovenia2016.
[10]Xun Liang,Yanni Shi,Xiaoyu Zhan.Fatigue Driving Detection Based on Facial Features.2018,:173-178. [11]Abtahi S,Omidyeganeh M,Shirmohammadi S,et al. YawDD:A Yawning Detection Dataset[C].Proceedings of the 5th ACM Multimedia Systems Conference.ACM,2014:24 -28.
作者简介：张磊(1999-)，男，湖北武汉人，吉林大学计算机科学与技术学院2017级本科生;
通讯作者：郭东伟(1972-)，吉林白城人，男，吉林大学教授，主要从事复杂网络㊁博弈论研究㊂
㊃571㊃

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。