一种驾驶员驾驶状态预警系统技术方案

一种驾驶员驾驶状态预警系统，它属于驾驶状态预警技术领域。本发明专利技术解决了现有的驾驶状态预警系统的漏报率高，且预警的实时性差的问题。本发明专利技术的系统采用深度学习与监测规则融合的方式，其中，驾驶员图像获取单元用于实时获取驾驶过程中驾驶员的图像；图像预处理单元用于对实时获取的驾驶员图像进行预处理，截取出每张图像中的人脸区域图像；驾驶状态监测单元结合深度学习方式和监测规则对不同的状态进行监测；驾驶状态预警单元用于根据驾驶状态监测单元的监测结果向驾驶员进行驾驶状态预警。采用本发明专利技术的系统可以大幅度降低现有驾驶状态预警系统的漏报率，同时提高驾驶状态预警系统的预警实时性。本发明专利技术可以应用于对驾驶状态进行预警。进行预警。进行预警。

【技术实现步骤摘要】
一种驾驶员驾驶状态预警系统


[0001]本专利技术属于驾驶状态预警
，具体涉及一种驾驶员驾驶状态预警系统。

技术介绍

[0002]驾驶状态对驾驶员的注意力、感知、意识、思考、预估、决断和动作等都会产生较大的影响，如果驾驶员的驾驶状态不佳，那么反应就会变得迟钝，各种驾驶操作反应时间变长，导致出现对紧急情况处理不及时、操作失误等情况。
[0003]驾驶状态不能仅仅在事故发生后才进行辨识，更重要的是如何避免不良驾驶状态的发生。通过制定法规来限定驾驶时间固然有效，但普遍性约束并不能解决所有问题，因此，主动预防是防止事故发生的关键。防患于未然需要有效的监控手段，实现实时评价和监测驾驶员的驾驶状态已经成为研究的新趋势。通过实时驾驶状态监测，当驾驶状态异常时不仅能为驾驶员提前预警，还能为交通、运输部门实时提供驾驶员状态信息。
[0004]一般汽车监测驾驶状态的方式是通过计算连续驾驶时间，一旦超过系统预设的时长便会发出警报。还有一些具有驾驶员驾驶状态监测功能的汽车会结合方向盘的转动情况或驾驶员的其它驾驶行为来判断。但是现有方法中普遍存在的一个问题就是驾驶状态监测的效率和准确率均偏低，因此，导致了驾驶状态预警系统的漏报率高，且预警的实时性较差。

技术实现思路

[0005]本专利技术的目的是为解决现有的驾驶状态预警系统的漏报率高，且预警的实时性差的问题，而提出了一种驾驶员驾驶状态预警系统。
[0006]本专利技术为解决上述技术问题所采取的技术方案是：一种驾驶员驾驶状态预警系统，所述系统包括驾驶员图像获取单元、图像预处理单元、驾驶状态监测单元和驾驶状态预警单元，其中：所述驾驶员图像获取单元用于实时获取驾驶过程中驾驶员的图像；所述图像预处理单元用于对实时获取的驾驶员图像进行预处理，获得图像中人脸位置的矩形框以及人脸关键点的位置；再根据获得的人脸关键点位置对图像做对齐校准，获得对齐校准后的图像，再根据人脸位置矩形框从对齐校准后图像中截取出感兴趣区域图像，即截取出每张图像中的人脸区域图像；所述驾驶状态监测单元中包括第一监测模块至第七监测模块，所述第一监测模块至第七监测模块分别用于对不同的状态进行监测；其中：所述第一监测模块用于根据对齐校准后图像中的人脸关键点位置和截取出的人脸区域图像进行打哈欠状态的监测，具体的监测方式为：对于截取出的任意一张人脸区域图像，根据该张人脸区域图像中嘴部的关键点位置信息计算嘴巴的张开度，即嘴巴的横宽比：
其中，为中间变量，为第50个关键点的坐标，为第52个关键点的坐标，为第58个关键点的坐标，为第56个关键点的坐标，为第60个关键点的坐标，为第64个关键点的坐标；其中，为嘴巴的张开度；若的值大于等于设置的阈值，则该张人脸区域图像中出现打哈欠状态，否则未出现打哈欠状态；同理，对实时获得的每张人脸区域图像中的打哈欠状态进行监测；所述驾驶状态预警单元用于根据驾驶状态监测单元的监测结果向驾驶员进行驾驶状态预警。
[0007]进一步地，所述驾驶员图像获取单元利用红外相机实时获取驾驶过程中驾驶员的图像。
[0008]进一步地，所述图像预处理单元对实时获取的驾驶员图像进行预处理，采用的是MTCNN P
‑
R
‑
O网络。
[0009]进一步地，所述第二监测模块和第三监测模块分别用于根据对齐校准后图像中的人脸关键点位置以及截取出的人脸区域图像进行左顾右盼状态的监测和低头状态的监测，具体的监测方式为：步骤S1、根据红外相机的内外参获得平均脸3d模版；步骤S2、对于截取出的任意一张人脸区域图像，根据平均脸3d模版，将该张人脸区域图像中的人脸关键点位置映射到三维，获得人脸关键点对应的三维坐标；步骤S3、根据人脸关键点对应的三维坐标求取出该张人脸区域图像中的人脸角度姿态；再根据求取出的人脸角度姿态判断该张人脸区域图像中是否出现左顾右盼状态以及低头状态；步骤S4、重复步骤S2至步骤S3的过程，对实时获得的每张人脸区域图像进行左顾右盼状态以及低头状态监测。
[0010]进一步地，所述第四监测模块用于根据驾驶员图像获取单元获取的图像和截取出的人脸区域图像进行接打电话状态监测，具体的监测方式为：对驾驶员图像获取单元获取的图像进行手势识别，然后再对人脸区域图像的嘴部区域进行检测，结合手势识别结果和嘴部区域检测结果判断图像中是否出现接打电话状
态；所述对驾驶员图像获取单元获取的图像进行手势识别所采用的是改进的MTCNN网络；且对MTCNN网络改进的具体过程为：将MTCNN网络中的卷积层替换为Depthwise卷积，将池化层去掉，替换为卷积的stride操作。
[0011]进一步地，所述第五监测模块用于根据驾驶员图像获取单元获取的图像进行吸烟状态的监测，具体的监测方式为：对驾驶员图像获取单元获取的图像进行手势识别和亮点检测，再根据手势识别和亮点检测结果对获取的每张图像进行吸烟状态监测。
[0012]进一步地，所述第六监测模块用于根据对齐校准后图像中的人脸位置矩形框进行摄像头遮挡状态的监测，具体的监测方式为：采用跳跃像素和跳跃图像帧两种方式进行监测；跳跃像素方式为：计算人脸位置矩形框上像素点的梯度，且每间隔5个像素点计算一次；跳跃图像帧方式为：每间隔10帧监测一帧；像素点梯度的计算公式如下：其中，其中，为像素点的梯度，和为中间变量，为像素点的强度，为像素点的强度，为像素点的强度；若当前帧图像中存在梯度大于阈值的像素点，则认为当前帧图像中存在摄像头遮挡状态，否则当前帧图像中不存在摄像头遮挡状态。
[0013]进一步地，所述第七监测模块用于根据截取出的人脸区域图像进行闭眼状态的监测，具体的监测方式为：步骤一、对于截取出的任意一张人脸区域图像，采用LBP特征提取网络提取人脸的局部特征，采用密集连接卷积神经网络提取人脸的全局特征，将人脸的局部特征和人脸的全局特征进行加权融合，得到人脸区域图像的面部特征；所述密集连接卷积神经网络的结构具体为：从输入端开始，密集连接卷积神经网络依次包括卷积层、第一密集块、第一过渡块、第二密集块、第二过渡块、第三密集块、第三过渡块、第四密集块、平均池化层和全连接层；所述第一密集块中包含有8个卷积单元，第二密集块中包含有10个卷积单元，第三密集块中包含有10个卷积单元，第四密集块中包含有8个卷积单元，每个卷积单元中均包括一个1
×
1卷积核大小的卷积层和一个3
×
3卷积核大小的卷积层；所述第一过渡块由一个1
×
1卷积核大小的卷积层和一个平均池化层组成，且第二过渡块和第三过渡块的结构与第一过渡块的结构相同；步骤二、若从某张人脸区域图像A开始，在该张人脸区域图像之后连续截取出的N张人脸区域图像与该张人脸区域图像A的相似度均小于设定的阈值，则向驾驶员发出提醒
信号，若驾驶员对提醒信号做出应答，则不需要开启闭眼状态的监测，否则执行步骤三开启闭眼状态的监测；所述相似度根据两张人脸区域图像的面部特征进行计算；步骤三、从人脸区域图像A之后截取出的第N+1张人脸区域图像开始，根据人脸区域图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种驾驶员驾驶状态预警系统，其特征在于，所述系统包括驾驶员图像获取单元、图像预处理单元、驾驶状态监测单元和驾驶状态预警单元，其中：所述驾驶员图像获取单元用于实时获取驾驶过程中驾驶员的图像；所述图像预处理单元用于对实时获取的驾驶员图像进行预处理，获得图像中人脸位置的矩形框以及人脸关键点的位置；再根据获得的人脸关键点位置对图像做对齐校准，获得对齐校准后的图像，再根据人脸位置矩形框从对齐校准后图像中截取出感兴趣区域图像，即截取出每张图像中的人脸区域图像；所述驾驶状态监测单元中包括第一监测模块至第七监测模块，所述第一监测模块至第七监测模块分别用于对不同的状态进行监测；其中：所述第一监测模块用于根据对齐校准后图像中的人脸关键点位置和截取出的人脸区域图像进行打哈欠状态的监测，具体的监测方式为：对于截取出的任意一张人脸区域图像，根据该张人脸区域图像中嘴部的关键点位置信息计算嘴巴的张开度，即嘴巴的横宽比：其中，为中间变量，为第50个关键点的坐标，为第52个关键点的坐标，为第58个关键点的坐标，为第56个关键点的坐标，为第60个关键点的坐标，为第64个关键点的坐标；其中，为嘴巴的张开度；若的值大于等于设置的阈值，则该张人脸区域图像中出现打哈欠状态，否则未出现打哈欠状态；同理，对实时获得的每张人脸区域图像中的打哈欠状态进行监测；所述驾驶状态预警单元用于根据驾驶状态监测单元的监测结果向驾驶员进行驾驶状态预警。2.根据权利要求1所述的一种驾驶员驾驶状态预警系统，其特征在于，所述驾驶员图像获取单元利用红外相机实时获取驾驶过程中驾驶员的图像。3.根据权利要求2所述的一种驾驶员驾驶状态预警系统，其特征在于，所述图像预处理单元对实时获取的驾驶员图像进行预处理，采用的是MTCNN P
‑
R
‑
O网络。4.根据权利要求3所述的一种驾驶员驾驶状态预警系统，其特征在于，所述第二监测模块和第三监测模块分别用于根据对齐校准后图像中的人脸关键点位置以及截取出的人脸区域图像进行左顾右盼状态的监测和低头状态的监测，具体的监测方式为：
步骤S1、根据红外相机的内外参获得平均脸3d模版；步骤S2、对于截取出的任意一张人脸区域图像，根据平均脸3d模版，将该张人脸区域图像中的人脸关键点位置映射到三维，获得人脸关键点对应的三维坐标；步骤S3、根据人脸关键点对应的三维坐标求取出该张人脸区域图像中的人脸角度姿态；再根据求取出的人脸角度姿态判断该张人脸区域图像中是否出现左顾右盼状态以及低头状态；步骤S4、重复步骤S2至步骤S3的过程，对实时获得的每张人脸区域图像进行左顾右盼状态以及低头状态监测。5.根据权利要求4所述的一种驾驶员驾驶状态预警系统，其特征在于，所述第四监测模块用于根据驾驶员图像获取单元获取的图像和截取出的人脸区域图像进行接打电话状态监测，具体的监测方式为：对驾驶员图像获取单元获取的图像进行手势识别，然后再对人脸区域图像的嘴部区域进行检测，结合手势识别结果和嘴部区域检测结果判断图像中是否出现接打电话状态；所述对驾驶员图像获取单元获取的图像进行手势识别所采用的是改进的MTCNN网络；且对MTCNN网络改进的具体过程为：将MTCNN网络中的卷积层替换为Depthwise卷积，将池化层去掉，替换为卷积的stride操作。6.根据权利要求5所述的一种驾驶员驾驶状态预警系统，其特征在于，所述第五监测模块用于根据驾驶员图像获取单元获取的图像进行吸烟状态的监测，具体的监测方式为：对驾驶员图像获取单元获取的图像进行手势识别和亮点检测，再根据手势识别和亮点检测结果对获取的每张图像进行吸烟状态监测。7.根据权利要求6所述的一种驾驶员驾驶状...

【专利技术属性】
技术研发人员：王怡萱，
申请(专利权)人：航天科技控股集团股份有限公司，
类型：发明
国别省市：