【技术实现步骤摘要】
本申请涉及图像处理，特别涉及一种多模式生理信息融合的车载驾驶员疲劳状态智能识别方法。
技术介绍
1、长时间的驾驶不仅仅是一种常见的生活场景，更是一种潜在的交通安全隐患。车载驾驶员在疲劳状态下，其对道路交通周围环境的关注度和快速反应能力下降，这可能导致交通事故的发生，对行车安全构成严重的威胁。因此，及早发现并有效预防疲劳驾驶行为对提高道路安全水平和驾驶员自身行驶安全至关重要。
2、然而，在车载环境中进行疲劳驾驶检测面临一系列挑战。其中之一是光照条件的影响。光照的变化不仅会直接影响面部图像的采集，而且对生理信息的准确采集和分析也造成困扰。传统的图像处理方法在处理不同光照条件下的图像时，容易受到亮度和对比度的干扰，这可能导致生理特征提取的不稳定性，降低了疲劳检测系统的准确性和鲁棒性。
3、现有技术在解决个体差异性方面存在一定的不足。许多图片处理方法采用的是全局阈值或通用模型，未能充分考虑不同驾驶员之间的生理特征差异。个体差异包括但不限于面部结构、皮肤颜色和光照程度等因素，这些因素可能对生理特征的采集和分析产生显著的影响。因此，需要一种能够个性化处理驾驶员疲劳状态图像的疲劳检测方法，以提高系统的适用性和准确性。
技术实现思路
1、本申请旨在至少在一定程度上解决相关技术中的技术问题之一。基于上述
技术介绍
，本申请的一个目的在于提出一种多模式生理信息融合的车载驾驶员疲劳状态智能识别方法，提升了驾驶员疲劳状态识别的准确性和个性化。
2、本申请的一个方面提供了一种
3、步骤s100：连续录制驾驶员的面部视频，获取m张连续帧的正常图像和m张连续帧的疲劳图像；
4、所述获取m张连续帧的正常图像和m张连续帧的疲劳图像的获取方法为：通过在车内安装摄像头，捕捉驾驶员的面部视频，通过手动选择包含正常状态和疲劳状态的视频片段，分别得到驾驶员的正常视频片段和疲劳视频片段，根据所述正常视频片段和疲劳视频片段得到m张连续帧的正常图像和m张连续帧的疲劳图像；
5、所述正常图像和疲劳图像的生理特征有：眼球活动自如度、眼睛闭合程度、闭眼频率；
6、所述正常图像是指：从捕捉到的驾驶员的面部视频中提取的连续帧图像，对应于驾驶员的正常状态；
7、所述疲劳图像是指：从捕捉到的驾驶员的面部视频中提取的连续帧图像，对应于驾驶员的疲劳状态；
8、所述眼球活动自如度的角度映射范围为[0，1]，其中0为水平或垂直方向上的眼球活动自如度的最小值，1为水平或垂直方向上的眼球活动自如度的最大值；
9、所述眼睛闭合程度的范围为[0，1]，其中0表示完全闭眼，1表示完全睁眼；
10、所述闭眼频率是指周期时间t内的闭眼时长和周期时间t的比值；
11、步骤s200：使用自适应光照均衡技术调整疲劳图像的亮度和对比度，得到第二疲劳图像；
12、所述使用自适应光照均衡技术调整疲劳图像的亮度和对比度，得到第二疲劳图像的具体方法为：
13、步骤s210：将疲劳图像进行灰度化，转换成灰度疲劳图像；
14、所述将疲劳图像进行灰度化，转换成灰度疲劳图像的具体方法为：读取需要处理的疲劳图像的像素，计算每个像素的灰度值，得到灰度疲劳图像，所述灰度值的计算公式为：，其中r、g、b是疲劳图像中红、绿、蓝通道的像素值，h是每个像素的灰度值；
15、步骤s220：使用阈值调整模型对灰度疲劳图像进行预测，得到概率图像；
16、所述概率图像是指包含每个像素属于疲劳区域的概率的灰度疲劳图像；
17、步骤s230：选择b×b的窗口在概率图像上滑动，计算每个窗口内的小块概率图像的自适应阈值，进行自适应阈值分割；
18、所述自适应阈值分割的方法为：
19、步骤s231：选择一个大小为b×b的窗口，设置滑动步长，在概率图像上进行滑动；
20、步骤s232：对每个窗口内的小块概率图像，通过阈值调整模型动态调整自适应阈值；
21、所述阈值调整模型的训练过程为：使用具有不同亮度和对比度条件下的灰度疲劳图像，为每一张灰度疲劳图像标注目标阈值，利用卷积神经网络作为阈值调整模型的初始模型，所述初始模型以灰度疲劳图像作为输入，在输出层产生概率图像；以灰度疲劳图像和概率图像作为训练阈值调整模型的输入数据，以动态调整后的阈值作为阈值调整模型的输出数据，以准确输出目标阈值作为阈值调整模型的预测目标，以最小化动态调整的阈值和目标阈值之间的差异作为损失函数；
22、所述损失函数的计算公式为：，其中m为作为训练样本的灰度疲劳图像的数量，表示第i张灰度疲劳图像上的第j个小块概率图像动态调整后的阈值，表示第i张灰度疲劳图像上的第j个小块概率图像的目标阈值；
23、所述目标阈值的标注方法为：专业人员或领域专家手动查看每张灰度疲劳图像，根据疲劳区域的颜色和纹理特征确定目标阈值；
24、步骤s233：将概率图像根据动态调整的自适应阈值y进行二值化，得到灰度区域的二值图像；
25、所述将概率图像根据动态调整的自适应阈值进行二值化，得到灰度区域的二值图像的具体方法为：将概率图像中的像素的灰度值与动态计算的阈值进行比较，大于阈值的像素定义为第一像素，标记为白色，小于等于阈值的像素被定义为第二像素，标记为黑色，得到灰度区域的二值图像；
26、步骤s234：重复步骤s231~步骤s233，重复在概率图像上滑动窗口，处理整个概率图像；
27、步骤s240：将每个窗口处理后的二值图像进行组合，并进行全局对比度增强得到第二疲劳图像；
28、步骤s300：利用人脸关键点检测算法分别处理正常图像和第二疲劳图像，得到正常特征点和疲劳特征点；
29、所述利用人脸关键点检测算法分别处理正常图像和第二疲劳图像，得到正常特征点和疲劳特征点的具体方法为：
30、步骤s310：使用人脸检测算法对正常图像和第二疲劳图像中的人脸进行定位，确定人脸的位置和边框；
31、步骤s320：利用人脸关键点检测算法对定位到的人脸进行关键点检测；
32、步骤s330：将关键点检测得到的人脸坐标信息提取得到正常特征点集合和疲劳特征点集合；
33、所述正常特征点集合由正常图像上提取到的r个正常特征点组成，是指第i个正常特征点；
34、所述疲劳特征点集合由第二疲劳图像上提取到的r个疲劳特征点组成，是指第i个疲劳特征点；
35、步骤s400：根据正常特征点和疲劳特征点提取驾驶员的正常生理特征和疲劳生理特征；
36、所述正常生理特征是指正常图像上驾驶员的生理特征；
37、所述疲劳生理特征是指第二疲劳图像上驾驶员的疲劳驾驶时的生理特征；
38、所述利用正常特征点和疲劳特征点提取正常生理特征和疲劳生理特征的具本文档来自技高网...
【技术保护点】
1.一种多模式生理信息融合的车载驾驶员疲劳状态智能识别方法，其特征在于，包括：
2.如权利要求1所述的一种多模式生理信息融合的车载驾驶员疲劳状态智能识别方法，其特征在于，所述获取M张连续帧的正常图像和M张连续帧的疲劳图像的获取方法为：
3.如权利要求2所述的一种多模式生理信息融合的车载驾驶员疲劳状态智能识别方法，其特征在于，所述自适应阈值分割的方法为：
4.如权利要求3所述的一种多模式生理信息融合的车载驾驶员疲劳状态智能识别方法，其特征在于，所述阈值调整模型的训练过程为：
5.如权利要求4所述的一种多模式生理信息融合的车载驾驶员疲劳状态智能识别方法，其特征在于，所述利用人脸关键点检测算法分别处理正常图像和第二疲劳图像，得到正常特征点和疲劳特征点的具体方法为：
6.如权利要求5所述的一种多模式生理信息融合的车载驾驶员疲劳状态智能识别方法，其特征在于，所述利用正常特征点和疲劳特征点提取正常生理特征和疲劳生理特征的具体计算方法为：
7.如权利要求6所述的一种多模式生理信息融合的车载驾驶员疲劳状态智能识别方法，其特征
8.如权利要求7所述的一种多模式生理信息融合的车载驾驶员疲劳状态智能识别方法，其特征在于，所述当疲劳指数超过危险阈值时，对驾驶员发出提示预警是指：当疲劳指数x大于危险阈值Q时，表示当前驾驶员处在疲劳驾驶中，继续驾驶会有安全风险，根据疲劳指数设置振动反馈,所述疲劳指数与振动反馈成正比例关系，疲劳指数越高，座椅的振动反馈越强烈。
9.一种多模式生理信息融合的车载驾驶员疲劳状态智能识别系统，其特征在于，包括：
...【技术特征摘要】
1.一种多模式生理信息融合的车载驾驶员疲劳状态智能识别方法，其特征在于，包括：
2.如权利要求1所述的一种多模式生理信息融合的车载驾驶员疲劳状态智能识别方法，其特征在于，所述获取m张连续帧的正常图像和m张连续帧的疲劳图像的获取方法为：
3.如权利要求2所述的一种多模式生理信息融合的车载驾驶员疲劳状态智能识别方法，其特征在于，所述自适应阈值分割的方法为：
4.如权利要求3所述的一种多模式生理信息融合的车载驾驶员疲劳状态智能识别方法，其特征在于，所述阈值调整模型的训练过程为：
5.如权利要求4所述的一种多模式生理信息融合的车载驾驶员疲劳状态智能识别方法，其特征在于，所述利用人脸关键点检测算法分别处理正常图像和第二疲劳图像，得到正常特征点和疲劳特征点的具体方法为：
6.如权利要求5所述的一种多模式生理信息融合的车载驾驶员疲劳状态智能识别方法，其特征在于，所述利用正常特征点和疲劳特征点提取正常生理特征和疲劳生理特征的具体计算方法为：
7.如权利要求6所述的一种多模式生理信息融合的车载驾驶员疲劳状态智能识别方法，其特征在...
【专利技术属性】
技术研发人员：泮波，林海玲，揭振宇，
申请(专利权)人：杭州圆点科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。