一种驾驶舱机组的疲劳检测方法技术

本发明专利技术公开了一种驾驶舱机组的疲劳检测方法，包括以下步骤：S1，飞行员脸部图像的捕获，具体包括：获取飞行员不同光照下脸部图像、红外图像转为可见光图像、合成为飞行员正面脸部图像；S2，飞行员的疲劳检测，具体包括：图像预处理、基于HSV色彩模型进行人脸区域定位、基于极坐标的灰度投影法对人眼进行定位、计算PERCLOS值并对飞行员疲劳状态进行判断。本发明专利技术可以针对驾驶舱光照环境的变化，使用自适应光照环境的图像采集装置，其不仅可以自动调节光圈，还可利用红外摄像头采集黑暗环境下的飞行员脸部图像，再将红外图像转化为可见光图像，进而可以更加精准监测飞行员的疲劳状态。进而可以更加精准监测飞行员的疲劳状态。进而可以更加精准监测飞行员的疲劳状态。

【技术实现步骤摘要】
一种驾驶舱机组的疲劳检测方法


[0001]本专利技术涉及机组监测
，尤其涉及一种驾驶舱机组的疲劳检测方法。

技术介绍

[0002]目前绝大多数飞行员对飞机出现紧急情况的警觉性较高，准备也比较充分，但是对其自身发生疲劳的警觉性淡薄。特别是在巡航阶段时，由于此时飞机处于自动驾驶中，飞行员需要操作的动作较少，极易出现疲劳，而一旦飞行员出现严重的疲劳，将导致严重的后果，因此监测飞行员的状态尤其是疲劳状态具有重要的意义。
[0003]当前针对驾驶员监测的方法主要有以下几种：
[0004]通过取待测疲劳特征图中眼部特征和头部姿态，建立人脸模型，并根据人脸模型得到人脸疲劳特征数据，得到眼睑纵横比EAR。再根据眼睛闭合帧，计算得到眼睛闭合时间比例值PERCLOS。但是此方法并未考虑驾驶舱光照变化对提取脸部图像带来的影响；
[0005]通过公开人脸数据集对疲劳检测系统进行预训练，训练完毕的疲劳检测系统获取当前驾驶员的面部数据，采用STN空间变换网络，对面部数据中的不同姿势的面部的鲁棒性进行调整。最后将面部数据进行压缩、扩展，至少进行一次卷积、池化以及Relu函数的处理，以得出当前面部所处的状态。疲劳检测系统用于提取驾驶员的面部特征，若获取的面部特征为瞌睡或睡眠状态，则启动报警装置进行警示。此方法虽然考虑了不同坐姿带来的图像采集影响，但是并未得到正面的人脸图像，对后续的提取驾驶员脸部特征的精度有较大影响；
[0006]通过视觉的方法监测飞行员的身体特征，首先在预定时间窗口的至少一个时间段捕获飞行员的身体运动特征，再将身体运动特征信号发送到信号采集装置。最后与预设值比较来判断飞行员的意识状态，但是此方法中采集到的飞行员的身体特征较多，且没有考虑驾驶舱复杂的光照环境。

技术实现思路

[0007]本专利技术提供了一种驾驶舱机组的疲劳检测方法，以解决上述
技术介绍
中提出的问题。
[0008]为了实现上述目的，本专利技术采用了如下技术方案：
[0009]一种驾驶舱机组的疲劳检测方法，包括以下步骤：
[0010]S1，飞行员脸部图像的捕获，具体包括：获取飞行员不同光照下脸部图像、红外图像转为可见光图像、合成为飞行员正面脸部图像；
[0011]S2，飞行员的疲劳检测，具体包括：图像预处理、基于HSV色彩模型进行人脸区域定位、基于极坐标的灰度投影法对人眼进行定位、计算PERCLOS值并对飞行员疲劳状态进行判断。
[0012]作为本技术方案的进一步改进方案：获取飞行员不同光照下脸部图像，具体为：
[0013]利用驾驶舱本身的光线传感器以及带有自动调节红外LED灯源的红外摄像头来采
集飞行员脸部图像。
[0014]作为本技术方案的进一步改进方案：当光线传感器检测到驾驶舱光照不佳时，可自动调节光圈大小增加进光量；当光线传感器检测到驾驶舱处于黑暗环境时，自动启动摄像头的红外LED灯源补光，从而获取不同光照下的飞行员脸部图像。
[0015]作为本技术方案的进一步改进方案：红外图像转为可见光图像，具体为：
[0016]采取了双重对比学习框架下将红外图像转为可见光人脸图像的方法，首先构建基于StyleGAN2结构的生成器网络并将其嵌入到双重对比学习框架下，提取人脸图像更深层次的特征，并利用双向的对比学习挖掘人脸图像的精细化表征，同时在基于StyleGAN2结构生成器的基础上综合各类损失函数，使得在生成的人脸图像中保持清晰的面部细节，有效提升了图像的视觉质量，最终得到了黑暗环境下的飞行员彩色脸部图像。
[0017]作为本技术方案的进一步改进方案：合成为飞行员正面脸部图像，具体为：
[0018]因为采集到的图像为飞行员不同角度坐姿的图像，为了更准确的提取飞行员脸部特征，本专利技术将摄像头采集到的不同角度的飞行员脸部图像合成为一张正面图像。
[0019]作为本技术方案的进一步改进方案：本专利技术使用基于深度学习的双路生成对抗网络，根据单一的图像合成正面人脸图像，合成的图像非常逼真且可以应对不同角度的脸部旋转，其第一路径是局部路径，提取飞行员的眼睛、鼻子、嘴唇等的特征点，主要对局部特征进行学习；第二路径将整个飞行员脸部图像送入卷积神经网络，学习轮廓等全局信息，从这两个路径中分别得到两个特征图像。同时将特征图融合在一起，得到一张飞行员正面脸部图像。
[0020]作为本技术方案的进一步改进方案：图像预处理，具体为：
[0021]对得到的将原图进行光照补偿处理，处理后的图像亮度和暗度得到了很好的均衡，图像的清晰度也得到了提升，使得感兴趣的区域更加明显。
[0022]作为本技术方案的进一步改进方案：基于HSV色彩模型进行人脸区域定位，具体为：
[0023]经过相似度计算之后定位的人脸区域会存在一些不完整的小区域，因此，对分割后的人脸区域使用形态学处理运算填补空洞区域。
[0024]作为本技术方案的进一步改进方案：基于极坐标的灰度投影法对人眼进行定位，具体为：
[0025]采用均值滤波方法对极角灰度积分投影图进行滤波处理，滤波后的投影图中，波谷区分别对应飞行员的双眼和嘴的角度范围，由于嘴部区域所对应的角度区域较宽，因此可将最宽的波谷区确定为嘴部区域，将剩余的两个波谷区确定为眼睛区域。
[0026]作为本技术方案的进一步改进方案：计算PERCLOS值并对飞行员疲劳状态进行判断，具体为：
[0027]PERCLOS算法是指测试时间内眼睛闭合所占时间与测试时间的百分比，其计算公式如下：本专利技术中每60s采样时间就计算一次PERCLOS的值，做被检测对象的疲劳驾驶程度即可由PERCLOS的值的大小来判定，若在60s的采样时间内计算的PERCLOS值大于0.12时，则判定飞行员此时处于疲劳状态；若PERCLOS值小于0.12时，则判定飞行员此时的眼睛未处于闭合状态，可以正常驾驶飞机。
[0028]与现有技术相比，本专利技术的有益效果是：
[0029]本专利技术可以针对驾驶舱光照环境的变化，使用自适应光照环境的图像采集装置，其不仅可以自动调节光圈，还可利用红外摄像头采集黑暗环境下的飞行员脸部图像，再将红外图像转化为可见光图像，进而可以更加精准监测飞行员的疲劳状态。
[0030]上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，并可依照说明书的内容予以实施，以下以本专利技术的较佳实施例并配合附图详细说明如后。本专利技术的具体实施方式由以下实施例及其附图详细给出。
附图说明
[0031]此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：
[0032]图1为本专利技术提出的图像采集装置硬件架构图；
[0033]图2为本专利技术提出的获取飞行员正面图像流程图；
[0034]图3为本专利技术提出的飞行员疲劳检测的方法流程图。
具体实施方式
[0035]以下结合附图对本专利技术的原本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种驾驶舱机组的疲劳检测方法，其特征在于，包括以下步骤：S1，飞行员脸部图像的捕获，具体包括：获取飞行员不同光照下脸部图像、红外图像转为可见光图像、合成为飞行员正面脸部图像；S2，飞行员的疲劳检测，具体包括：图像预处理、基于HSV色彩模型进行人脸区域定位、基于极坐标的灰度投影法对人眼进行定位、计算PERCLOS值并对飞行员疲劳状态进行判断。2.根据权利要求1所述的一种驾驶舱机组的疲劳检测方法，其特征在于，获取飞行员不同光照下脸部图像，具体为：利用驾驶舱本身的光线传感器以及带有自动调节红外LED灯源的红外摄像头来采集飞行员脸部图像。3.根据权利要求2所述的一种驾驶舱机组的疲劳检测方法，其特征在于，当光线传感器检测到驾驶舱光照不佳时，可自动调节光圈大小增加进光量；当光线传感器检测到驾驶舱处于黑暗环境时，自动启动摄像头的红外LED灯源补光，从而获取不同光照下的飞行员脸部图像。4.根据权利要求3所述的一种驾驶舱机组的疲劳检测方法，其特征在于，红外图像转为可见光图像，具体为：采取了双重对比学习框架下将红外图像转为可见光人脸图像的方法，首先构建基于StyleGAN2结构的生成器网络并将其嵌入到双重对比学习框架下，提取人脸图像更深层次的特征，并利用双向的对比学习挖掘人脸图像的精细化表征，同时在基于StyleGAN2结构生成器的基础上综合各类损失函数，使得在生成的人脸图像中保持清晰的面部细节，有效提升了图像的视觉质量，最终得到了黑暗环境下的飞行员彩色脸部图像。5.根据权利要求4所述的一种驾驶舱机组的疲劳检测方法，其特征在于，合成为飞行员正面脸部图像，具体为：因为采集到的图像为飞行员不同角度坐姿的图像，为了更准确的提取飞行员脸部特征，本发明将摄像头采集到的不同角度的飞行员脸部图像合成为一张正面图像。6.根据权利要求5所述的一种驾驶舱机组的疲劳检测方法，其特征在于，本发明使用基于深度学习的双路生成对抗网络，根据...

【专利技术属性】
技术研发人员：魏易男，曾锐，陈雪，张炯，杨志刚，
申请(专利权)人：中国商用飞机有限责任公司，
类型：发明
国别省市：