一种多特征维度的人员疲劳状态确认方法及装置制造方法及图纸

本发明专利技术公开了一种多特征维度的人员疲劳状态确认方法及装置，所述方法包括：通过mtcnn网络按帧对视频图像进行人脸检测，对含有人脸的视频帧进行标注，得到人脸关键点；根据所述人脸关键点进行计算，得到头部欧拉角，并根据所述头部欧拉角的变化确认工作者的头部疲劳状态；通过efficientdet网络对所述视频帧进行特征提取，得到所述工作者的眼部信息和嘴部信息；根据所述眼部信息和所述嘴部信息得到所述工作者的眼部疲劳状态和哈欠状态；根据所述头部疲劳状态、所述眼部疲劳状态和所述哈欠状态，确认所述工作者的疲劳状态。采用本发明专利技术提供的实施例，基于多视角特征融合提高了视频流疲劳检测模型的鲁棒性。疲劳检测模型的鲁棒性。疲劳检测模型的鲁棒性。

【技术实现步骤摘要】
一种多特征维度的人员疲劳状态确认方法及装置


[0001]本专利技术涉及图像处理
，尤其涉及一种多特征维度的人员疲劳状态确认方法及装置。

技术介绍

[0002]人体疲劳检测技术在人体健康状况监测等领域有着巨大的应用价值。而基于面部视频的非接触式的疲劳检测既可以避免接触式设备给检测者带来的不适感，也可以保证疲劳检测的准确性。传统的基于面部视频的非接触式的疲劳检测技术一般是采用基于人脸Haar特征的Adaboost算法，Adaboost算法的优点是非常简单、泛化错误率低，可以应用于大部分分类器上，判断疲劳也是一样。但缺点也十分明显，数据的不平衡会导致分类精度下降，并且对离群点敏感也导致Adaboost算法易受噪声干扰。
[0003]随着近年来疲劳检测领域的备受关注，疲劳检测在许多场景都得到了应用，例如专利号为201911258187.4的专利技术专利公开了一种疲劳驾驶检测装置与方法，该方法用摄像头采集驾驶员图像，并输入至主控模块，主控模块对接收数据进行处理，实时得到疲劳特征参数，并读取存储模块中的疲劳检测标准参数，根据二者比较的结果得到疲劳程度，输出对应控制信号到报警模块，控制报警模块发出设定报警信号。
[0004]现有技术在使用面部视频数据集对深度神经网络模型进行训练和测试时，训练和测试的场景基本不变，也就是测试者的背景和测试环境的光源基本不变。而在现实应用中，部署好的模型往往要面对来源复杂、场景多样的面部视频，而模型在训练时所使用的数据不可能把以后要面对的所有应用场景都囊括在内，这会导致模型迁移到与训练数据的场景差异较大的应用场景时性能下降，面部疲劳检测试速率大幅下降。再者，现有的基于面部视频进行疲劳判断的技术，往往采用单一的判断维度，而在现实应用中，人的面部疲劳信息往往会有一定的欺骗性，不同的人拥有不同的面部特征，而不同的面部特征对于深度神经网络而言是非常大的干扰。因此，凭借单一的判断维度对疲劳程度进行度量往往是不准确的。

技术实现思路

[0005]本专利技术实施例提供一种多特征维度的人员疲劳状态确认方法及装置，利用mtcnn多任务级联卷积神经网络进行人脸检测，保证在多场景下测试速率；同时利用使用面部信息相关的数据集进行训练EfficientDet深度网络，获取多维度特征，最后对面部疲劳状态进行准确地判断。
[0006]为实现上述目的，本申请实施例的第一方面提供了一种多特征维度的人员疲劳状态确认方法，所述方法包括：
[0007]通过mtcnn人脸检测神经网络按帧对视频图像进行人脸检测，对含有人脸的视频帧进行标注，得到人脸关键点；
[0008]根据所述人脸关键点进行计算，得到头部欧拉角，并根据所述头部欧拉角的变化确认工作者的头部疲劳状态；
[0009]通过efficientdet深度神经网络对所述视频帧进行特征提取，得到所述工作者的眼部信息和嘴部信息；
[0010]通过efficientdet深度神经网络检测所述眼部信息和所述嘴部信息，得到所述工作者的眼睛闭合程度和哈欠频率，并分别根据所述眼睛闭合程度和所述哈欠频率得到所述工作者的眼部疲劳状态和哈欠状态；
[0011]根据所述头部疲劳状态、所述眼部疲劳状态和所述哈欠状态，确认所述工作者的疲劳状态。
[0012]在第一方面的一种可能的实现方式中，所述根据所述人脸关键点进行计算，得到头部欧拉角，并根据所述头部欧拉角的变化确认工作者的头部姿态，具体包括：
[0013]将所述人脸关键点输入位姿估计库进行估计，得到头部旋转向量；
[0014]对所述头部旋转向量进行转换，得到头部旋转矩阵；
[0015]对所述头部旋转矩阵进行计算，得到含有偏航角和滚转角的头部欧拉角；
[0016]分别根据所述偏航角的变化范围和所述滚转角的变化范围，得到工作者的点头信息和摇头信息；
[0017]根据所述点头信息和所述摇头信息确认所述工作者的头部疲劳状态。
[0018]在第一方面的一种可能的实现方式中，所述工作者的眼部疲劳状态的具体获得方式为：
[0019]对所述眼部信息按时间顺序进行标记，得到眼部状态信息；
[0020]通过efficientdet深度神经网络检测所述眼部状态信息，生成眨眼信息；
[0021]根据所述眨眼信息计算所述工作者单位时间内的眼睛闭合程度；
[0022]若眼睛闭合程度大于或等于预设闭合阈值，所述工作者眼部处于疲劳状态；若眼睛闭合程度小于预设闭合阈值，所述工作者眼部处于正常状态。
[0023]在第一方面的一种可能的实现方式中，所述工作者的哈欠状态的具体获得方式为：
[0024]对所述眼部信息按时间顺序进行标记，得到嘴部状态信息；
[0025]通过efficientdet深度神经网络检测所述嘴部状态信息，生成张嘴信息；
[0026]根据所述张嘴信息计算所述工作者的哈欠频率；
[0027]若所述工作者的哈欠频率大于哈欠阈值，所述工作者嘴部处于哈欠状态；若所述工作者的哈欠频率小于或等于哈欠阈值，所述工作者嘴部处于正常状态。
[0028]在第一方面的一种可能的实现方式中，所述根据所述头部疲劳状态、所述眼部疲劳状态和所述哈欠状态，确认所述工作者的疲劳状态，具体包括：
[0029]若头部处于疲劳状态或者眼部处于疲劳状态或者嘴部处于疲劳状态，确认所述工作者处于疲劳状态并对所述工作者发出警报。
[0030]本申请实施例的第二方面提供了一种多特征维度的人员疲劳状态确认装置，包括：
[0031]人脸检测模块，用于通过mtcnn人脸检测神经网络按帧对视频图像进行人脸检测，对含有人脸的视频帧进行标注，得到人脸关键点；
[0032]头部检测模块，用于根据所述人脸关键点进行计算，得到头部欧拉角，并根据所述头部欧拉角的变化确认工作者的头部疲劳状态；
[0033]特征提取模块，用于通过efficientdet深度神经网络对所述视频帧进行特征提取，得到所述工作者的眼部信息和嘴部信息；
[0034]眼嘴检测模块，用于通过efficientdet深度神经网络检测所述眼部信息和所述嘴部信息，得到所述工作者的眼睛闭合程度和哈欠频率，并分别根据所述眼睛闭合程度和所述哈欠频率得到所述工作者的眼部疲劳状态和哈欠状态；
[0035]疲劳确认模块，用于根据所述头部疲劳状态、所述眼部疲劳状态和所述哈欠状态，确认所述工作者的疲劳状态。
[0036]在第二方面的一种可能的实现方式中，所述头部检测模块具体用于：
[0037]将所述人脸关键点输入位姿估计库进行估计，得到头部旋转向量；
[0038]对所述头部旋转向量进行转换，得到头部旋转矩阵；
[0039]对所述头部旋转矩阵进行计算，得到含有偏航角和滚转角的头部欧拉角；
[0040]分别根据所述偏航角的变化范围和所述滚转角的变化范围，得到工作者的点头信息和摇头信息；
[0041]根据所述点头信息和所述摇头信息确认所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多特征维度的人员疲劳状态确认方法，其特征在于，包括：通过mtcnn人脸检测神经网络按帧对视频图像进行人脸检测，对含有人脸的视频帧进行标注，得到人脸关键点；根据所述人脸关键点进行计算，得到头部欧拉角，并根据所述头部欧拉角的变化确认工作者的头部疲劳状态；通过efficientdet深度神经网络对所述视频帧进行特征提取，得到所述工作者的眼部信息和嘴部信息；通过efficientdet深度神经网络检测所述眼部信息和所述嘴部信息，得到所述工作者的眼睛闭合程度和哈欠频率，并分别根据所述眼睛闭合程度和所述哈欠频率得到所述工作者的眼部疲劳状态和哈欠状态；根据所述头部疲劳状态、所述眼部疲劳状态和所述哈欠状态，确认所述工作者的疲劳状态。2.如权利要求1所述的多特征维度的人员疲劳状态确认方法，其特征在于，所述根据所述人脸关键点进行计算，得到头部欧拉角，并根据所述头部欧拉角的变化确认工作者的头部姿态，具体包括：将所述人脸关键点输入位姿估计库进行估计，得到头部旋转向量；对所述头部旋转向量进行转换，得到头部旋转矩阵；对所述头部旋转矩阵进行计算，得到含有偏航角和滚转角的头部欧拉角；分别根据所述偏航角的变化范围和所述滚转角的变化范围，得到工作者的点头信息和摇头信息；根据所述点头信息和所述摇头信息确认所述工作者的头部疲劳状态。3.如权利要求1所述的多特征维度的人员疲劳状态确认方法，其特征在于，所述工作者的眼部疲劳状态的具体获得方式为：对所述眼部信息按时间顺序进行标记，得到眼部状态信息；通过efficientdet深度神经网络检测所述眼部状态信息，生成眨眼信息；根据所述眨眼信息计算所述工作者单位时间内的眼睛闭合程度；若眼睛闭合程度大于或等于预设闭合阈值，所述工作者眼部处于疲劳状态；若眼睛闭合程度小于预设闭合阈值，所述工作者眼部处于正常状态。4.如权利要求1所述的多特征维度的人员疲劳状态确认方法，其特征在于，所述工作者的哈欠状态的具体获得方式为：对所述眼部信息按时间顺序进行标记，得到嘴部状态信息；通过efficientdet深度神经网络检测所述嘴部状态信息，生成张嘴信息；根据所述张嘴信息计算所述工作者的哈欠频率；若所述工作者的哈欠频率大于哈欠阈值，所述工作者嘴部处于哈欠状态；若所述工作者的哈欠频率小于或等于哈欠阈值，所述工作者嘴部处于正常状态。5.如权利要求1所述的多特征维度的人员疲劳状态确认方法，其特征在于，所述根据所述头部疲劳状态、所述眼部疲劳状态和所述哈欠状态，确认所述工作者的疲劳状态，具体包括：若头部处于疲劳状态或者眼部处于疲劳状态或者嘴部处于疲劳状态，确认所述工作者
处于疲劳状态并对所述工作者发出警报。6.一种多特...

【专利技术属性】
技术研发人员：李华亮，刘羽中，范圣平，沈雅利，王琪如，熊超琳，
申请(专利权)人：广东电网有限责任公司电力科学研究院，
类型：发明
国别省市：