人眼状态检测方法、装置、电子设备及存储介质制造方法及图纸

本申请涉及深度学习技术领域，尤其涉及一种人眼状态检测方法、装置、电子设备及存储介质，该方法包括：将原始图片输入到嵌套残差密集块RRDB网络中，得到特征图；将特征图输入到区域建议网络RPN中，得到多个候选区域定位框，确定多个候选区域定位框中包含眼部图像的目标候选区域定位框，并基于预定义算法计算目标候选区域定位框对应的人眼状态。这样，基于RRDB网络可以获取所有层中的特征数据，进而得到所需的特征图，保留了原始图片眼部的所有特征，进而可以提高人眼状态检测的准确性和鲁棒性。性。性。

【技术实现步骤摘要】
人眼状态检测方法、装置、电子设备及存储介质


[0001]本申请涉及深度学习
，尤其涉及一种人眼状态检测方法、装置、电子设备及存储介质。

技术介绍

[0002]随着深度学习技术的发展，衍生出了一系列基于深度学习的目标检测算法如：Fast R
‑
CNN（Region
‑
Convolutional Neural Networks）、Faster R
‑
CNN等，可以用于人脸检测、行人检测、车辆检测等。通过对人眼的定位及眼睛的状态的检测可以有效的辅助人脸检测、表情识别、姿态估计和人机交互等计算机视觉领域相关工作，且通过对人眼的定位及状态检测可以计算眨眼频率并以此判断疲劳状态，相较于利用心电或者脑电监测疲劳的穿戴式设备判断疲劳状态更为简单快捷。
[0003]现有技术中，可以利用基于眼睛外观的统计模型，或基于眼睛的固有特征以及结构信息的算法进行人眼定位，进一步的，通过人工对人眼的形状进行分类，或基于人眼模板的状态进行分类，或基于机器学习的状态分类算法进行人眼状态的检测。
[0004]但是，上述方法通常需要大量的人工参与，花费较多的人力，且上述人眼定位及状态分类的方法经常受到脸部表情、姿态变化、光照、遮挡、背景干扰、图像清晰度等因素的影响，准确性和鲁棒性较差。

技术实现思路

[0005]本申请提供一种人眼状态检测方法、装置、电子设备及存储介质，用于解决现有人眼定位及状态分类的方法易受到脸部表情、姿态变化、光照、遮挡、背景干扰、图像清晰度等因素的影响，准确性和鲁棒性较差的问题，通过引入嵌套残差密集块RRDB网络，使得获取到的数据完整性更高，提高检测的准确性和鲁棒性。
[0006]第一方面，本申请提供一种人眼状态检测方法，所述方法包括：将原始图片输入到嵌套残差密集块RRDB网络中，得到特征图；将所述特征图输入到区域建议网络RPN中，得到多个候选区域定位框，确定所述多个候选区域定位框中包含眼部图像的目标候选区域定位框，并基于预定义算法计算目标候选区域定位框对应的人眼状态。
[0007]可选的，所述RRDB网络包括多个残差密集块，每一残差密集块包括多层卷积层；将原始图片输入到嵌套残差密集块RRDB网络中，得到特征图，包括：针对每一残差密集块，将原始图片输入到所述残差密集块中，经过多层卷积层计算，得到第一层和中间层输出的眼部特征数据以及最后一层输出的局部特征图；基于局部特征图所在的位置区域将每一残差密集块计算得到的各层的眼部特征数据融合，得到包括眼部特征数据的特征图将每一残差密集块对应的融合后的特征图再次进行融合，得到所需的特征图。
[0008]可选的，每一卷积层设置有对应的过滤机制，所述过滤机制用于提取原始图片对
应的眼部特征数据；将原始图片输入到所述残差密集块中，经过多层卷积层计算，得到第一层和中间层输出的眼部特征数据以及最后一层输出的局部特征图，包括：将原始图片输入到所述残差密集块中，利用每一层卷积层对应的过滤机制依次对所述原始图片进行降维处理和眼部特征提取，得到第一层和中间层输出的眼部特征数据以及最后一层输出的局部特征图。
[0009]可选的，将所述特征图输入到区域建议网络RPN中，得到多个候选区域定位框，确定所述多个候选区域定位框中包含眼部图像的目标候选区域定位框，包括：将所述特征图输入到RPN中，得到多个候选区域定位框；将所述多个候选区域定位框通过坐标的映射变换，映射到所述特征图上，得到多个候选区域定位框的特征矩阵；基于所述特征矩阵计算所述多个候选区域定位框的交并比，并基于所述交并比判断所述多个候选区域定位框中是否包含眼部图像；根据判断结果确定目标候选区域定位框；其中，包含眼部图像的候选区域定位框为交并比大于预设阈值的候选区域定位框。
[0010]可选的，基于预定义算法计算目标候选区域定位框对应的人眼状态，包括：将目标候选区域定位框缩放至预定义大小，并将经过缩放的目标候选区域定位框进行拼接并去重；将拼接并去重后的候选区域利用归一化指数函数进行分类，输出人眼状态。
[0011]可选的，所述方法还包括：获取训练数据集；所述训练数据集包括人脸数据集以及人眼状态数据集对应的标签；所述标签用于区分睁眼状态、闭眼状态和背景；将所述训练数据集按照预定义的比例划分为训练集、验证集和测试集，并将所述训练集、验证集和测试集输入到RRDB网络中进行训练、验证和测试。
[0012]可选的，所述方法还包括：获取统计的验证结果，所述验证结果包括检测正确、检测失败、检测错误；所述检测正确表示检测结果为人眼状态实际上为人眼状态；所述检测失败表示检测结果为人眼状态实际上为背景；所述检测错误表示检测结果为背景实际上是人眼状态；基于所述验证结果中检测正确的数量、检测失败的数量和检测错误的数量计算评价指标；所述评价指标用于评价人眼状态检测的正确率；基于所述评价指标调整所述RRDB网络和所述RPN中的参数。
[0013]可选的，所述方法还包括：当检测到人眼状态为闭眼状态的图片数量大于预设数量时，向用户终端设备发送告警提示，以提醒用户处于疲劳状态。
[0014]第二方面，本申请提供一种人眼状态检测装置，所述装置包括：输入模块，用于将原始图片输入到嵌套残差密集块RRDB网络中，得到特征图；处理模块，用于将所述特征图输入到区域建议网络RPN中，得到多个候选区域定位框，确定所述多个候选区域定位框中包含眼部图像的目标候选区域定位框，并基于预定义算法计算目标候选区域定位框对应的人眼状态。
[0015]第三方面，本申请提供一种电子设备，包括：处理器，以及与所述处理器通信连接
的存储器；所述存储器存储计算机执行指令；所述处理器执行所述存储器存储的计算机执行指令，以实现如第一方面中任一项所述的方法。
[0016]第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如第一方面任一项所述的方法。
[0017]综上所述，本申请提供一种人眼状态检测方法、装置、电子设备及存储介质，可以通过将原始图片输入到嵌套残差密集块RRDB网络中，得到特征图；进而将特征图输入到区域建议网络RPN中，得到多个候选区域定位框，进一步的，确定多个候选区域定位框中包含眼部图像的多个目标候选区域定位框，并基于预定义算法计算该多个目标候选区域定位框对应的人眼状态。这样，基于RRDB网络可以获取所有层中的特征数据，进而得到所需的特征图，保留了原始图片眼部的所有特征，进而可以提高人眼状态检测的准确性和鲁棒性。
附图说明
[0018]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
[0019]图1为本申请实施例提供的一种应用场景示意图；图2为本申请实施例提供的一种人眼状态检测方法的流程示意图；图3为本申请实施例提供的一种RRDB网络的结构示意图；图4为本申请实施例提供的一种具体的人眼状态检测方法的流本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人眼状态检测方法，其特征在于，所述方法包括：将原始图片输入到嵌套残差密集块RRDB网络中，得到特征图；将所述特征图输入到区域建议网络RPN中，得到多个候选区域定位框，确定所述多个候选区域定位框中包含眼部图像的目标候选区域定位框，并基于预定义算法计算目标候选区域定位框对应的人眼状态。2.根据权利要求1所述的方法，其特征在于，所述RRDB网络包括多个残差密集块，每一残差密集块包括多层卷积层；将原始图片输入到嵌套残差密集块RRDB网络中，得到特征图，包括：针对每一残差密集块，将原始图片输入到所述残差密集块中，经过多层卷积层计算，得到第一层和中间层输出的眼部特征数据以及最后一层输出的局部特征图；基于局部特征图所在的位置区域将每一残差密集块计算得到的各层的眼部特征数据融合，得到包括眼部特征数据的特征图；将每一残差密集块对应的融合后的特征图再次进行融合，得到所需的特征图。3.根据权利要求2所述的方法，其特征在于，每一卷积层设置有对应的过滤机制，所述过滤机制用于提取原始图片对应的眼部特征数据；将原始图片输入到所述残差密集块中，经过多层卷积层计算，得到第一层和中间层输出的眼部特征数据以及最后一层输出的局部特征图，包括：将原始图片输入到所述残差密集块中，利用每一层卷积层对应的过滤机制依次对所述原始图片进行降维处理和眼部特征提取，得到第一层和中间层输出的眼部特征数据以及最后一层输出的局部特征图。4.根据权利要求1所述的方法，其特征在于，将所述特征图输入到区域建议网络RPN中，得到多个候选区域定位框，确定所述多个候选区域定位框中包含眼部图像的目标候选区域定位框，包括：将所述特征图输入到RPN中，得到多个候选区域定位框；将所述多个候选区域定位框通过坐标的映射变换，映射到所述特征图上，得到多个候选区域定位框的特征矩阵；基于所述特征矩阵计算所述多个候选区域定位框的交并比，并基于所述交并比判断所述多个候选区域定位框中是否包含眼部图像；根据判断结果确定目标候选区域定位框；其中，包含眼部图像的候选区域定位框为交并比大于预设阈值的候选区域定位框。5.根据权利要求1所述的方法，其特征在于，基于预定义算法计算目标候选区域定位框对应的人眼状态，包括：将目标候选...

【专利技术属性】
技术研发人员：周波，邹小刚，苗瑞，梁书玉，
申请(专利权)人：深圳市海清视讯科技有限公司，
类型：发明
国别省市：