基于多任务神经网络的人脸状态检测方法技术

本发明专利技术公开了一种基于多任务神经网络的人脸状态检测方法，包括图像预处理：将待检测图像输入至Dlib库中，在Dlib库中通过人脸定位算法，结合宽容度算法输出预处理后图像，预处理后图像中包含裁决后的完整的人脸图像；多任务神经网络输出面部特征点与头部姿态参数：构建基于面部特征点检测和头部姿态参数检测的多任务神经网络，所述多任务神经网络包括核心网络和子网络1、子网络2，子网络1、子网络2共享核心网络，子网络1用于实现面部特征点检测，子网络2用于头部姿态参数检测；人脸状态监测。本发明专利技术将面部特征点检测与头部姿态参数检测两个任务结合，共享核心网络的特征图，提高两任务的检测精度。务的检测精度。务的检测精度。

【技术实现步骤摘要】
基于多任务神经网络的人脸状态检测方法


[0001]本专利技术涉及神经网络目标检测
，尤其涉及一种基于多任务神经网络的人脸状态检测方法。

技术介绍

[0002]人脸所能表达的信息极为丰富，通过建立各种模型获取人脸的各项参数，进而获取高层语义信息以得到当前人脸的状态，因此人脸状态监测逐渐成为智能时代、智能系统中不可缺少的一环，例如对司机进行疲劳驾驶监测，在疲劳时对其发出提醒；或是进行人脸识别时人脸特征的提取、活体检测，都需要人脸状态监测这项技术的支撑。
[0003]目前在各个应用场景中，人脸识别几乎离不开人们的生活，快速高质量的识别是大家研究的重点。人脸识别目前的应用场景面部特征点检测与头部姿态估计是计算机视觉与深度学习中较为常见的，但无论是使用计算机视觉方法还是深度学习方法，目前的许多检测方法都以单一检测任务为目的进行，没有充分利用两个任务间的关联特性以将两个任务高效地结合起来。

技术实现思路

[0004]技术目的：针对现有技术中的缺陷，本专利技术公开了一种基于多任务神经网络的人脸状态检测方法，将面部特征点检测与头部姿态参数检测两个任务结合，共享核心网络的特征图，提高两任务的检测精度，实现人脸状态检测。
[0005]技术方案：为实现上述技术目的，本专利技术采用以下技术方案。
[0006]一种基于多任务神经网络的人脸状态检测方法，包括以下步骤：
[0007]S1、图像预处理：将待检测图像输入至Dlib库中，在Dlib库中通过人脸定位算法，结合宽容度算法输出预处理后图像，预处理后图像中包含裁决后的完整的人脸图像；
[0008]S2、多任务神经网络输出面部特征点与头部姿态参数：构建基于面部特征点检测和头部姿态参数检测的多任务神经网络，所述多任务神经网络包括核心网络和子网络1、子网络2，子网络1、子网络2共享核心网络，子网络1用于实现面部特征点检测，子网络2用于头部姿态参数检测；对多任务神经网络进行预训练，将预处理后图像输入预训练后的多任务神经网络中的核心网络中，输出特征图；特征图分别输入至子网络1和子网络2中，子网络1输出面部特征点坐标向量；子网络2输出头部姿态参数坐标向量；
[0009]S3、人脸状态监测：将若干待检测图像依次通过步骤S1和步骤S2，根据步骤S2输出的面部特征点坐标向量和头部姿态参数坐标向量，计算人脸状态信息，实现人脸状态检测。
[0010]优选地，所述步骤S1包括：
[0011]S11、将待检测图像输入至Dlib库中，通过人脸定位算法输出裁剪区域坐标；
[0012]S12、将裁剪区域坐标和待检测图像通过宽容度算法对裁剪区域坐标进行更新，输出预处理后图像；所述宽容度算法用于确保裁剪区域中的人脸图像完整；所述预处理后图像大小统一设定为128*128*3，其中128*128为像素坐标数，3为通道数。
[0013]优选地，所述宽容度算法的实现过程为；
[0014]输入裁剪区域坐标，获取左上角坐标(Lx
or
，Ly
or
)和右下角坐标(Rx
or
，Ry
or
)，
[0015]根据预设的宽容度系数α和β对左上角坐标(Lx
or
，Ly
or
)和右下角坐标(Rx
or
，Ry
or
)进行扩展，输出更新后的左上角坐标(Lx
new
，L
ynew
)和右下角坐标(Rx
new
，Ry
new
)；其计算公式为：
[0016][0017]根据更新后的左上角坐标和右下角坐标在待检测图像中框选中预处理后图像。
[0018]优选地，所述预设的宽容度系数α和β通过预训练获取，其过程为：
[0019]构建宽容度系数训练样本，包括若干第一样本图像，以及已知的每个第一样本图像中五个面部特征点坐标，
[0020]将所有第一样本图像依次输入至Dlib数据库中，通过人脸定位算法输出对应的裁剪区域坐标；
[0021]将每组裁剪区域坐标和第一样本图像通过宽容度算法对裁剪区域坐标进行更新，每组裁剪区域坐标和第一样本图像依次完成：
[0022]输入裁剪区域坐标，获取第一样本i的左上角坐标和右下角坐标
[0023]设定宽容度系数α和β初值均为1；
[0024]判断五个面部特征点坐标是否全部在裁剪区域坐标范围内，
[0025]若是，则裁剪区域坐标不变，即宽容度系数α和β取值均为1；若否，则执行：
[0026][0027]重复上一步骤，直至五个面部特征点坐标全部在裁剪区域坐标范围内，输出训练后的宽容度系数α和β数值，作为预设的宽容度系数α和β。
[0028]优选地，所述步骤S2中，特征图大小为1*1024；面部特征点坐标向量大小为1*10，包括五个面部特征点坐标；头部姿态参数坐标向量大小为1*3，包括三个欧拉角yaw、pitch、roll。
[0029]优选地，所述步骤S2中，核心网络包括依次连接的8个卷积层、4个池化层和1个全连接层，全连接层输出特征图，采用ReLU作为激活函数，子网络1包括2个全连接层，子网络2包括3个全连接层。
[0030]优选地，所述步骤S2中，对多任务神经网络进行预训练，其过程包括：
[0031]S21、引入Dlib数据库，将Dlib数据库中的所有图像通过S1中的图像预处理后划分为训练集和测试集；
[0032]S22、多任务神经网络训练：将训练集输入至多任务神经网络后，对子网络1、子网络2和多任务神经网络采用不同的损失函数进行训练，子网络1采用L2范数损失函数；子网络2采用L2范数损失函数；多任务神经网络整体采用任务间的同方差不确定性损失函数，通过整个多任务神经网络的输出来平衡两个子网络的损失函数；
[0033]S23、多任务神经网络测试：将测试集输入至多任务神经网络。
[0034]优选地，所述子网络1采用L2范数损失函数，其计算公式为：
[0035][0036]其中，为子网络2损失函数，为预测的面部坐标，为该样本的真实坐标；
[0037]子网络2采用L2范数损失函数，其计算公式为：
[0038][0039]其中，为子网络2损失函数，为预测的欧拉角值，为真实欧拉角值；
[0040]多任务神经网络整体采用任务间的同方差不确定性损失函数，通过整个多任务神经网络的输出来平衡两个子网络的损失函数，其计算公式为：
[0041][0042]其中，L
T
为多任务神经网络的损失函数。
[0043]优选地，所述计算人脸状态信息，实现人脸状态检测，具体包括：根据步骤S2输出的面部特征点坐标向量和头部姿态参数坐标向量，计算人脸状态信息，包括眨眼频率、哈欠频率、头部位置和头部方向，进而实现人脸状态检测。
[0044]有益效果：本专利技术通过将面部特征点检测与头部姿态参数检测两个任本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多任务神经网络的人脸状态检测方法，其特征在于，包括以下步骤：S1、图像预处理：将待检测图像输入至Dlib库中，在Dlib库中通过人脸定位算法，结合宽容度算法输出预处理后图像，预处理后图像中包含裁决后的完整的人脸图像；S2、多任务神经网络输出面部特征点与头部姿态参数：构建基于面部特征点检测和头部姿态参数检测的多任务神经网络，所述多任务神经网络包括核心网络和子网络1、子网络2，子网络1、子网络2共享核心网络，子网络1用于实现面部特征点检测，子网络2用于头部姿态参数检测；对多任务神经网络进行预训练，将预处理后图像输入预训练后的多任务神经网络中的核心网络中，输出特征图；特征图分别输入至子网络1和子网络2中，子网络1输出面部特征点坐标向量；子网络2输出头部姿态参数坐标向量；S3、人脸状态监测：将若干待检测图像依次通过步骤S1和步骤S2，根据步骤S2输出的面部特征点坐标向量和头部姿态参数坐标向量，计算人脸状态信息，实现人脸状态检测。2.根据权利要求1所述的一种基于多任务神经网络的人脸状态检测方法，其特征在于：所述步骤S1包括：S11、将待检测图像输入至Dlib库中，通过人脸定位算法输出裁剪区域坐标；S12、将裁剪区域坐标和待检测图像通过宽容度算法对裁剪区域坐标进行更新，输出预处理后图像；所述宽容度算法用于确保裁剪区域中的人脸图像完整；所述预处理后图像大小统一设定为128*128*3，其中128*128为像素坐标数，3为通道数。3.根据权利要求2所述的一种基于多任务神经网络的人脸状态检测方法，其特征在于：所述宽容度算法的实现过程为；输入裁剪区域坐标，获取左上角坐标(Lx
or
，Ly
or
)和右下角坐标(Rx
or
，Ry
or
)，根据预设的宽容度系数α和β对左上角坐标(Lx
or
，Ly
or
)和右下角坐标(Rx
or
，Ry
or
)进行扩展，输出更新后的左上角坐标(Lx
new
，Ly
new
)和右下角坐标(Rx
new
，Ry
new
)；其计算公式为：根据更新后的左上角坐标和右下角坐标在待检测图像中框选中预处理后图像。4.根据权利要求3所述的一种基于多任务神经网络的人脸状态检测方法，其特征在于：所述预设的宽容度系数α和β通过预训练获取，其过程为：构建宽容度系数训练样本，包括若干第一样本图像，以及已知的每个第一样本图像中五个面部特征点坐标，将所有第一样本图像依次输入至Dlib数据库中，通过人脸定位算法输出对应的裁剪区域坐标...

【专利技术属性】
技术研发人员：韩毅，王伟，王旭彬，周晏，赵凯，李源，吴昊，卢政宇，
申请(专利权)人：安阳工学院，
类型：发明
国别省市：