本发明专利技术公开了一种基于姿态和模糊度的多任务人脸质量评估方法及系统。涉及计算机视觉和图像处理领域。所述方法包括：通过YOLOv8算法中的主干网络提取待评估图像的特征；通过YOLOv8算法的neck网络对主干网络提取待评估图像的特征进行特征融合；在YOLOv8网络的基础上设计目标框回归任务层，人脸姿态分类任务层和人脸模糊度评分任务层，这三个任务层分别对融合后的特征进行处理，得到人脸目标框、人脸姿态类别、人脸模糊度评分；设计多任务人脸质量评分策略，根据姿态类别和模糊度评分对每个人脸进行综合评分，从而实现更精确的人脸质量评估。
【技术实现步骤摘要】
本专利技术涉及人脸识别，特别涉及一种基于姿态和模糊度的多任务人脸质量评估方法及系统。
技术介绍
1、人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部识别的一系列相关技术，通常也叫做人像识别、面部识别。
2、在进行人脸识别（人脸检测或人脸标签分析）时，首先，需要对图片或视频的质量进行评估，以筛选出高质量的人脸图像或视频，以提高人脸识别或人脸检测的准确性和可靠性。
3、相关技术中，通过yolov8模型进行人脸识别时存在对图像质量评估质量不高的技术问题。基于此，基于对yolov8模型的改进，提出一种基于姿态和模糊度的多任务人脸质量评估方法及系统。
技术实现思路
1、本专利技术提供一种基于姿态和模糊度的多任务人脸质量评估方法和系统。通过结合人脸姿态和图像模糊度信息，实现对人脸图像质量的综合评估。
2、根据本公开的一方面，提供了一种基于姿态和模糊度的多任务人脸质量评估方法，所述方法包括：
3、获取待评估的视频数据，将视频数据进行解码处理得到待评估图像；
4、通过yolov8算法中的主干网络backbone提取待评估图像的特征；
5、通过yolov8算法的neck网络对主干网络backbone提取待评估图像的特征进行特征融合；其中，yolov8算法中的neck网络连接主干网络backbone和head网络；</p>6、通过yolov8算法的head网络对特征融合后的图像进行预测，包括：
7、通过改进yolov8算法的head层对特征融合后的图像进行处理以完成目标框回归任务、人脸姿态分类任务、人脸模糊度评分任务；改进的yolov8算法的head层包括第一head分支，第二head分支和第三head分支；其中，第一head分支包括目标框回归任务层，第二head分支包括人脸姿态分类任务层和第三head分支包括人脸模糊度评分任务层；
8、根据多任务人脸质量评分策略对所述任务进行打分得到人脸质量评分和人脸目标框坐标；多任务人脸质量评分策略包括：人脸质量评分为人脸姿态评分与人脸模糊度得分的和；人脸质量评分的值在0-1之间，数值越大表示质量越高；
9、其中，人脸模糊度得分的值在0-2之间，数值越大表示越清晰。
10、在一种可能的实现方式中，多任务人脸质量评分策略还包括：人脸模糊度得分通过人脸模糊度评分任务层直接得到，通过人脸姿态分类与人脸姿态得分的对应关系确定人脸姿态得分，所述对应关系包括：
11、中正-1分，轻微偏左-0.5分、重度偏左-0分、轻微偏右-0.5分、重度偏右-0分、轻微偏上-0.5、重度偏上0分、轻微偏下-0.5分、重度偏下-0分；
12、其中，人脸姿态分类任务层输出的人脸姿态分类为对应分类的数字标签。
13、在一种可能的实现方式中，所述目标框回归任务层包括依次连接的卷积模块a1，第一注意力模块，卷积模块a2，第一全连接模块；
14、其中，卷积模块a1包括依次连接的群组归一化层、卷积层，激活函数relu层和卷积层；第一注意力模块采用自注意力层；卷积模块a2和卷积模块a1的结构相同；第一全连接模块包括第一全连接层，在第一全连接层中，输入维度为卷积模块a2的输出维度，输出维度为候选框数量，4表示每个候选框的坐标数量。
15、在一种可能的实现方式中，所述人脸姿态分类任务层包括依次连接的卷积模块b1，第二注意力模块，卷积模块b2，第二全连接模块；
16、其中，卷积模块b1包括依次连接的群组归一化层、卷积层，激活函数relu层和卷积层；第二注意力模块采用自注意力层；卷积模块b2和卷积模块b1的结构相同；第二全连接模块包括第二全连接层，在第二全连接层中，输入维度为卷积模块b2的输出维度，输出维度为候选框数量，9表示每个候选框姿态类别的数量。
17、在一种可能的实现方式中，所述人脸模糊度评分任务层包括依次连接的卷积模块c1，第三注意力模块，卷积模块c2，第三全连接模块；
18、其中，卷积模块c1包括依次连接的群组归一化层、卷积层，激活函数relu层和卷积层；第三注意力模块采用自注意力层；卷积模块c2和卷积模块c1的结构相同；第三全连接模块包括第三全连接层，在第三全连接层中，输入维度为卷积模块c2的输出维度，输出维度为候选框数量，1表示每个候选框姿态类别的数量；其中，第一注意力模块，第二注意力模块和第三注意力模块的结构相同，第一全连接模块，第二全连接模块和第三全连接模块的结构相同。
19、本公开的另一方面，一种基于姿态和模糊度的多任务人脸质量评估系统，所述系统应用所述的评估方法，所述系统包括：
20、一个或多个摄像头，用于采集视频数据；
21、视频流解码器，对摄像头产生的视频流进行解码得到图像帧；
22、多任务人脸质量评估模块，用于根据所述评估方法对所述图像帧进行质量评估得到人脸目标框的坐标及人脸质量评分。
23、技术效果：
24、yolov8网络的基础上设计多任务人脸质量评估网络，可以同时实现人脸目标框检测、人脸姿态类别识别、人脸模糊度评分，并根据姿态类别和模糊度评分对每个人脸进行综合评分，从而实现更精确的人脸质量评估。
25、本公开实施例的在yolov8网络的基础上设计目标框回归任务层，人脸姿态分类任务层和人脸模糊度评分任务层。首先通过目标框回归任务层获得人脸的目标框坐标，然后分别通过人脸姿态分类任务层和人脸模糊度评分任务层获得人脸的姿态和人脸的模糊度评分。从而实现更精确的人脸质量评估。
26、该方法基于yolov8神经网络模型进行改进，通过人脸姿态和人脸模糊度对人脸质量进行综合评估，提升评估的准确率。在yolov8网络的基础上通过多任务学习实现人脸检测任务、人脸姿态分类任务、人脸模糊度评分任务，提高了模型的推理效率和鲁棒性。
本文档来自技高网...
【技术保护点】
1.一种基于姿态和模糊度的多任务人脸质量评估方法，其特征在于，所述方法包括：
2.根据权利要求1所述的一种基于姿态和模糊度的多任务人脸质量评估方法，其特征在于，多任务人脸质量评分策略还包括：人脸模糊度得分通过人脸模糊度评分任务层直接得到，通过人脸姿态分类与人脸姿态得分的对应关系确定人脸姿态得分，所述对应关系包括：
3.根据权利要求1所述的一种基于姿态和模糊度的多任务人脸质量评估方法，其特征在于，所述目标框回归任务层包括依次连接的卷积模块A1，第一注意力模块，卷积模块A2，第一全连接模块；
4.根据权利要求3所述的一种基于姿态和模糊度的多任务人脸质量评估方法，其特征在于，所述人脸姿态分类任务层包括依次连接的卷积模块B1，第二注意力模块，卷积模块B2，第二全连接模块；
5.根据权利要求4所述的一种基于姿态和模糊度的多任务人脸质量评估方法，其特征在于，所述人脸模糊度评分任务层包括依次连接的卷积模块C1，第三注意力模块，卷积模块C2，第三全连接模块；
6.一种基于姿态和模糊度的多任务人脸质量评估系统，其特征在于，所述系统应用权利要求1-5任一项所述的评估方法，所述系统包括：
...
【技术特征摘要】
1.一种基于姿态和模糊度的多任务人脸质量评估方法，其特征在于，所述方法包括：
2.根据权利要求1所述的一种基于姿态和模糊度的多任务人脸质量评估方法，其特征在于，多任务人脸质量评分策略还包括：人脸模糊度得分通过人脸模糊度评分任务层直接得到，通过人脸姿态分类与人脸姿态得分的对应关系确定人脸姿态得分，所述对应关系包括：
3.根据权利要求1所述的一种基于姿态和模糊度的多任务人脸质量评估方法，其特征在于，所述目标框回归任务层包括依次连接的卷积模块a1，第一注意力模块，卷积模块a2，第一全连接模块；
【专利技术属性】
技术研发人员：徐亮，孙浩云，管洪清，张元杰，
申请(专利权)人：青岛文达通科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。