全任务人脸识别模型的训练方法及装置、人脸识别方法制造方法及图纸

本申请实施例提供了一种全任务人脸识别模型的训练方法及装置、人脸识别方法，涉及人工智能、图像处理领域。该方法中，对于每个样本图像，通过特征提取网络进行特征提取，得到样本图像对应的第一特征图，基于第一特征图，通过人脸检测网络确定样本图像中人脸所在区域的第一预测位置信息以及人脸关键点的第二预测位置信息，通过人脸质量网络确定样本图像的预测人脸质量分数，通过人脸跟踪网络确定样本图像的预测人脸区分信息。基于分别对应于人脸检测网络、人脸质量网络、人脸跟踪网络的第一损失、第二损失、第三损失，对初始神经网络模型进行迭代训练，得到训练好的全任务人脸识别模型。本申请减少了模型训练过程中的计算量，提高了模型训练效率。高了模型训练效率。高了模型训练效率。

【技术实现步骤摘要】
全任务人脸识别模型的训练方法及装置、人脸识别方法


[0001]本申请涉及人工智能、图像处理领域，具体而言，本申请涉及一种全任务人脸识别模型的训练方及装置、人脸识别方法、电子设备、计算机可读存储介质及计算机程序产品。

技术介绍

[0002]在图像处理领域，通常包括人脸检测、人脸质量、人脸对齐、人脸跟踪等与人脸识别有关的任务。
[0003]相关技术中，通常会分别训练针对各项任务的模型，在面对需要同时执行多项任务时，会针对多项任务中选取多个模型，以分别执行对应的任务。该方式比较麻烦，实用性不强。

技术实现思路

[0004]本申请实施例提供了一种全任务人脸识别模型的训练方及装置、人脸识别方法、电子设备、计算机可读存储介质及计算机程序产品，减少了模型训练过程中的计算量，提高了模型训练效率。具体的技术方案如下：
[0005]根据本申请实施例的一个方面，提供了一种全任务人脸识别模型的训练方法，该方法包括：
[0006]获取包括多个训练样本的训练数据集，每个训练样本包括一个样本图像和该样本图像的第一标签、第二标签、第三标签，第一标签表征样本图像中人脸所在区域的第一位置信息以及人脸关键点的第二位置信息，第二标签表征样本图像的人脸质量分数，第三标签表征样本图像的真实人脸区分信息；
[0007]将训练数据集中每个样本图像输入至初始神经网络模型中，对初始神经网络模型进行迭代训练，得到训练好的全任务人脸识别模型；该初始神经网络模型包括特征提取网络以及分别与特征网络级联的人脸检测网络、人脸质量网络、人脸跟踪网络；对于每个样本图像，对初始神经网络模型进行迭代训练，具体包括：
[0008]通过特征提取网络进行特征提取，得到样本图像对应的第一特征图；
[0009]基于第一特征图，通过人脸检测网络确定样本图像的第一预测位置信息以及第二预测位置信息，通过人脸质量网络确定样本图像的预测人脸质量分数，通过人脸跟踪网络确定样本图像的预测人脸区分信息；
[0010]基于第一标签、第一预测位置信息以及第二预测位置信息，确定第一损失；基于第二标签以及预测人脸质量分数，确定第二损失；基于第三标签以及预测人脸区分信息，确定第三损失；
[0011]基于第一损失、第二损失、第三损失，对初始神经网络模型进行迭代训练。
[0012]根据本申请实施例的另一个方面，提供了一种人脸识别方法，该方法包括：
[0013]获取待识别图像；
[0014]基于训练好的全任务人脸识别模型，确定待识别图像中人脸所在区域的第一位置
信息、人脸关键点的第二位置信息、人脸质量分数、人脸区分信息，训练好的全任务人脸识别模型是基于上述方法训练得到的；
[0015]基于第一位置信息、第二位置信息、人脸质量分数、人脸区分信息，进行人脸识别相关的处理操作。
[0016]根据本申请实施例的另一个方面，提供了一种全任务人脸识别模型的训练装置，该装置包括获取模块和训练模块，其中：
[0017]获取模块，用于获取包括多个训练样本的训练数据集，每个训练样本包括一个样本图像和该样本图像的第一标签、第二标签、第三标签，第一标签表征样本图像中人脸所在区域的第一位置信息以及人脸关键点的第二位置信息，第二标签表征样本图像的人脸质量分数，第三标签表征样本图像的真实人脸区分信息；
[0018]训练模块，用于将训练数据集中每个样本图像输入至初始神经网络模型中，对初始神经网络模型进行迭代训练，得到训练好的全任务人脸识别模型；初始神经网络模型包括特征提取网络以及分别与特征网络级联的人脸检测网络、人脸质量网络、人脸跟踪网络；对于每个样本图像，训练模块在对初始神经网络模型进行迭代训练时，具体用于：
[0019]通过特征提取网络进行特征提取，得到样本图像对应的第一特征图；
[0020]基于第一特征图，通过人脸检测网络确定样本图像中第一预测位置信息以及第二预测位置信息，通过人脸质量网络确定样本图像的预测人脸质量分数，通过人脸跟踪网络确定样本图像的预测人脸区分信息；
[0021]基于第一标签、第一预测位置信息以及第二预测位置信息，确定第一损失；基于第二标签以及预测人脸质量分数，确定第二损失；基于第三标签以及预测人脸区分信息，确定第三损失；
[0022]基于第一损失、第二损失、第三损失，对初始神经网络模型进行迭代训练。
[0023]根据本申请实施例的另一个方面，提供了一种人脸识别装置，该装置包括获取模块、确定模块和处理模块，其中：
[0024]获取模块，用于获取待识别图像；
[0025]确定模块，用于基于训练好的全任务人脸识别模型，确定待识别图像中人脸所在区域的第一位置信息、人脸关键点的第二位置信息、人脸质量分数、人脸区分信息，训练好的全任务人脸识别模型是基于上述装置训练得到的；
[0026]处理模块，基于第一位置信息、第二位置信息、人脸质量分数、人脸区分信息，进行人脸识别相关的处理操作。
[0027]根据本申请实施例的另一个方面，提供了一种电子设备，该电子设备包括存储器、处理器及存储在存储器上的计算机程序，该处理器执行计算机程序以实现上述方法的步骤。
[0028]根据本申请实施例的另一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
[0029]根据本申请实施例的一个方面，提供了一种计算机程序产品，该计算机程序产品，包括计算机程序，该计算机程序被处理器执行时可实现上述方法的步骤。
[0030]本申请实施例提供的技术方案带来的有益效果是：
[0031]在本申请实施例提供的全任务人脸识别模型的训练方法中，由于初始神经网络模
型包括特征提取网络以及分别与该特征提取网络级联的人脸检测网络、人脸质量网络、人脸跟踪网络，在对初始神经网络模型时，在通过特征提取网络进行特征提取，得到样本图像对应的第一特征图后，可以直接基于该第一特征图，分别通过人脸检测网络确定样本图像中人脸所在区域的第一预测位置信息以及人脸关键点的第二预测位置信息，通过人脸质量网络确定样本图像的预测人脸质量分数，通过人脸跟踪网络确定样本图像的预测人脸区分信息。由此，可以在进行人脸检测网络、人脸质量网络、人脸跟踪网络的训练过程中，复用特征提取网络提取得到的第一特征图，不必在对人脸检测网络、人脸质量网络、人脸跟踪网络中任意一个网络进行训练时，重复确定样本图像对应的第一特征图。从而减少了模型训练过程中的数据量，提高了模型的训练效率。
[0032]并且，由于根据本申请实施例提供的全任务人脸识别模型的训练方法，可以得到训练好的包括人脸检测网络、人脸质量网络、人脸跟踪网络的全任务人脸识别模型，在根据该全任务人脸识别模型进行待识别图像的处理时，也可以复用训练好的全任务人脸识别模型中特征提取网络提取得到的第一特征图，通过这一个全任务人脸识别模型就可以得到针对待识别图像中人脸所在区域的位置信息、人脸关键点的位置信息、人脸质量分数、人脸本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种全任务人脸识别模型的训练方法，其特征在于，所述方法包括：获取包括多个训练样本的训练数据集，每个训练样本包括一个样本图像和所述样本图像的第一标签、第二标签、第三标签，所述第一标签表征所述样本图像中人脸所在区域的第一位置信息以及人脸关键点的第二位置信息，所述第二标签表征所述样本图像的人脸质量分数，所述第三标签表征所述样本图像的真实人脸区分信息；将所述训练数据集中每个样本图像输入至初始神经网络模型中，对所述初始神经网络模型进行迭代训练，得到训练好的全任务人脸识别模型；所述初始神经网络模型包括特征提取网络以及分别与所述特征网络级联的人脸检测网络、人脸质量网络、人脸跟踪网络；对于每个样本图像，所述对所述初始神经网络模型进行迭代训练，具体包括：通过所述特征提取网络进行特征提取，得到所述样本图像对应的第一特征图；基于所述第一特征图，通过所述人脸检测网络确定所述样本图像的第一预测位置信息以及第二预测位置信息，通过所述人脸质量网络确定所述样本图像的预测人脸质量分数，通过所述人脸跟踪网络确定所述样本图像的预测人脸区分信息；基于所述第一标签、所述第一预测位置信息以及所述第二预测位置信息，确定第一损失；基于所述第二标签以及所述预测人脸质量分数，确定第二损失；基于所述第三标签以及所述预测人脸区分信息，确定第三损失；基于所述第一损失、所述第二损失、所述第三损失，对所述初始神经网络模型进行迭代训练。2.根据权利要求1所述的方法，其特征在于，所述对所述初始神经网络模型进行迭代训练，包括：基于目标损失，对所述特征提取网络和目标网络进行迭代训练，得到训练好的特征提取网络和训练好的目标网络，所述目标网络为所述人脸检测网络、所述人脸质量网络、所述人脸跟踪网络中的任一网络，所述目标损失为所述目标网络对应的损失；冻结所述训练好的特征提取网络对应的模型参数以及所述训练好的目标网络对应的模型参数；基于所述训练好的特征提取网络提取到的第一特征图，分别对所述人脸检测网络、所述人脸质量网络、所述人脸跟踪网络中除了所述目标网络之外的其他网络进行迭代训练。3.根据权利要求1所述的方法，其特征在于，所述通过所述人脸质量网络确定所述样本图像的预测人脸质量分数，包括：基于所述第一特征图，依次进行深度卷积操作和逐点卷积操作，得到待解码质量分数原始特征图；对所述待解码质量分数原始特征图进行解码操作，得到所述预测人脸质量分数。4.根据权利要求1所述的方法，所述通过所述人脸跟踪网络确定所述样本图像的预测人脸区分信息，包括：基于所述第一特征图，进行所述第一特征图中像素间的相关联增强处理，得到第二特征图；基于所述第二特征图，依次进行深度卷积操作和逐点卷积操作，得到所述预测人脸区分信息。5.根据权利要求1或4所述的方法，其特征在于，所述真实人脸区分信息包括所述样本
图像中人脸的真实类别，所述真实类别为多个预设类别中的任一个，所述预测人脸区分信息包括所述样本图像中人脸的预测类别的特征向量，所述基于所述第三标签以及所述预测人脸区分信息，确定第三损失，包括：基于所述训练数据集中每个样本图像的第三标签，确定所述多个预设类别中的每个预设类别的类别特征向量；基于每个所述预设类别的类别特征向量、所述预测类别的特征向量，确定第一相似度和第二相似度，所述第一相似度表征所述预测类别的特征向量与所述真实类别的类别特征向量之间的相似度，所述第二相似度表征所述预测类别的特征向量与所述多个预设类别中、除了所述真实类别之外的每个类别的类别特征向量之间的相似度；根据所述第一相似度和所述第二相似度，确定所述第三损失。6.根据权利要求1所述的方法，其特征在于，所述第一特征图包括至少两个深度层级的第三特征图，所述基于所述第一特征图，通过所述人脸检测网络确定所述样本图像的第一预测位置信息以及...

【专利技术属性】
技术研发人员：罗培元，赖俊成，李锐峰，胡广，
申请(专利权)人：北京奕斯伟计算技术有限公司，
类型：发明
国别省市：