人脸预测模型的训练及多任务预测方法、装置和直播系统制造方法及图纸

本申请涉及一种人脸预测模型的训练方法和装置、人脸多任务预测方法和装置、直播系统、计算机设备以及计算机可读存储介质；该训练方法包括：根据预测任务对人脸图像集进行分组，并分别对人脸图像分组进行数据标注；构建特征图金字塔网络以及各个预测任务对应的预测任务层，将预测任务层分别连接到特征图金字塔网络输出的特征图上得到人脸多任务预测模型；分别配置人脸多任务预测模型的各个预测任务层在预测训练中的损失函数；利用标注的人脸图像并根据损失函数对人脸多任务预测模型进行训练。该技术方案，能够训练得到同时执行多种预测任务的预测模型，提升人脸多任务预测的效率，特别适用于直播场景下预测需求，满足不同实时直播场景的使用需求。实时直播场景的使用需求。实时直播场景的使用需求。

【技术实现步骤摘要】
人脸预测模型的训练及多任务预测方法、装置和直播系统


[0001]本申请涉及网络直播
，特别是涉及一种人脸预测模型的训练方法和装置、人脸多任务预测方法和装置、直播系统、计算机设备以及计算机可读存储介质。

技术介绍

[0002]随着网络直播技术的发展，各种美颜、美妆和整形等特效被广泛应用于网络直播当中，从而可以提高网络直播中分享的优质内容的传播效果。在直播过程中，为了精准定位到人脸位置并进行特效添加，需要对人脸关键点检测、分割等，因此人脸关键点检测、分割相关算法是美颜、美妆、整形等直播、短视频特效技术的基础。
[0003]目前，在对人脸图像执行2D关键点、3D关键点和图像分割任务时，通常是训练人脸预测模型来进行检测，每个预测模型可以完成一个相应的预测任务，例如，预测2D关键点可以使用2D关键点模型、预测3D关键点可以使用3D关键点模型、预测图像分割可以使用分割模型等，然而，在直播场景下，当需要完成多种预测任务时，同时使用这些预测模型无法满足直播实时性的高要求，由此会影响直播场景下美颜、美妆算法的运算效率，难以满足直播业务中的多任务使用需求，容易影响直播效果。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种人脸预测模型的训练方法和装置、人脸多任务预测方法和装置、直播系统、计算机设备以及计算机可读存储介质，实现单模型的多任务预测功能，提升了直播实时性。
[0005]第一方面，本申请提供一种人脸预测模型的训练方法，包括：
[0006]根据预测任务对人脸图像集进行分组，并根据各个预测任务分别对所述人脸图像分组进行数据标注；
[0007]构建特征图金字塔网络以及各个预测任务对应的预测任务层，将所述预测任务层分别连接到所述特征图金字塔网络输出的特征图上得到人脸多任务预测模型；
[0008]分别配置所述人脸多任务预测模型的各个预测任务层在预测训练中的损失函数；
[0009]利用所述标注的人脸图像并根据所述损失函数对所述人脸多任务预测模型进行训练。
[0010]在一个实施例中，构建特征图金字塔网络以及各个预测任务对应的预测任务层，包括：
[0011]构建一个提取图像特征的特征图金字塔网络；其中，所述特征图金字塔网络以人脸图像为输入，输出分辨率逐渐增大的多个特征图；
[0012]根据需要执行的各个预测任务，在所述特征图金字塔网络之后分别搭建对应的预测任务层。
[0013]在一个实施例中，将所述预测任务层分别连接到所述特征图金字塔网络输出的特征图上得到人脸多任务预测模型，包括：
[0014]针对于各个预测任务层，分别从所述特征图金字塔网络输出的特征图中选择至少一个特征图作为输入图像；
[0015]根据各个预测任务对应选择的输入图像将所述预测任务层连接到所述特征图上，得到人脸多任务预测模型。
[0016]在一个实施例中，利用所述标注的人脸图像并根据所述损失函数对所述人脸多任务预测模型进行训练，包括：
[0017]读取各组已标注的人脸图像，并分别输入到人脸多任务预测模型；
[0018]计算在各个所述损失函数共同影响下人脸多任务预测模型输出的各个预测任务的预测结果；
[0019]根据所述预测结果对人脸多任务预测模型的参数进行调整，直至人脸多任务预测模型输出的预测结果达到设定指标要求。
[0020]在一个实施例中，预测任务包括：预测人脸图像的2D关键点和预测人脸图像的3D关键点；
[0021]所述根据各个预测任务分别对所述人脸图像分组进行数据标注，包括：
[0022]在2D关键点人脸图像分组的每张人脸图像上人脸部位标注若干个2D关键点；
[0023]利用人脸3D基模型渲染一张正面人脸图像，确定3D基模型顶点与各个2D关键点的对应关系；根据所述对应关系在3D关键点人脸图像分组的每张人脸图上人脸部位标注若干个2D关键点。
[0024]在一个实施例中，利用人脸3D基模型渲染一张正面人脸图像，确定3D基模型顶点与各个2D关键点的对应关系，包括：
[0025]将人脸3D基模型的表情基和形状基进行降维；
[0026]利用人脸3D基模型的平均脸渲染一张正面人脸图像，并在所述正面人脸图像上标注若干个2D关键点；
[0027]计算所述正面人脸图像上3D顶点的2D投影点，并分别确定与各个2D关键点之间距离最小的投影点，获得正脸时3D基模型顶点与2D关键点的对应关系；
[0028]对所述正面人脸图像脸颊轮廓的2D关键点进行调整处理，获得侧脸时3D基模型顶点与2D关键点的对应关系。
[0029]在一个实施例中，所述预测任务还包括：预测人脸图像中人脸可见区域像素分类和预测3D人脸关键点所形成3D网格；
[0030]所述根据各个预测任务分别对所述人脸图像分组进行数据标注，还包括：
[0031]将人脸区域分割人脸图像分组的每张人脸图像上的人脸区域与背景区域进行分割，将所述人脸区域标注为前景像素，将背景区域标注为背景像素；
[0032]根据所述3D基模型顶点连接关系确定3D关键点人脸图像分组的人脸图像的3D关键点连接关系。
[0033]在一个实施例中，所述预测任务层包括：预测人脸图像的2D关键点的第一预测任务层，预测人脸图像中人脸可见区域像素分类的第二预测任务层，预测人脸图像的3D关键点的第三预测任务层和预测3D人脸关键点所形成3D网格的第四预测任务层；
[0034]所述图像特征的特征图金字塔网络输出分辨率逐渐增大的特征图F1、特征图F2、特征图F3和特征图F4；
[0035]其中，所述第一预测任务层和第二预测任务层为卷积神经网络层，以特征图F4作为输入图像；所述第三预测任务层和第四预测任务层为线性层，以特征图F1作为输入图像。
[0036]在一个实施例中，所述分别配置所述人脸多任务预测模型的各个预测任务层在预测训练中的损失函数，包括：
[0037]配置第一预测任务层的损失函数为其中，表示人脸多任务预测模型预测的第i个关键点坐标，表示标注的第i个2D关键点坐标；
[0038]配置第二预测任务层的损失函数为L
seg
＝
‑
(gt
seg
*logpred
seg
)+(1
‑
gt
seg
)*log(1
‑
pred
seg
))，其中，gt
seg
为前景像素或者背景像素的标注信息，pred
seg
为人脸多任务预测模型的预测结果；
[0039]配置第三预测任务层和第四预测任务层的损失函数为其中，为人脸多任务预测模型预测的3D人脸关键点在人脸图像上的2D投影点，表示标注的第i个2D关键点坐标。
[0040]第二方面，本申请提供一种人脸预测模型的训练装置，包括：
[0041]数据标注模块，用于根据预测任务对人脸本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人脸预测模型的训练方法，其特征在于，包括：根据预测任务对人脸图像集进行分组，并根据各个预测任务分别对所述人脸图像分组进行数据标注；构建特征图金字塔网络以及各个预测任务对应的预测任务层，将所述预测任务层分别连接到所述特征图金字塔网络输出的特征图上得到人脸多任务预测模型；分别配置所述人脸多任务预测模型的各个预测任务层在预测训练中的损失函数；利用所述标注的人脸图像并根据所述损失函数对所述人脸多任务预测模型进行训练。2.根据权利要求1所述的人脸预测模型的训练方法，其特征在于，构建特征图金字塔网络以及各个预测任务对应的预测任务层，包括：构建一个提取图像特征的特征图金字塔网络；其中，所述特征图金字塔网络以人脸图像为输入，输出分辨率逐渐增大的多个特征图；根据需要执行的各个预测任务，在所述特征图金字塔网络之后分别搭建对应的预测任务层。3.根据权利要求2所述的人脸预测模型的训练方法，其特征在于，将所述预测任务层分别连接到所述特征图金字塔网络输出的特征图上得到人脸多任务预测模型，包括：针对于各个预测任务层，分别从所述特征图金字塔网络输出的特征图中选择至少一个特征图作为输入图像；根据各个预测任务对应选择的输入图像将所述预测任务层连接到所述特征图上，得到人脸多任务预测模型。4.根据权利要求1所述的人脸预测模型的训练方法，其特征在于，预测任务包括：预测人脸图像的2D关键点和预测人脸图像的3D关键点；所述根据各个预测任务分别对所述人脸图像分组进行数据标注，包括：在2D关键点人脸图像分组的每张人脸图像上人脸部位标注若干个2D关键点；利用人脸3D基模型渲染一张正面人脸图像，确定3D基模型顶点与各个2D关键点的对应关系；根据所述对应关系在3D关键点人脸图像分组的每张人脸图上人脸部位标注若干个2D关键点。5.根据权利要求4所述的人脸预测模型的训练方法，其特征在于，利用人脸3D基模型渲染一张正面人脸图像，确定3D基模型顶点与各个2D关键点的对应关系，包括：将人脸3D基模型的表情基和形状基进行降维；利用人脸3D基模型的平均脸渲染一张正面人脸图像，并在所述正面人脸图像上标注若干个2D关键点；计算所述正面人脸图像上3D顶点的2D投影点，并分别确定与各个2D关键点之间距离最小的投影点，获得正脸时3D基模型顶点与2D关键点的对应关系；对所述正面人脸图像脸颊轮廓的2D关键点进行调整处理，获得侧脸时3D基模型顶点与2D关键点的对应关系。6.根据权利要求4所述的人脸预测模型的训练方法，其特征在于，所述预测任务还包括：预测人脸图像中人脸可见区域像素分类和预测3D人脸关键点所形成3D网格；所述根据各个预测任务分别对所述人脸图像分组进行数据标注，还包括：将人脸区域分割人脸图像分组的每张人脸图像上的人脸区域与背...

【专利技术属性】
技术研发人员：宫凯程，
申请(专利权)人：广州方硅信息技术有限公司，
类型：发明
国别省市：