【技术实现步骤摘要】
本专利技术涉及图像处理，具体而言，涉及一种人脸图像生成方法、装置、电子设备和存储介质。
技术介绍
1、在互联网直播行业，随着直播短视频的普及以及人工智能(artificialintelligence，简称：ai)技术的不断进步，运用ai技术优化直播内容，提高直播内容的多样性成为热门趋势。其中，ai换脸技术被广泛应用于直播产业、社交媒体等领域。
2、在现有技术中，人脸识别模型通常专注于从人脸图像中提取关键特征，以便基于关键特征进行识别分类。直接将人脸识别模型应用于ai换脸时，存在因缺失细节特征导致换脸图像相似度低的问题。
技术实现思路
1、有鉴于此，本专利技术的目的在于提供一种人脸图像生成方法、装置、电子设备和存储介质，能够有效改善换脸效果。
2、为了实现上述目的，本专利技术实施例采用的技术方案如下：
3、第一方面，本专利技术提供一种人脸图像生成方法，所述方法包括：
4、从目标人脸图像中提取目标人脸；
5、将待换脸图像和所述目标人脸输入预先训练的人脸图像生成模型；所述人脸图像生成模型包括人脸识别模型和特征融合模型；所述人脸识别模型是利用多种人脸姿态角对应的离散脸图和视频混合训练得到的；
6、利用所述人脸识别模型对所述目标人脸进行特征提取，将提取的目标特征输入所述特征融合模型；
7、利用所述特征融合模型基于所述目标特征对所述待换脸图像进行人脸替换，得到人脸生成图像。
8、在可选的实施方式中，
9、获取离散脸图集合、视频集合和待训练识别模型；所述离散脸图集合包括不同人脸的多张离散脸图；所述视频集合包括不同人脸的至少一个视频；所述离散脸图的采样系数是根据所述离散脸图的人脸姿态角确定的；
10、针对每张人脸，将所述采样系数超过预设采样阈值的离散脸图确定为目标图像；
11、根据所述目标图像的人脸姿态角确定对应的第一缩放系数；
12、将所述目标图像输入所述待训练识别模型，得到第一特征向量；
13、根据所述目标图像对应的所述第一特征向量、人脸标签和所述第一缩放系数，得到第一损失信息；
14、根据所述第一损失信息迭代更新所述待训练识别模型的参数，得到初始识别模型；
15、利用各所述视频迭代训练所述初始识别模型，得到人脸识别模型。
16、在可选的实施方式中，所述人脸姿态角包括俯仰角和偏航角；所述根据所述目标图像的人脸姿态角确定对应的第一缩放系数，包括：
17、根据预设角度阈值、初始缩放值，以及所述目标图像对应的俯仰角和偏航角，得到所述目标图像对应的第一缩放系数。
18、在可选的实施方式中，所述根据所述目标图像对应的所述第一特征向量、人脸标签和所述第一缩放系数，得到第一损失信息，包括：
19、根据所述第一缩放系数确定角度边界；
20、根据所述第一特征向量、所述人脸标签和所述角度边界，确定所述第一损失信息。
21、在可选的实施方式中，所述利用各所述视频迭代训练所述初始识别模型，得到人脸识别模型，包括：
22、将各视频中采样系数超过预设采样阈值的人脸视频帧，确定为目标视频帧；所述人脸视频帧的采样系数是根据所述人脸视频帧的人脸姿态角确定的；
23、根据所述目标视频帧的人脸姿态角确定对应的第二缩放系数；
24、将所述目标视频帧输入所述初始识别模型，得到第二特征向量；
25、根据所述目标视频帧对应的所述第二特征向量、人脸标签和所述第二缩放系数，得到第二损失信息；
26、根据所述第二损失信息迭代更新所述初始识别模型的参数，得到人脸识别模型。
27、在可选的实施方式中，所述人脸姿态角包括俯仰角和偏航角；在获取离散脸图集合、视频集合和待训练识别模型之前，所述方法还包括：
28、对各所述视频进行抽帧，得到人脸视频帧；
29、依次将各所述离散脸图和各所述人脸视频帧作为待处理图像；
30、将各所述待处理图像输入预设人脸关键点模型，得到所述待处理图像中人脸的俯仰角和偏航角；
31、根据各待处理图像对应的所述俯仰角、所述偏航角、预设角度阈值和预设采样值，确定所述待处理图像的原始采样系数；
32、基于同一张人脸，对离散脸图的原始采样系数进行归一化处理，得到各所述离散脸图对应的采样系数；
33、基于同一个视频，对人脸视频帧的原始采样系数进行归一化处理，得到各所述人脸视频帧对应的采样系数。
34、在可选的实施方式中，所述特征融合模型通过以下方式训练得到：
35、获取训练图像集合；所述训练图像集合包括多组模板人脸图像和样本人脸图像；
36、从模板人脸图像中提取模板人脸，将模板人脸输入预先训练的人脸识别模型得到模板人脸特征；
37、将所述样本人脸图像和所述模板人脸特征输入待训练特征融合模型，得到样本换脸图像；
38、根据所述样本换脸图像中人脸特征和所述模板人脸特征确定第三损失信息；
39、根据所述第三损失信息迭代更新所述待训练特征融合模型的参数，得到特征融合模型。
40、第二方面，本专利技术提供一种人脸图像生成装置，所述装置包括：
41、预处理模块，用于从目标人脸图像中提取目标人脸；
42、替换模块，用于将待换脸图像和所述目标人脸输入预先训练的人脸图像生成模型；所述人脸图像生成模型包括人脸识别模型和特征融合模型；所述人脸识别模型是利用多种人脸姿态角对应的离散脸图和视频混合训练得到的；利用所述人脸识别模型对所述目标人脸进行特征提取，将提取的目标特征输入所述特征融合模型；利用所述特征融合模型基于所述目标特征对所述待换脸图像进行人脸替换，得到人脸生成图像。
43、第三方面，本专利技术提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现前述实施方式任一所述的人脸图像生成方法。
44、第四方面，本专利技术提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述实施方式中任一项所述的人脸图像生成方法。
45、相比于现有技术，本专利技术实施例提供的人脸图像生成方法、装置、电子设备和存储介质，利用多种人脸姿态角的离散脸图和连续视频帧混合训练人脸识别模型，有效提高人脸识别模型特征提取的准确性。将利用人脸识别模型提取的目标特征输入特征融合模型，对待换脸图像进行人脸替换得到包含目标人脸的人脸生成图像，从而减少人脸生成图像失真，有助于改善人脸图像生成模型的人脸替换效果，进而显著提高人脸图像生成的鲁棒性和准确性。
46、为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
本文档来自技高网...【技术保护点】
1.一种人脸图像生成方法，其特征在于，所述方法包括：
2.根据权利要求1所述的人脸图像生成方法，其特征在于，所述人脸识别模型是通过以下方式得到：
3.根据权利要求2所述的人脸图像生成方法，其特征在于，所述人脸姿态角包括俯仰角和偏航角；所述根据所述目标图像的人脸姿态角确定对应的第一缩放系数，包括：
4.根据权利要求2所述的人脸图像生成方法，其特征在于，所述根据所述目标图像对应的所述第一特征向量、人脸标签和所述第一缩放系数，得到第一损失信息，包括：
5.根据权利要求2所述的人脸图像生成方法，其特征在于，所述利用各所述视频迭代训练所述初始识别模型，得到人脸识别模型，包括：
6.根据权利要求2所述的人脸图像生成方法，其特征在于，所述人脸姿态角包括俯仰角和偏航角；在获取离散脸图集合、视频集合和待训练识别模型之前，所述方法还包括：
7.根据权利要求1至6任一项所述的人脸图像生成方法，其特征在于，所述特征融合模型通过以下方式训练得到：
8.一种人脸图像生成装置，其特征在于，所述装置包括：
9.一种电
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的人脸图像生成方法。
...【技术特征摘要】
1.一种人脸图像生成方法，其特征在于，所述方法包括：
2.根据权利要求1所述的人脸图像生成方法，其特征在于，所述人脸识别模型是通过以下方式得到：
3.根据权利要求2所述的人脸图像生成方法，其特征在于，所述人脸姿态角包括俯仰角和偏航角；所述根据所述目标图像的人脸姿态角确定对应的第一缩放系数，包括：
4.根据权利要求2所述的人脸图像生成方法，其特征在于，所述根据所述目标图像对应的所述第一特征向量、人脸标签和所述第一缩放系数，得到第一损失信息，包括：
5.根据权利要求2所述的人脸图像生成方法，其特征在于，所述利用各所述视频迭代训练所述初始识别模型，得到人脸识别模型，包括：
6.根据权利要求2所述的人脸图...
【专利技术属性】
技术研发人员：肖萌，
申请(专利权)人：广州虎牙信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。