【技术实现步骤摘要】
本申请涉及计算机视觉，尤其涉及一种人脸融合方法、系统、电子设备及存储介质。
技术介绍
1、相关技术中，存在基于图像处理技术和特征点对齐算法的人脸融合方式，即仅通过将源图像的特征与目标图像的外观进行融合来生成新的合成图像。然而，这种方法在处理复杂的人脸表情、姿态和光照变化时往往效果有限，容易产生不自然或失真的合成结果。并且当图像中人脸佩戴饰品时，仅能使合成结果的人脸具备源人脸的五官特征，无法实现饰品特征的准确还原。
2、综上，相关技术中存在的技术问题有待得到改善。
技术实现思路
1、本申请实施例的主要目的在于提出一种人脸融合方法、系统、电子设备及存储介质，能够提高融合结果的准确度和自然度。
2、为实现上述目的，本申请实施例的一方面提出了一种人脸融合方法，所述方法包括：
3、获取源人脸图像和目标人脸图像；
4、分别对源人脸图像和目标人脸图像进行人脸检测和对齐处理，计算得到源人脸仿射变换矩阵和目标人脸仿射变换矩阵；
5、根据所述源人脸仿射变换矩阵和所述目标人脸仿射变换矩阵分别对所述源人脸图像和所述目标人脸图像进行裁剪处理，得到源人脸区域图像和目标人脸区域图像；
6、对所述源人脸区域图像进行特征提取处理，得到饰品特征和源人脸特征；
7、将所述源人脸特征和所述目标人脸区域图像联合输入人脸融合模型进行人脸融合处理，得到初始人脸融合结果；
8、将所述初始人脸融合结果和所述饰品特征输入饰品生成模型进行重
9、根据所述目标人脸仿射变换矩阵的逆矩阵将所述饰品重建结果覆盖至所述目标人脸区域图像，得到目标人脸融合结果。
10、在一些实施例中，所述分别对源人脸图像和目标人脸图像进行人脸检测和对齐处理，计算得到源人脸仿射变换矩阵和目标人脸仿射变换矩阵，包括：
11、获取标准人脸模板图像；
12、分别将所述源人脸图像和所述目标人脸图像输入人脸检测模型进行人脸检测处理，得到源人脸关键点信息和目标人脸关键点信息；
13、根据所述标准人脸模板图像分别对所述源人脸关键点信息和所述目标人脸关键点信息进行人脸对齐处理，计算得到源人脸仿射变换矩阵和目标人脸仿射变换矩阵。
14、在一些实施例中，所述对所述源人脸区域图像进行特征提取处理，得到饰品特征和源人脸特征，包括：
15、将所述源人脸区域图像输入饰品分类模型进行饰品特征提取处理，得到饰品特征；
16、对所述源人脸区域图像进行双线性插值处理，得到缩放图像；
17、将所述缩放图像输入人脸特征提取模型进行人脸特征提取处理，得到源人脸特征。
18、在一些实施例中，在所述将所述源人脸特征和所述目标人脸区域图像联合输入人脸融合模型进行人脸融合处理，得到初始人脸融合结果之前，所述方法还包括预先训练所述人脸融合模型，具体包括：
19、获取高分辨率人像训练数据和低分辨率人像训练数据；
20、对所述高分辨率人像训练数据进行人脸检测和对齐处理，裁剪得到训练目标人脸图像；
21、分别对所述高分辨率人像训练数据和所述低分辨率人像训练数据进行人脸特征提取处理，得到训练人脸特征；
22、将所述训练人脸特征和所述训练目标人脸图像输入所述人脸融合模型，得到训练融合结果；
23、根据人脸融合损失函数对所述训练融合结果进行损失值计算处理，得到人脸融合损失值；
24、根据所述人脸融合损失值对所述人脸融合模型的参数进行更新。
25、在一些实施例中，所述根据人脸融合损失函数对所述训练融合结果进行损失值计算处理，得到人脸融合损失值，包括：
26、根据所述训练融合结果计算得到人脸特征余弦相似度损失、像素损失、感知损失和对抗损失；
27、根据人脸融合损失函数对所述人脸特征余弦相似度损失、所述像素损失、所述感知损失和所述对抗损失进行加权求和处理，得到人脸融合损失值。
28、在一些实施例中，在所述将所述初始人脸融合结果和所述饰品特征输入饰品生成模型进行重建处理，得到饰品重建结果之前，所述方法还包括预先训练所述饰品生成模型，具体包括：
29、通过计算机合成方法构建得到训练图像；
30、对所述训练图像进行饰品特征提取处理，得到训练饰品特征；
31、将所述训练饰品特征和所述训练图像输入所述饰品生成模型，得到训练生成结果；
32、根据饰品生成损失函数对所述训练生成结果进行损失值计算处理，得到饰品生成损失值；
33、根据所述饰品生成损失值对所述饰品生成模型的参数进行更新。
34、在一些实施例中，所述通过计算机合成方法构建得到训练图像，包括：
35、通过三维建模技术构建得到仿真数字人和饰品模型；
36、对所述仿真数字人进行随机条件修改处理，得到随机模型；
37、对所述饰品模型与所述随机模型进行合成处理，得到训练图像。
38、为实现上述目的，本申请实施例的另一方面提出了一种人脸融合系统，所述系统包括：
39、第一模块，用于获取源人脸图像和目标人脸图像；
40、第二模块，用于分别对源人脸图像和目标人脸图像进行人脸检测和对齐处理，计算得到源人脸仿射变换矩阵和目标人脸仿射变换矩阵；
41、第三模块，用于根据所述源人脸仿射变换矩阵和所述目标人脸仿射变换矩阵分别对所述源人脸图像和所述目标人脸图像进行裁剪处理，得到源人脸区域图像和目标人脸区域图像；
42、第四模块，用于对所述源人脸区域图像进行特征提取处理，得到饰品特征和源人脸特征；
43、第五模块，用于将所述源人脸特征和所述目标人脸区域图像联合输入人脸融合模型进行人脸融合处理，得到初始人脸融合结果；
44、第六模块，用于将所述初始人脸融合结果和所述饰品特征输入饰品生成模型进行重建处理，得到饰品重建结果；
45、第七模块，用于根据所述目标人脸仿射变换矩阵的逆矩阵将所述饰品重建结果覆盖至所述目标人脸区域图像，得到目标人脸融合结果。
46、为实现上述目的，本申请实施例的另一方面提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现前面所述的方法。
47、为实现上述目的，本申请实施例的另一方面提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现前面所述的方法。
48、本申请实施例至少包括以下有益效果：本申请提供一种人脸融合方法、系统、电子设备及存储介质,该方案通过分别对源人脸图像和目标人脸图像进行人脸检测和对齐处理，计算得到源人脸仿射变换矩阵和目标人脸仿射变换矩阵；根据源人脸仿射变换矩阵和目标人脸仿射变换矩阵分别对源人脸图像和目标人脸图像本文档来自技高网...
【技术保护点】
1.一种人脸融合方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述分别对源人脸图像和目标人脸图像进行人脸检测和对齐处理，计算得到源人脸仿射变换矩阵和目标人脸仿射变换矩阵，包括：
3.根据权利要求1所述的方法，其特征在于，所述对所述源人脸区域图像进行特征提取处理，得到饰品特征和源人脸特征，包括：
4.根据权利要求1所述的方法，其特征在于，在所述将所述源人脸特征和所述目标人脸区域图像联合输入人脸融合模型进行人脸融合处理，得到初始人脸融合结果之前，所述方法还包括预先训练所述人脸融合模型，具体包括：
5.根据权利要求4所述的方法，其特征在于，所述根据人脸融合损失函数对所述训练融合结果进行损失值计算处理，得到人脸融合损失值，包括：
6.根据权利要求1所述的方法，其特征在于，在所述将所述初始人脸融合结果和所述饰品特征输入饰品生成模型进行重建处理，得到饰品重建结果之前，所述方法还包括预先训练所述饰品生成模型，具体包括：
7.根据权利要求6所述的方法，其特征在于，所述通过计算机合成方法构建得到训
8.一种人脸融合系统，其特征在于，所述系统包括：
9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法。
...【技术特征摘要】
1.一种人脸融合方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述分别对源人脸图像和目标人脸图像进行人脸检测和对齐处理，计算得到源人脸仿射变换矩阵和目标人脸仿射变换矩阵，包括：
3.根据权利要求1所述的方法，其特征在于，所述对所述源人脸区域图像进行特征提取处理，得到饰品特征和源人脸特征，包括：
4.根据权利要求1所述的方法，其特征在于，在所述将所述源人脸特征和所述目标人脸区域图像联合输入人脸融合模型进行人脸融合处理，得到初始人脸融合结果之前，所述方法还包括预先训练所述人脸融合模型，具体包括：
5.根据权利要求4所述的方法，其特征在于，所述根据人脸融合损失函数对所述训练融合结果进行损失值计算处理，得到人脸融合损失值，包...
【专利技术属性】
技术研发人员：肖冠正，吴凯文，张子荷，范胜旭，
申请(专利权)人：天翼爱音乐文化科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。