图像处理方法、装置、电子设备及计算机可读存储介质制造方法及图纸

本申请实施例提供一种图像处理方法、装置、电子设备及计算机可读存储介质，至少应用于人工智能领域和面部信息交换处理领域，其中，方法包括：获取源图像和目标图像；对所述源图像和所述目标图像进行特征提取，得到所述源图像的三维源面部特征和所述目标图像的三维目标面部特征；基于所述三维源面部特征和所述三维目标面部特征，对所述源图像和所述目标图像进行脸型更换处理，得到具备源对象的脸型的目标图像；将所述源对象的标识信息融合至具备所述源对象的脸型的目标图像中，得到处理后的图像。通过本申请，能够提高换脸结果的真实性和准确性。和准确性。和准确性。

【技术实现步骤摘要】
图像处理方法、装置、电子设备及计算机可读存储介质


[0001]本申请实施例涉及互联网领域，涉及但不限于一种图像处理方法、装置、电子设备及计算机可读存储介质。

技术介绍

[0002]换脸技术旨在将源对象的面部的身份信息转移到目标对象的面部，同时保持目标对象的其余属性(例如，背景、灯光、头部姿势和表情)不变。
[0003]相关技术中，从模型的角度来看，换脸技术主要有以下两种方法：第一种方法是基于传统生成对抗网络(GANs，Generative Adversarial Networks)的模型，使用该网络的生成模型参数量和计算成本较低，但生成的图像可能存在着不自然、带有伪影或重影的现象。第二种方法是基于样式生成对抗网络(StyleGAN)的模型，该算法是基于样式生成对抗网络对脸部生成中的解耦以及可编辑的特性进行换脸。在这类算法中，换脸被视作一种面部编辑的操作，通过将图像投影至隐空间(Latent Space)获取面部的隐变量(Latent Code)，再进行解耦，得到面部身份信息用来交换，然后重建面部图像，最终获得换脸后的图像。从算法的角度来看，换脸技术主要有以下两种不同的模型：第一种是以源对象为导向的面部交换算法，这类算法通过面部重演技术，把源对象重演至与目标对象具有相同姿态和表情；再通过融合算法将源对象融合至目标对象的面部上，以更好地保留源对象的身份信息。目前常用的算法有FSGAN以及FSGANv2，这些算法通过面部重演以及分割
‑
面部修复
‑
融合进行面部交换。面部重演技术通过给定目标对象和源对象的面部关键点，经过多次迭代将源对象的关键点重演至与目标对象一致的分布。第二种是以目标对象为导向的面部交换算法，这类算法通过将源对象的身份信息注入到目标对象的属性信息编码
‑
解码网络中，达到更好地保留目标对象属性信息的目的。
[0004]但是，上述模型觉得的方法和算法角度的方法，当源对象的脸型和目标对象的脸型相差较大时，均存在换脸结果不够保真，换脸结果的准确性较低的问题。

技术实现思路

[0005]本申请实施例提供一种图像处理方法、装置、电子设备及计算机可读存储介质，至少能够应用于人工智能领域和面部信息交换处理领域，所生成的处理后的图像是准确融合了源图像中的源对象的标识信息以及目标图像中的目标对象的面部信息的图像，从而提高换脸结果的真实性和准确性。
[0006]本申请实施例的技术方案是这样实现的：
[0007]本申请实施例提供一种图像处理方法，包括：获取源图像和目标图像；所述源图像中至少包括源对象的面部图像和标识信息，所述目标图像中至少包括目标对象的面部图像；对所述源图像和所述目标图像进行特征提取，得到所述源图像的三维源面部特征和所述目标图像的三维目标面部特征；基于所述三维源面部特征和所述三维目标面部特征，对所述源图像和所述目标图像进行脸型更换处理，得到具备所述源对象的脸型的目标图像；
将所述源对象的标识信息融合至具备所述源对象的脸型的目标图像中，得到处理后的图像。
[0008]本申请实施例提供一种图像处理装置，所述装置包括：获取模块，用于获取源图像和目标图像；所述源图像中至少包括源对象的面部图像和标识信息，所述目标图像中至少包括目标对象的面部图像；特征提取模块，用于对所述源图像和所述目标图像进行特征提取，得到所述源图像的三维源面部特征和所述目标图像的三维目标面部特征；脸型更换模块，用于基于所述三维源面部特征和所述三维目标面部特征，对所述源图像和所述目标图像进行脸型更换处理，得到具备所述源对象的脸型的目标图像；信息融合模块，用于将所述源对象的标识信息融合至具备所述源对象的脸型的目标图像中，得到处理后的图像。
[0009]在一些实施例中，所述三维源面部特征包括所述源对象的脸型参数；所述三维目标面部特征包括所述目标对象除脸型参数之外的属性参数；所述脸型更换模块还用于：将所述源对象的脸型参数与所述目标对象除脸型参数之外的属性参数进行结合，得到具备所述源对象脸型和所述目标对象属性参数的结合特征向量；将所述目标图像和所述结合特征向量输入至脸型更换网络，通过所述脸型更换网络将所述结合特征向量融合至所述目标图像的图像特征中，得到具备所述源对象脸型的目标图像的流场信息；基于所述流场信息对所述目标对象进行脸型变换处理，得到具备所述源对象脸型的目标图像。
[0010]在一些实施例中，所述脸型更换模块还用于：获取所述目标对象的全部属性参数；采用所述源对象的脸型参数替换所述目标对象的属性参数中的脸型参数，得到参数替换后的目标对象的属性参数；通过多个全连接层对所述参数替换后的目标对象的属性参数依次进行全连接处理，得到所述源对象的脸型描述子；所述脸型描述子构成具备所述源对象脸型和所述目标对象属性参数的结合特征向量。
[0011]在一些实施例中，所述脸型更换模块还用于：通过所述脸型更换网络的特征提取层对所述目标图像进行面部特征提取，得到目标对象面部特征；通过所述脸型更换网络的多个特征融合层，依次采用风格迁移算法对所述目标对象面部特征和所述脸型描述子进行融合，得到具备所述源对象脸型的目标图像的流场信息。
[0012]在一些实施例中，所述装置还包括：标识信息提取模块，用于通过语义分割网络获取所述源图像的语义分割图；对所述源图像进行卷积处理，得到卷积特征向量；对所述卷积特征向量进行反卷积处理，得到反卷积特征向量；基于所述语义分割图和所述反卷积特征向量，确定所述源对象的标识信息。
[0013]在一些实施例中，所述标识信息提取模块还用于：基于所述语义分割图和所述反卷积特征向量，对所述源对象的不同区域进行区域平均池化处理，得到区域平均池化特征向量；对所述区域平均池化特征向量进行全局交互计算，得到全局交互特征向量，所述全局交互特征向量用于表征所述源对象的不同区域之间的全局关系；通过全连接层对所述全局交互特征向量进行聚合处理，得到聚合特征向量；所述聚合特征向量构成所述源对象的标识信息。
[0014]在一些实施例中，所述信息融合模块还用于：对具备所述源对象的脸型的目标图像进行不同尺度的属性编码处理，得到所述目标图像的属性特征向量；采用自适应注意力生成器对所述聚合特征向量和所述属性特征向量进行特征融合处理，得到换脸特征向量；基于所述换脸特征向量进行图像渲染，得到所述处理后的图像。
[0015]在一些实施例中，所述自适应注意力生成器包括多个自适应注意力规范化的残差模块；每一所述残差模块由卷积层、激活函数和自适应注意力规范化层组成；所述自适应注意力规范化层用于自适应地融合所述聚合特征向量和所述属性特征向量。
[0016]在一些实施例中，所述装置还包括：第一模型训练模块，用于通过以下方式训练所述脸型更换网络：构建合成数据集，所述合成数据集包括多个合成图像组，每一所述合成图像组包括样本源图像、样本目标图像和样本合成图像；对合成图像组中的所述样本源图像和所述样本目标图像进行特征提取，得到所述样本源图像的样本三维源面部特征和所述样本目标图像的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：获取源图像和目标图像；所述源图像中至少包括源对象的面部图像和标识信息，所述目标图像中至少包括目标对象的面部图像；对所述源图像和所述目标图像进行特征提取，得到所述源图像的三维源面部特征和所述目标图像的三维目标面部特征；基于所述三维源面部特征和所述三维目标面部特征，对所述源图像和所述目标图像进行脸型更换处理，得到具备所述源对象的脸型的目标图像；将所述源对象的标识信息融合至具备所述源对象的脸型的目标图像中，得到处理后的图像。2.根据权利要求1所述的方法，其特征在于，所述三维源面部特征包括所述源对象的脸型参数；所述三维目标面部特征包括所述目标对象除脸型参数之外的属性参数；所述基于所述三维源面部特征和所述三维目标面部特征，对所述源图像和所述目标图像进行脸型更换处理，得到具备所述源对象的脸型的目标图像，包括：将所述源对象的脸型参数与所述目标对象除脸型参数之外的属性参数进行结合，得到具备所述源对象脸型和所述目标对象属性参数的结合特征向量；将所述目标图像和所述结合特征向量输入至脸型更换网络，通过所述脸型更换网络将所述结合特征向量融合至所述目标图像的图像特征中，得到具备所述源对象脸型的目标图像的流场信息；基于所述流场信息对所述目标对象进行脸型变换处理，得到具备所述源对象脸型的目标图像。3.根据权利要求2所述的方法，其特征在于，所述将所述源对象的脸型参数与所述目标对象除脸型参数之外的属性参数进行结合，得到具备所述源对象脸型和所述目标对象属性参数的结合特征向量，包括：获取所述目标对象的全部属性参数；采用所述源对象的脸型参数替换所述目标对象的属性参数中的脸型参数，得到参数替换后的目标对象的属性参数；通过多个全连接层对所述参数替换后的目标对象的属性参数依次进行全连接处理，得到所述源对象的脸型描述子；所述脸型描述子构成具备所述源对象脸型和所述目标对象属性参数的结合特征向量。4.根据权利要求3所述的方法，其特征在于，所述将所述目标图像和所述结合特征向量输入至脸型更换网络，通过所述脸型更换网络将所述结合特征向量融合至所述目标图像的图像特征中，得到具备所述源对象脸型的目标图像的流场信息，包括：通过所述脸型更换网络的特征提取层对所述目标图像进行面部特征提取，得到目标对象面部特征；通过所述脸型更换网络的多个特征融合层，依次采用风格迁移算法对所述目标对象面部特征和所述脸型描述子进行融合，得到具备所述源对象脸型的目标图像的流场信息。5.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：通过语义分割网络获取所述源图像的语义分割图；对所述源图像进行卷积处理，得到卷积特征向量；
对所述卷积特征向量进行反卷积处理，得到反卷积特征向量；基于所述语义分割图和所述反卷积特征向量，确定所述源对象的标识信息。6.根据权利要求5所述的方法，其特征在于，所述基于所述语义分割图和所述反卷积特征向量，确定所述源对象的标识信息，包括：基于所述语义分割图和所述反卷积特征向量，对所述源对象的不同区域进行区域平均池化处理，得到区域平均池化特征向量；对所述区域平均池化特征向量进行全局交互计算，得到全局交互特征向量，所述全局交互特征向量用于表征所述源对象的不同区域之间的全局关系；通过全连接层对所述全局交互特征向量进行聚合处理，得到聚合特征向量；所述聚合特征向量构成所述源对象的标识信息。7.根据权利要求6所述的方法，其特征在于，所述将所述源对象的标识信息融合至具备所述源对象的脸型的目标图像中，得到处理后的图像，包括：对具备所述源对象的脸型的目标图像进行不同尺度的属性编码处理，得到所述目标图像的属性特征向量；采用自适应注意力生成器对所述聚合特征向量和所述属性特征向量进行特征融合处理，得到换脸特征向量；基于所述换脸特征向量进行图像渲染，得到所述处理后的图像。8.根据权利要求7所述的方法，其特征在于，所述自适应注意力生成器包括多个自适应注意力规范化的残差模块；每一所述残差模块由卷积层、激活函数和自适应注意力规范化层组成；所述自适应注意力规范化层用于自适应地融合所述聚合特征向量和所述属性特征向量。9.根据权利要求2所述的方法，其特征在于，所述方法还包括：通过以下方式训练所述脸型更换网络：构建合成数据集，所述合成数据集包括多个合成图像组，每一所述合成图像组包括样本源图像、样本目标图像和样本合成图像；对合成图像组中的所述样本源图像和所述样本目标图像进行特征提取，得到所述样本源图像的样本三维源面部特征和所述样本...

【专利技术属性】
技术研发人员：杨宏基，李毛毛，张勇，单瀛，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：