一种基于潜在特征重构和掩模感知的人脸图像修复方法技术

本发明专利技术公开了一种基于潜在特征重构和掩模感知的人脸图像修复方法，属于图像处理技术领域。本发明专利技术主要包括以下步骤：1、获取人脸图像数据集，并将数据集中的图像进行预处理；2、构建一个基于潜在特征重构的结构重构器和掩模感知的纹理生成器用于模型训练；3、基于构建的深度网络和预处理的数据集对网络模型进行训练；4、依据学习的模型参数，将一幅缺损的人脸图像作为网络的输入，得到完整的人脸图像。本发明专利技术通过结合拥有优良性能的结构重构器和纹理生成器，生成了修复效果不错的人脸图像，在智能照片处理等领域中有着广泛的应用前景。在智能照片处理等领域中有着广泛的应用前景。在智能照片处理等领域中有着广泛的应用前景。

【技术实现步骤摘要】
一种基于潜在特征重构和掩模感知的人脸图像修复方法


[0001]本专利技术属于图像处理
，更具体地说，涉及一种基于潜在特征重构和掩模感知的人脸图像修复方法。

技术介绍

[0002]图像修复指的是为损坏的输入图像的缺失区域生成可替换的结构和纹理，并获得视觉上逼真的结果。它具有广泛的应用前景。例如，用户可以通过使用修复技术来移除不需要的对象或编辑图像的内容。图像修复任务的一个主要挑战是生成正确的结构和逼真的纹理。一些早期基于patch的作品试图用现有区域的图像patch来填补缺失的区域。通过最近邻搜索和复制相关块，这些方法可以合成出逼真的纹理，用于背景修复任务。然而，由于这些方法不能捕获高层语义，因此很难为具有非重复模式(如人脸)的图像生成逼真的结构。
[0003]随着深度神经网络技术的出现，最近的一些工作将修复任务建模为一个条件生成问题，该问题学习输入受损图像与真实图像之间的映射函数。这些方法能够学习有意义的语义，因此可以为缺失的区域生成连贯的结构。然而，由于这些方法不能有效地分离结构和纹理信息，它们往往会受到边界过度平滑或纹理伪影的影响。
[0004]为了解决这个问题，有学者提出了一些两级网络。这些方法在第一阶段修复丢失的结构，并在第二阶段使用重建的信息生成最终结果。有些方法使用真实图像作为结构恢复的标签。但是，真实图像包含高频纹理。这些不相关的细节可能会误导结构重建。SPG
‑
Net预测缺失区域的语义分割标签作为结构信息。然而，语义标签相似的区域可能具有不同的纹理(例如，同一建筑的窗户和墙壁)，这给最终的恢复带来了困难。使用边缘图像作为结构指导，EdgeConnect在一些高度结构化的场景中也取得了很好的效果。然而，边缘图像的分布与目标图像的分布有很大的不同。换句话说，边缘提取器会丢弃太多有用的信息，例如图像颜色，因此很难生成生动的纹理。
[0005]经检索，现有技术中关于图像修复的方案也有很多公开，如专利申请号202110701430.6，申请日为2021年6月24日，该申请案公开了一种基于面部样式的人脸图像修复方法，其构建基于面部样式的生成对抗网络，包括基于面部样式的生成网络和PatchGAN判别器网络；基于面部样式的生成网络包括编码器
‑
解码器构成的主干修复子网络、能够根据人脸解析图提取各面部区域的局部面部区域样式和全局面部样式的面部样式提取子网络；所有局部面部区域样式和全局面部样式构成样式矩阵，生成各面部区域的仿射参数；编码器与解码器中的相应网络层之间存在跳跃连接，每个跳跃连接上嵌入一个面部区域修复模块。该申请案能够在一定程度上克服现有技术修复后的人脸图像中存在视觉伪影、面部结构细节模糊和面部语义不一致的问题，达到更加精确的修复效果。但该申请案对于图像修复的过程相对较耗时，在实际应用场合中实用性有待加强。
[0006]基于以上分析，现有技术需要一种能够实现避免边界过度平滑或纹理伪影的人脸图像修复的方法。

技术实现思路

[0007]1.专利技术要解决的技术问题
[0008]为了克服上述现有技术存在的，现实中修复图像容易出现边界过度平滑或纹理伪影的问题；本专利技术提出了一种基于潜在特征重构和掩模感知的人脸图像修复方法；本专利技术提出了一种两阶段图像修复模型，能够达到更好的修复效果，且本专利技术一次训练就可完成任意的图像生成，无需耗时的迭代优化，满足了现实中复杂度低的要求。
[0009]2.技术方案
[0010]为达到上述目的，本专利技术提供的技术方案为：
[0011]本专利技术的一种基于潜在特征重构和掩模感知的人脸图像修复方法，其步骤为：
[0012]步骤1、获取人脸图像数据集，并将数据集中的图像进行预处理；
[0013]步骤2、构建一个基于潜在特征重构的结构重构器和掩模感知的纹理生成器用于模型训练；
[0014]步骤3、依据步骤1预处理的数据集和步骤2构建的网络，调整网络参数，进行网络训练；
[0015]步骤4、将一幅缺损的人脸图像作为网络的输入，利用步骤3学习得到的参数得到一幅完整的人脸图像作为输出。
[0016]更进一步地，步骤1获得人脸数据集的方法为：进入到官方下载界面，选取数据集进行下载。步骤1的图像进行预处理的方法为：采用计算机生成任意大小和形状的掩码，将所述掩码与训练集中的任一图像进行像素级的乘法，得到破损的图像。
[0017]更进一步地，步骤2中构建的结构重构器，首先经过3
×
3卷积层、归一化层和PReLU层，再使用50个相同的bottleneck模块，从第6层、第20层和第23层分别提取了三个大小不同的特征图，分别记作c1，c2，c3。c2通过1
×
1卷积得到的特征图经过上采样后与c3相加得到p2，p2通过1
×
1卷积得到的特征图经过上采样后与c1相加得到p1。c3通过16个渐变样式模块生成样式向量0、样式特征向量1和样式特征向量2，p2通过32个渐变样式模块生成了样式特征向量3、样式特征向量4、样式特征向量5和样式特征向量6，p1通过64个渐变样式模块生成了样式特征向量7、
…
、样式特征向量17等11个样式向量。最后，将生成的18个样式特征向量送到StyleGAN中，得到修复完成的粗糙图片。
[0018]步骤2中构建的纹理生成器，分为三个模块，分别是编码器，将带有掩码的粗糙恢复图像编码成特征图；恢复解码器，用于细化特征图；以及两个相同结构的细化解码器，用于继续将特征图细化，并将特征图解码回像素。具体来说，在编码器中，先将掩模图片经过卷积层和Relu激活层再经过卷积生成卷积核，用该卷积核对修复的粗糙图像进行卷积，得到特征图传入恢复解码器中。在恢复解码器中，首先经过转置卷积，然后将其与上一层得到的特征图级联，级联之后经过卷积层和激活层，得到细化的特征图，再传入串联的两个相同结构的细化解码器中，最后得到恢复好的图像。在细化解码器中，特征图通过转置卷积层，然后进行归一化处理，最后得到更细化的特征图。
[0019]深度网络将根据学习从缺损图像到修复完整图像对应位置的映射关系，如公式所示：
[0020]x＝F(y,φ)
[0021]其中，y,x分别表示缺损图像，修复后得到的完整图像，φ为修复网络学习到的模
型参数，用于后续进行图像修复。
[0022]更进一步地，步骤2中网络训练的损失函数在结构重构器和纹理生成器中采用不同的方法，在结构重构器中，损失函数主要分为六种，分别是像素重建损失，感知损失、身份损失、潜在相似度损失、掩模内像素重建损失和掩模外像素重建损失，如下所示：
[0023]L
Gs
＝L2+0.8*L
s
‑
prec
+0.1*L
ID
+L
latent
+6*L
s
‑
hole
+L
s
‑
vaild
[002本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于潜在特征重构和掩模感知的人脸图像修复方法，其特征在于，其步骤为：步骤1、获取人脸图像数据集，并将数据集中的图像进行预处理；步骤2、构建一个基于潜在特征重构的结构重构器和掩模感知的纹理生成器用于网络模型训练；步骤3、依据步骤1预处理的数据集和步骤2构建的模型，调整模型参数，进行模型训练；步骤4、将一幅缺损的人脸图像作为网络的输入，利用步骤3学习得到的参数得到一幅完整的人脸图像作为输出。2.根据权利要求1所述的一种基于潜在特征重构和掩模感知的人脸图像修复方法，其特征在于：步骤1中图像进行预处理的过程为：采用计算机生成任意大小和形状的掩码，将所述掩码与训练集中的任一图像按像素相乘，得到破损的图像。3.根据权利要求1或2所述的一种基于潜在特征重构和掩模感知的人脸图像修复方法，其特征在于：步骤2中构建的结构重构器，首先经过3
×
3卷积层、归一化层和PReLU层，再使用50个相同的bottleneck模块，从第6层、第20层和第23层分别提取三个大小不同的特征图，分别记作c1，c2，c3；c2通过1
×
1卷积得到的特征图经过上采样后与c3相加得到p2，p2通过1
×
1卷积得到的特征图经过上采样后与c1相加得到p1；c3通过16个渐变样式模块生成样式特征向量0、样式特征向量1和样式特征向量2，p2通过32个渐变样式模块生成样式特征向量3、样式特征向量4、样式特征向量5和样式特征向量6，p1通过64个渐变样式模块生成样式特征向量7至样式特征向量17；最后，将生成的18个样式特征向量送到StyleGAN中，得到修复完成的粗糙图片。4.根据权利要求3所述的一种基于潜在特征重构和掩模感知的人脸图像修复方法，其特征在于：步骤2中构建的纹理生成器分为三个模块，分别是：纹理编码器，将带有掩码的粗糙恢复图像编码成特征图；恢复解码器，用于细化特征图；以及两个相同结构的细化解码器，用于继续将特征图细化，并将特征图解码回像素。5.根据权利要求4所述的一种基于潜在特征重构和掩模感知的人脸图像修复方法，其特征在于：步骤2中网络训练的损失函数，在结构重构器中分为六种，分别是像素重建损失L2、感知损失L
s
‑
prec
、身份损失L
ID
、潜在相似度损失L
lalent
、掩模内像素重建损失L
s
‑
hole
和掩模外像素重建损失L
s
‑
valid
，如下所示：L
Gs
＝L2+0.8*L
s
‑
prec
+0.1*L
ID
+L
latent
+6*L
s
‑
hole
+L
s
‑
vaild
在纹理生成器中损失函数分为五种，分别是感知损失L
t
‑
prec
、风格损失L
style
、总变异损失L
tv
、掩模内像素重建损失L
t
‑
hole
和掩模外像素重建损失L
t
‑
valid
：L
Gt

【专利技术属性】
技术研发人员：刘恒，张茼茼，陈峰，
申请(专利权)人：安徽工业大学，
类型：发明
国别省市：