基于生成对抗网络的人脸修复方法、装置及存储介质制造方法及图纸

本发明专利技术提供一种基于生成对抗网络的人脸修复方法、装置及存储介质，该方法包括：获取待修复的人脸图像，将待修复的人脸图像输入图像生成器，得到待修复的人脸图像所对应的人脸修复图像，其中，图像生成器用于基于多个不同尺度的特征图分别对应的多个中间隐向量生成目标图像，图像生成器是基于原始样本人脸图像、原始样本人脸图像对应的降质样本人脸图像以及图像判别器训练得到的，图像生成器与图像判别器构成生成对抗网络，图像判别器用于区分图像生成器生成的图像和原始样本人脸图像。通过本发明专利技术提供的基于生成对抗网络的人脸修复方法、装置及存储介质，可以实现修复严重降质人脸图像，得到清晰、细节丰富，自然的高质量人脸图像。图像。图像。

【技术实现步骤摘要】
基于生成对抗网络的人脸修复方法、装置及存储介质


[0001]本专利技术涉及图像处理
，尤其涉及一种基于生成对抗网络的人脸修复方法、装置及存储介质。

技术介绍

[0002]低质量人脸图片，如老照片，由于当时的技术条件限制，本身像素值比较低，随着时间的流逝，容易导致永久性损坏宝贵的照片内容，并且其退化过程十分复杂，目前没有能够真实再现老照片伪影的智能退化模型。因此，从人为生成数据上学习到的模型通常难以在真实照片上很好地进行泛化，这将难以设计统一的自动化算法修复人脸图像。另外，影响人脸图像恢复的因素还有：人脸图像普遍存在光照变化大、姿态多、表情复杂、遮挡严重、年龄变化跨度大等，这些问题都为人脸图像恢复带来困难。在低质量人脸恢复过程中，这些困难导致容易出现复原出过于平滑的人脸图像，或者虽然表观尚可，但与原图人脸不像的问题。
[0003]因此，低质量人脸修复依然是目前业界亟待解决的重要课题。

技术实现思路

[0004]针对现有技术存在的问题，本专利技术提供一种基于生成对抗网络的人脸修复方法、装置及存储介质。
[0005]第一方面，本专利技术提供一种基于生成对抗网络的人脸修复方法，包括：
[0006]获取待修复的人脸图像；
[0007]将所述待修复的人脸图像输入图像生成器，得到所述待修复的人脸图像所对应的人脸修复图像；
[0008]其中，所述图像生成器用于基于多个不同尺度的特征图分别对应的多个中间隐向量生成目标图像；
[0009]所述图像生成器是基于原始样本人脸图像、所述原始样本人脸图像对应的降质样本人脸图像以及图像判别器训练得到的，所述图像生成器与所述图像判别器构成生成对抗网络，所述图像判别器用于区分所述图像生成器生成的图像和所述原始样本人脸图像。
[0010]可选地，所述图像生成器包括编码器模块、映射变换模块和解码器模块；
[0011]所述编码器模块用于对输入图像进行多尺度特征提取，得到多个不同尺度的特征图；
[0012]所述映射变换模块用于分别将每个所述不同尺度的特征图映射变换为相应的中间隐向量；
[0013]所述解码器模块包括与所述多个不同尺度的特征图一一对应的多个子模块，各所述子模块按照各自对应的特征图的尺度从小到大的顺序依次连接；每个所述子模块用于基于各自对应的特征图、所述特征图对应的中间隐向量以及第三输入参数，进行图像输出；
[0014]其中，对于最小尺度的特征图所对应的子模块，所述第三输入参数为常数或傅立
叶特征；
[0015]对于除所述最小尺度的特征图所对应的子模块以外的其他子模块，所述第三输入参数为上一子模块的输出结果。
[0016]可选地，所述对输入图像进行多尺度特征提取，包括：
[0017]基于特征金字塔提取网络，对输入图像进行多尺度特征提取。
[0018]可选地，所述原始样本人脸图像对应的降质样本人脸图像通过以下方式得到：
[0019]对所述原始样本人脸图像进行降质处理，得到所述原始样本人脸图像对应的降质图像；
[0020]获取所述降质图像与所述原始样本人脸图像之间的相似度；
[0021]若所述相似度小于预设阈值，则将所述降质图像作为所述原始样本人脸图像对应的降质样本人脸图像；
[0022]若所述相似度大于预设阈值，则对所述降质图像重复所述进行降质处理的步骤，直到降质处理后得到的图像与所述原始样本人脸图像之间的相似度小于预设阈值，将最后一次降质处理后得到的图像作为所述原始样本人脸图像对应的降质样本人脸图像。
[0023]可选地，所述进行降质处理包括：
[0024]对输入的图像依次进行模糊操作、下采样操作、加噪声操作以及JPEG压缩操作。
[0025]可选地，所述图像生成器基于以下损失函数训练得到：
[0026]L
gen
＝L
gen1
+γL
gen2
[0027]L
gen1
＝L
pl
[0028][0029]其中，L
gen
表示所述图像生成器的总损失；L
pl
表示路径长度损失；表示非饱和损失；L
smoothL1
表示平滑L1损失；L
id
(x)表示降质样本人脸图像x对应的ID损失；γ表示懒惰正则化系数；λ1和λ2均为超参数。
[0030]可选地，所述ID损失根据第一ID损失L
ID_part1
(x)和第二ID损失L
ID_part2
(x)确定，所述第一ID损失L
ID_part1
(x)和所述第二ID损失L
ID_part2
(x)通过以下公式确定：
[0031]L
ID_part1
(x)＝1
‑
<R(y),R(G(x))>
[0032]L
ID_part2
(x)＝max(<R(z),R(G(x))>)
[0033]其中，R表示基于Arcface算法得到的预训练网络；R(y)、R(z)和R(G(x))分别表示输入y、z和G(x)至所述预训练网络得到的输出结果；x表示降质样本人脸图像，y表示与x对应的原始样本人脸图像，z表示除y以外的其他原始样本人脸图像；G(x)表示输入x至所述图像生成器得到的输出图像。
[0034]可选地，所述ID损失通过以下公式确定：
[0035]L
id
(x)＝L
ID_part1
(x)+L
ID_part2
(x)
[0036]其中，L
id
(x)表示降质样本人脸图像x对应的ID损失；L
ID_part1
(x)和L
ID_part2
(x)分别表示降质样本人脸图像x对应的第一ID损失和第二ID损失。
[0037]可选地，所述图像生成器的训练方式包括：
[0038]将所述降质样本人脸图像输入预训练的图像生成器，得到生成的人脸图像；
[0039]固定图像生成器，基于所述生成的人脸图像和所述原始样本人脸图像，优化图像
判别器；
[0040]固定图像判别器，基于所述降质样本人脸图像和所述原始样本人脸图像，优化图像生成器；
[0041]交替重复所述优化图像判别器和所述优化图像生成器的步骤，直至满足预设收敛条件，得到训练好的图像生成器。
[0042]第二方面，本专利技术还提供一种基于生成对抗网络的人脸修复装置，包括：
[0043]获取模块，用于获取待修复的人脸图像；
[0044]修复模块，用于将所述待修复的人脸图像输入图像生成器，得到所述待修复的人脸图像所对应的人脸修复图像；
[0045]其中，所述图像生成器用于基于多个不同尺度的特征图分别对应的多个中间隐向量生本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于生成对抗网络的人脸修复方法，其特征在于，包括：获取待修复的人脸图像；将所述待修复的人脸图像输入图像生成器，得到所述待修复的人脸图像所对应的人脸修复图像；其中，所述图像生成器用于基于多个不同尺度的特征图分别对应的多个中间隐向量生成目标图像；所述图像生成器是基于原始样本人脸图像、所述原始样本人脸图像对应的降质样本人脸图像以及图像判别器训练得到的，所述图像生成器与所述图像判别器构成生成对抗网络，所述图像判别器用于区分所述图像生成器生成的图像和所述原始样本人脸图像。2.根据权利要求1所述的基于生成对抗网络的人脸修复方法，其特征在于，所述图像生成器包括编码器模块、映射变换模块和解码器模块；所述编码器模块用于对输入图像进行多尺度特征提取，得到多个不同尺度的特征图；所述映射变换模块用于分别将每个所述不同尺度的特征图映射变换为相应的中间隐向量；所述解码器模块包括与所述多个不同尺度的特征图一一对应的多个子模块，各所述子模块按照各自对应的特征图的尺度从小到大的顺序依次连接；每个所述子模块用于基于各自对应的特征图、所述特征图对应的中间隐向量以及第三输入参数，进行图像输出；其中，对于最小尺度的特征图所对应的子模块，所述第三输入参数为常数或傅立叶特征；对于除所述最小尺度的特征图所对应的子模块以外的其他子模块，所述第三输入参数为上一子模块的输出结果。3.根据权利要求1所述的基于生成对抗网络的人脸修复方法，其特征在于，所述原始样本人脸图像对应的降质样本人脸图像通过以下方式得到：对所述原始样本人脸图像进行降质处理，得到所述原始样本人脸图像对应的降质图像；获取所述降质图像与所述原始样本人脸图像之间的相似度；若所述相似度小于预设阈值，则将所述降质图像作为所述原始样本人脸图像对应的降质样本人脸图像；若所述相似度大于预设阈值，则对所述降质图像重复所述进行降质处理的步骤，直到降质处理后得到的图像与所述原始样本人脸图像之间的相似度小于预设阈值，将最后一次降质处理后得到的图像作为所述原始样本人脸图像对应的降质样本人脸图像。4.根据权利要求1所述的基于生成对抗网络的人脸修复方法，其特征在于，所述图像生成器基于以下损失函数训练得到：L
gen
＝L
gen1
+γL
gen2
L
gen1
＝L
pl
L
gen2
＝L
Gnonsaturating
+λ1L
smoothL1
+λ2L
id
(x)其中，L
gen
表示所述图像生成器的总损失；L
pl
表示路径长度损失；L
Gnonsaturating
表示非饱和损失；L
smoothL1
表示平滑L1损失；L
id
(x)表示降质样本人脸图像x对应的ID损失；γ表示懒惰正则化系数；λ1和λ2均为超参数。
5.根据权利要求4所述的基于生成对抗网络的人脸修复方法，...

【专利技术属性】
技术研发人员：葛国敬，朱贵波，王金桥，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：