一种基于深度学习的肖像图像双下巴去除方法技术

本发明专利技术公开了一种基于深度学习的肖像图像双下巴去除方法，包括以下步骤：随机采样训练得到粗糙双下巴分离边界，经过语义扩散细化得到对应的精细双下巴分离边界；输入需要去除双下巴的肖像图像并进行预处理，得到在StyleGAN2隐空间中对应的隐码；利用训练得到的精细双下巴分离边界对得到的隐码进行编辑，输出一张没有双下巴并且保持其他面部特征不变的新肖像图像；提取出新肖像图像的脖颈区域的掩膜；用图像扭曲方法调整新肖像图像中的偏差，使新肖像图像的脖颈和下巴无缝嵌入到所述需要去除双下巴的肖像图像中，计算得到去除双下巴后的肖像图像。本发明专利技术能够在保持人脸的其他特征不变的情况下进行双下巴的去除，实现快速自动地去除肖像照片中的双下巴。速自动地去除肖像照片中的双下巴。速自动地去除肖像照片中的双下巴。

【技术实现步骤摘要】
一种基于深度学习的肖像图像双下巴去除方法


[0001]本专利技术涉及肖像编辑
，特别是涉及一种基于深度学习的肖像图像双下巴去除方法。

技术介绍

[0002]随着移动网络和摄影技术的飞速发展，以人脸为主要表现形式的肖像图像随处可见。特别是由于社交媒体应用在人类社会生活中占有的地位逐步升高，为了给他人更好的第一印象，使得肖像图像在社交媒体应用中变得非常重要。社交媒体应用的用户经常使用修饰工具来进一步美化他们的肖像图像，通过调整面部颜色形状，纠正阴影、噪声、畸变等问题。
[0003]肖像图像中的双下巴的出现不仅仅取决于下巴和脖颈的特征，也取决于人脸姿态和光照条件。大多数用户认为，消除肖像图像中的双下巴能够改进人脸的吸引力。
[0004]现阶段双下巴技术主要是通过美工利用Photoshop软件进行手动编辑会耗费大量人力物力。
[0005]“Maskgan:Towards diverse and interactive facial image manipulation”(In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition,pages 5549
‑
5558,2020)公开了使用掩膜作为中间表示来交互式编辑人脸，但是在人脸特征保持上并不理想。
[0006]“Interpreting the Latent Space of GANs for Semantic Face Editing”(In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition,pages9243
‑
9252,2020)公开了一种能寻求语义属性在隐空间中对应的分离边界的方法，通过用分离边界编辑隐码，达到语义编辑的目的，但是语义无法被有效地解纠缠。
[0007]“A morphable model for the synthesis of 3D faces.”(InProceedings of the 26th annual conference on Computer graphics and interactive techniques,pages 187
‑
194,1999)公开了三维形变模型(3DMM)，所述三维形变模型能够用参数表示三维人脸，但是没有对脖颈区域的有效建模。
[0008]“A style
‑
based generator architecture for generative adversarial networks.”(InProceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition,pages 4401
‑
4410,2019)和“Analyzing and improving the image quality of stylegan”(InProceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition,pages 8110
‑
8119,2020)公开了StyleGAN，所述StyleGAN是一种在生成非常高质量的图像的同时，构建一个解纠缠的隐空间的生成对抗模型。
[0009]公开号为CN 110956681 A的专利技术公开了一种结合卷积网络和邻域相似性的人像背景自动替换方法，该专利技术首先采用卷积网络进行目标对象分剖，得到人脸前景的初始轮
廓。然后针对分割后的人像边界不光滑问题，采用随机全局采样，扩大采样范围，增加相邻像素的相似性约束，提高透明度的连续性。该专利技术通过卷积网络实现人类图像分剖，提高了复杂背景的人脸背景替换准确率。此外，专利技术采用邻域颜色相似性约束，使人像边界更平滑，提高了人脸背景替换的轮廓质量。解决了现有人像背景替换技术存在分割不准确、分割边界不平滑的问题。
[0010]公开号为CN 111598762 A的专利技术公开了一种生成式鲁棒图像隐写方法，包括：构建图像数据集，并对图像数据集进行预处理；构建并初始化深度学习网络架构；采用联合
‑
精调式方法训练深度学习网络架构，得到网络架构模型；利用网络架构模型生成载密伪图并进行秘密通信，完成图像隐写过程。该专利技术提供的图像隐写方法，通过利用生成对抗网络StyleGAN，将秘密信息的嵌入过程融入到图像的生成过程中，构建一种能承担较大容量秘密信息并具备一定鲁棒性的生成式图像隐写架构，从而得到的生成式图像隐写方法具有嵌入的容量较大、生成的图像质量好、载密图像统计不可检测性强、实用性高等优点，并克服了现有的生成式图像隐写生成的载密图像质量差、嵌入容量低下、信息提取准确率不高等问题。
[0011]因此，在保持人脸的其他特征不变的情况下进行双下巴的去除是个非常有挑战性的问题。人脸的多样性非常丰富，这就要求模型有很好的泛化能力；语义的解纠缠是个非平凡问题，因为要获得标定好的数据集是很困难的；而生成新的下巴和脖颈需要有效的几何信息。

技术实现思路

[0012]本专利技术的目的在于提出一种基于深度学习的肖像图像双下巴去除方法，能够在保持人脸的其他特征不变的情况下进行双下巴的去除，实现快速自动地去除肖像照片中的双下巴。
[0013]一种基于深度学习的肖像图像双下巴去除方法，包括以下步骤：
[0014](1)通过随机采样训练得到粗糙双下巴分离边界，再经过语义扩散细化得到对应的精细双下巴分离边界；所述精细双下巴分离边界用于直接编辑隐码从而消除图像中的双下巴，并保持面部基本不变，所述粗糙双下巴分离边界为编辑隐码后不能保持面部特征的分离边界；
[0015](2)输入需要去除双下巴的肖像图像并进行预处理，得到在StyleGAN2隐空间中对应的隐码；
[0016](3)利用步骤(1)中训练得到的精细双下巴分离边界对步骤(2)中得到的隐码进行编辑，得到一张没有双下巴并且保持其他面部特征不变的新肖像图像；
[0017](4)提取出步骤(2)中输入的需要去除双下巴的肖像图像的脖颈区域的掩膜；
[0018](5)用图像扭曲方法调整新肖像图像中的偏差，使新肖像图像的脖颈和下巴无缝嵌入到所述需要去除双下巴的肖像图像中，利用步骤(4)得到的掩膜计算得到去除双下巴后的肖像图像。
[0019]所述步骤(1)中，训练一个精细双下巴分离边界的具体步骤如下：
[0020](1
‑
1)随机采样得到N
w
个隐码将其输入到StyleGAN2的生成器中得到对应的随机采样肖像图像，训练一个双下巴分类器对所述随机采样肖像图像进行评分，
根据式(I)本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的肖像图像双下巴去除方法，其特征在于，包括以下步骤：(1)通过随机采样训练得到粗糙双下巴分离边界，再经过语义扩散细化得到对应的精细双下巴分离边界；所述精细双下巴分离边界用于直接编辑隐码从而消除图像中的双下巴，并保持面部基本不变，所述粗糙双下巴分离边界为编辑隐码后不能保持面部特征的分离边界；(2)输入需要去除双下巴的肖像图像并进行预处理，得到在StyleGAN2隐空间中对应的隐码；(3)利用步骤(1)中训练得到的精细双下巴分离边界对步骤(2)中得到的隐码进行编辑，得到一张没有双下巴并且保持其他面部特征不变的新肖像图像；(4)提取出步骤(2)中输入的需要去除双下巴的肖像图像的脖颈区域的掩膜；(5)用图像扭曲方法调整新肖像图像中的偏差，使新肖像图像的脖颈和下巴无缝嵌入到所述需要去除双下巴的肖像图像中，利用步骤(4)得到的掩膜计算得到去除双下巴后的肖像图像。2.如权利要求1所述的基于深度学习的肖像图像双下巴去除方法，其特征在于，所述步骤(1)中，训练一个精细双下巴分离边界的具体步骤如下：(1
‑
1)随机采样得到N
w
个隐码将其输入到StyleGAN2的生成器中得到对应的随机采样肖像图像，训练一个双下巴分类器对所述随机采样肖像图像进行评分，根据式(I)得到隐码对应的分数：s＝C(g(T(w，ψ)))
ꢀꢀꢀꢀꢀ
(I)其中，s为双下巴分数，C为双下巴分类器，g为StyleGAN2的生成器，g(T(w，ψ))为生成器输出的肖像图像，T为StyleGAN2中的截断技巧和堆栈操作，T将映射为N
layer
＝(log2(Resolution)
‑
1)
×
2，Resolution为输入图像的分辨率，ψ为截断技巧中的超参数，其缩放给定的w到中心的偏差；则对应的隐码
‑
分数数据集为：(1
‑
2)基于所述的隐码
‑
分数数据集(W，S)，采用支持向量机训练输出一个粗糙双下巴分离边界b
c
的法向量n
c
；(1
‑
3)采用粗糙双下巴分离边界编辑隐码w
d
，所述w
d
为隐码w中对应的有双下巴的肖像图像的隐码，根据式(III)合成一个没有双下巴的中间肖像图像图像的隐码，根据式(III)合成一个没有双下巴的中间肖像图像其中，α为控制n
c
权重的超参数，σ为风格混合操作；所述风格混合操作σ(A，B)将的后N
style
层替换为层替换为的后N
style
层，A和B的后N
style
层分别为A和B的风格特征，通过替换操作，在不改变肖像图像结构的情况下进行风格迁移；(1
‑
4)提取w
d
对应的原始肖像图像x
d
＝g(T(w
d
，ψ))的脖颈区域的掩膜m
neck
；(1
‑
5)基于原始肖像图像x
d
和中间肖像图像计算输出先验信息计算输出先验信息
其中，
⊙
表示元素级别的乘法；(1
‑
6)利用截断技巧和堆栈操作，将所述映射为(1
‑
7)将所述先验信息的语义扩散入中，得到不具有双下巴的肖像图像及其对应的隐码(1
‑
8)基于成对的具有双下巴和不具有双下巴的隐码和得到对应的隐码
‑
分数数据集：采用支持向量机对(W+，S)
′
训练输出一个精细双下巴分离边界b
f
的法向量n
f
。3.如权利要求2所述的基于深度学习的肖像图像双下巴去除方法，其特征在于，所述步骤(1
‑
1)中，训练一个双下巴分类器对肖像图像进行评分的具体步骤如下：(1
‑1‑
1)标定N
img0
张不含有双下巴的肖像图像和N
img1
张含有双下巴的图像得到如式(VI)所示的分类器训练数据集：(X，S)＝{(x，0)|x∈X0}∪{(x，1)|x∈X1}
ꢀꢀꢀꢀꢀꢀ
(VI)；(1
‑1‑
2)对(X，S)中的各个肖像图像生成一个能覆盖脖颈部分的矩形掩膜m
C
，将m
C
对应的区域作为输入，训练双下巴分类器C，所述双下巴分类器C采用ResNeXt
‑
50(32x4d)结构，将含有双下巴的肖...

【专利技术属性】
技术研发人员：吴奕谦，金小刚，
申请(专利权)人：浙江大学，
类型：发明
国别省市：