一种妆容迁移的控制方法、系统和存储介质技术方案

本发明专利技术公开了一种妆容迁移的控制方法、系统和存储介质，可应用于深度学习技术领域。本发明专利技术方法通过特征编码网络对无妆容图像和两张有妆容图像进行部位特征编码，并对得到的若干个部位特征向量进行拼接，得到第一拼接特征向量和第二拼接特征向量，然后将第一拼接特征向量和无妆容图像输入生成器，得到第一生成图像，同时通过第一局部判别器判断第一生成图像的真假信息，紧接着将第一生成图像和第二拼接特征向量输入生成器，得到第二生成图像，并通过第二局部判别器判断第二生成图像的真假信息，最后在真假信息符合预设要求，确定完成妆容迁移。本实施例通过特征编码网络来编码得到部位特征向量，以提高眼妆迁移过程的完整度的效果。效果。效果。

【技术实现步骤摘要】
一种妆容迁移的控制方法、系统和存储介质


[0001]本专利技术涉及深度学习
，尤其是一种妆容迁移的控制方法、系统和存储介质。

技术介绍

[0002]化妆是一种艺术形式，它能提升个人的魅力和颜值。如今，不管是工作还是出门约会，化妆都是人们社交日常必不可少的部分，自动化妆和妆容美化的应用范围也越来越广泛，逐渐深入到了每个拍照，直播，甚至购物等软件中。妆容迁移技术可以在你没有化妆的情况下，将一张人像的妆容迁移到你的照片上，让你知道每种妆容上脸的外观，就可以高效的找出适合自己的妆容。目前的妆容迁移方式，难以确保眼妆迁移过程中的完整性。

技术实现思路

[0003]本专利技术旨在至少解决现有技术中存在的技术问题之一。为此，本专利技术提出一种妆容迁移的控制方法、系统和存储介质，能够提高眼妆迁移过程的完整度。
[0004]第一方面，本专利技术实施例提供了一种妆容迁移的控制方法，包括以下步骤：
[0005]获取无妆容图像、第一有妆容参考图像和第二有妆容参考图像；
[0006]将所述无妆容图像、所述第一有妆容参考图像和所述第二有妆容参考图像输入特征编码网络，得到若干个部位特征向量；
[0007]对所述若干个部位特征向量进行拼接，得到第一拼接特征向量和第二拼接特征向量；
[0008]将所述第一拼接特征向量和所述无妆容图像输入生成器，得到第一生成图像，并通过第一局部判别器判断所述第一生成图像的真假信息以及所述第一生成图像是否满足所述第一拼接特征向量的条件；
[0009]将所述第一生成图像和所述第二拼接特征向量输入生成器，得到第二生成图像，并通过第二局部判别器判断所述第二生成图像的真假信息以及所述第二生成图像是否满足所述第二拼接特征向量的条件；
[0010]当所述真假信息符合预设要求、所述第一生成图像满足所述第一拼接特征向量的条件且所述第二生成图像满足所述第二拼接特征向量的条件，确定完成妆容迁移。
[0011]本专利技术实施例提供的一种妆容迁移的控制方法，具有如下有益效果：
[0012]本实施例通过特征编码网络对无妆容图像和两张有妆容图像进行部位特征编码，得到若干个部位特征向量，并对若干个部位特征向量进行拼接，得到第一拼接特征向量和第二拼接特征向量，然后将第一拼接特征向量和无妆容图像输入生成器，得到第一生成图像，同时通过第一局部判别器判断第一生成图像的真假信息以及第一生成图像是否满足第一拼接特征向量的条件，紧接着将第一生成图像和第二拼接特征向量输入生成器，得到第二生成图像，同时通过第二局部判别器判断第二生成图像的真假信息以及第二生成图像是否满足第二拼接特征向量的条件，并在真假信息符合预设要求、第一生成图像满足第一拼
接特征向量的条件且第二生成图像满足第二拼接特征向量的条件后，确定完成妆容迁移。本实施例通过特征编码网络来编码得到部位特征向量，并通过多个局部判别器将注意力集中在感兴趣区域，从而实现迁移多张有妆图拼接而成的妆容到一张无状图像上，并达到提高眼妆迁移过程的完整度的效果。
[0013]可选地，所述局部判别器包括六个卷积层、谱归一化层和ReLU层，所述第一局部判别器和第二局部判别器的处理过程包括以下步骤：
[0014]接收有妆容图像裁剪图、无妆容图像裁剪图和生成图像裁剪图；
[0015]对所述无妆容图像裁剪图和所述生成图像裁剪图沿着颜色通道连接，得到消极对图像；
[0016]对所述有妆容图像裁剪图和所述生成图像裁剪图沿着颜色通道连接，得到积极对图像；
[0017]根据所述消极对图像和所述积极对图像对局部判别器进行对抗性性学习。
[0018]可选地，在执行所述将所述第一拼接特征向量和所述无妆容图像输入生成器，得到第一生成图像这一步骤时，计算所述第一拼接特征向量和所述无妆容图像的身份感知损失，所述身份感知损失计算公式如下：
[0019][0020]其中，L
per
表示身份感知损失，C
l
表示生成器网络的第l层的特征图通道数，H
l
表示生成器网络的第l层的特征图高度，W
l
表示生成器网络的第l层的特征图宽度，E
l
表示特征的欧式距离。
[0021]可选地，在执行所述将所述第一拼接特征向量和所述无妆容图像输入生成器，得到第一生成图像这一步骤时，通过语义分割网络对所述第一拼接特征向量、所述第一有妆容参考图像和所述第二有妆容参考图像进行语义分割，得到组合掩膜图像。
[0022]可选地，所述方法还包括以下步骤：
[0023]计算所述组合掩膜图像的妆容损失，所述妆容损失计算公式如下：
[0024]L
makeup
＝λ
l
L
lips
+λ
s
L
shadow
+λ
f
L
face
[0025]其中，L
makeup
表示妆容损失，λ
l
表示嘴部的损失权重，λ
s
表示眼部的损失权重，λ
f
表示脸部的损失权重，L
lips
表示嘴部的妆容损失，L
shadow
表示眼部的妆容损失，L
face
表示脸部的妆容损失。
[0026]可选地，在执行所述将所述第一生成图像和所述第二拼接特征向量输入生成器，得到第二生成图像，计算所述第二生成图像和所述无妆容图像的循环一致性损失，所述循环一致性损失通过以下公式计算：
[0027]L
cyc
＝E
x,L1,L2
[||x
‑
G(G(x,L1),L2)||1][0028]其中，L
cyc
表示循环一致性损失，E表示特征编码网络，G表示生成器，L1表示第一拼接特征向量，L2表示第二拼接特征向量，x表示无妆容图像。
[0029]可选地，六个所述卷积层均为3*3卷积层；所述谱归一化层用于将所述卷积层的信息处理成2*2*1的特征向量；所述ReLU层通过sigmoid模块对特征向量进行计算后求均值，输出单标量值。
[0030]第二方面，本专利技术实施例提供了一种妆容迁移的控制系统，包括：
[0031]获取模块，用于获取无妆容图像、第一有妆容参考图像和第二有妆容参考图像；
[0032]获取模块，用于将所述无妆容图像、所述第一有妆容参考图像和所述第二有妆容参考图像输入特征编码网络，得到若干个部位特征向量；
[0033]拼接模块，用于对所述若干个部位特征向量进行拼接，得到第一拼接特征向量和第二拼接特征向量；
[0034]第一输入模块，用于将所述第一拼接特征向量和所述无妆容图像输入生成器，得到第一生成图像，并通过第一局部判别器判断所述第一生成图像的真假信息以及所述第一生成图像是否满足所述第一拼接特征向量的条件；
[0035]第二输入模块，用于将所述第一生本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种妆容迁移的控制方法，其特征在于，包括以下步骤：获取无妆容图像、第一有妆容参考图像和第二有妆容参考图像；将所述无妆容图像、所述第一有妆容参考图像和所述第二有妆容参考图像输入特征编码网络，得到若干个部位特征向量；对所述若干个部位特征向量进行拼接，得到第一拼接特征向量和第二拼接特征向量；将所述第一拼接特征向量和所述无妆容图像输入生成器，得到第一生成图像，并通过第一局部判别器判断所述第一生成图像的真假信息以及所述第一生成图像是否满足所述第一拼接特征向量的条件；将所述第一生成图像和所述第二拼接特征向量输入生成器，得到第二生成图像，并通过第二局部判别器判断所述第二生成图像的真假信息以及所述第二生成图像是否满足所述第二拼接特征向量的条件；当所述真假信息符合预设要求、所述第一生成图像满足所述第一拼接特征向量的条件且所述第二生成图像满足所述第二拼接特征向量的条件，确定完成妆容迁移。2.根据权利要求1所述的一种妆容迁移的控制方法，其特征在于，所述局部判别器包括六个卷积层、谱归一化层和ReLU层，所述第一局部判别器和第二局部判别器的处理过程包括以下步骤：接收有妆容图像裁剪图、无妆容图像裁剪图和生成图像裁剪图；对所述无妆容图像裁剪图和所述生成图像裁剪图沿着颜色通道连接，得到消极对图像；对所述有妆容图像裁剪图和所述生成图像裁剪图沿着颜色通道连接，得到积极对图像；根据所述消极对图像和所述积极对图像对局部判别器进行对抗性性学习。3.根据权利要求1所述的一种妆容迁移的控制方法，其特征在于，在执行所述将所述第一拼接特征向量和所述无妆容图像输入生成器，得到第一生成图像这一步骤时，计算所述第一拼接特征向量和所述无妆容图像的身份感知损失，所述身份感知损失计算公式如下：其中，L
per
表示身份感知损失，C
l
表示生成器网络的第l层的特征图通道数，H
l
表示生成器网络的第l层的特征图高度，W
l
表示生成器网络的第l层的特征图宽度，E
l
表示特征的欧式距离。4.根据权利要求1所述的一种妆容迁移的控制方法，其特征在于，在执行所述将所述第一拼接特征向量和所述无妆容图像输入生成器，得到第一生成图像这一步骤时，通过语义分割网络对所述第一拼接特征向量、所述第一有妆容参考图像和所述第二有妆容参考图像进行语义分割，得到组合掩膜图像。5.根据权利要求4所述的一种妆容迁移的控制方法，其特征在于，所述方法还包括以下步骤：计算所述组合掩膜图像的妆容损失，所述妆容损失计算公式如下：L
makeup
＝λ
l
L
lips
+λ
s
L
shadow
+λ
f
L
face
其中...

【专利技术属性】
技术研发人员：穆丽伟，朱金乘，
申请(专利权)人：华南师范大学，
类型：发明
国别省市：