一种图像风格化方法、系统及装置制造方法及图纸

本申请公开了一种图像风格化方法、系统及装置，涉及虚拟社交领域。该方案中，获取待风格化图像，根据预设风格化需求将待风格化图像划分为至少两个图像区域；对待风格化图像的各图像区域分别进行不同程度的风格化处理，得到对应的初始风格化图像；根据各初始风格化图像得到目标风格化图像。可见，本申请中通过将待风格化图像划分为至少两个图像区域，以达到对不同图像区域区分对待的目的，这样一来，在风格化过程中，可以对一部分图像区域进行较大的形变，对另一部分图像区域进行较小的形变，能够解决当前移动端风格化模型对待风格化图像中所有区域均一视同仁的问题，从而在计算资源有限的移动端设备上获得更好的风格化效果。限的移动端设备上获得更好的风格化效果。限的移动端设备上获得更好的风格化效果。

【技术实现步骤摘要】
一种图像风格化方法、系统及装置


[0001]本申请涉及虚拟社交领域，特别涉及一种图像风格化方法、系统及装置。

技术介绍

[0002]目前的技术方案通常是使用少量风格化数据来微调真实人脸stylegan模型以得到风格化人脸stylegan模型，然后使用这两个模型来生成大量的真实人脸
‑
风格化人脸数据对，将此数据对作为训练数据来训练一个轻量的移动端人脸风格化模型，以便于根据真是人脸和移动端人脸风格化模型得到风格化人脸。
[0003]在人脸风格化过程中，发生较大形变的地方主要集中在面部区域，而背景区域则期望尽量保持不变。现有的移动端风格化模型在学习真实人脸到风格化人脸的映射时，把背景和面部区域一视同仁，导致了学习难度的增加，在移动端计算资源有限时，难以达到良好的风格化效果。

技术实现思路

[0004]本申请的目的是提供一种图像风格化方法、系统及装置，通过将待风格化图像划分为至少两个图像区域，以达到对不同图像区域区分对待的目的，这样一来，在风格化过程中，可以对一部分图像区域进行较大的形变，对另一部分图像区域进行较小的形变，能够解决当前移动端风格化模型对待风格化图像中所有区域均一视同仁的问题，从而在计算资源有限的移动端设备上获得更好的风格化效果。
[0005]为解决上述技术问题，第一方面本申请提供了一种图像风格化方法，包括：
[0006]获取待风格化图像，根据预设风格化需求将所述待风格化图像划分为至少两个图像区域；
[0007]对所述待风格化图像的各图像区域分别进行不同程度的风格化处理，得到对应的初始风格化图像；
[0008]根据各所述初始风格化图像得到目标风格化图像。
[0009]在一种实施例中，对所述待风格化图像的各图像区域分别进行不同程度的风格化处理，得到对应的初始风格化图像；根据各所述初始风格化图像得到目标风格化图像，包括：
[0010]将所述待风格化图像输入至预设风格化模型，得到中间风格化图像和对应的掩膜；
[0011]根据所述中间风格化图像和所述掩膜得到所述目标风格化图像。
[0012]在一种实施例中，根据所述中间风格化图像和所述掩膜得到所述目标风格化图像，包括：
[0013]根据所述中间风格化图像、所述掩膜和第一公式得到所述目标风格化图像；
[0014]所述第一公式为：y＝x*mask+y_tmp*(1
‑
mask)；
[0015]其中，y为所述目标风格化图像，x为所述待风格化图像，mask为所述掩膜，y_tmp为
所述中间风格化图像。
[0016]在一种实施例中，根据各所述初始风格化图像得到目标风格化图像之后，还包括：
[0017]将所述待风格化图像、所述目标风格化图像和与所述待风格化图像对应的真值风格化图像输入至判别模型中，以训练所述判别模型；
[0018]所述判别模型为用于区分待风格化图像和生成的目标风格化图像的模型。
[0019]在一种实施例中，将所述待风格化图像、所述目标风格化图像和与所述待风格化图像对应的真值风格化图像输入至判别模型中，以训练所述判别模型，包括：
[0020]根据所述待风格化图像、所述目标风格化图像和与所述待风格化图像对应的真值风格化图像得到所述判别模型对应的第一对抗损失函数；
[0021]根据所述第一对抗损失函数对所述判别模型进行优化训练；
[0022]所述第一对抗损失函数为：L
D_adv
＝log(D(x,y_gt))+log(1
‑
D(y,x))；
[0023]其中，L
D_adv
为第一对抗损失函数，x为所述待风格化图像，y_gt为与所述待风格化图像对应的真值风格化图像，y为所述目标风格化图像，D为所述判别模型。
[0024]在一种实施例中，根据各所述初始风格化图像得到目标风格化图像之后，还包括：
[0025]将所述待风格化图像和所述目标风格化图像输入至判别模型中，得到判别结果；
[0026]根据所述判别结果计算第二对抗损失函数，并根据所述对抗损失函数对所述预设风格化模型进行优化；
[0027]所述第二对抗损失函数为：L
G_adv
＝
‑
logD(y,x)；
[0028]其中，L
G_adv
为第二对抗损失函数，D为所述判别模型，y为所述目标风格化图像，x为所述待风格化图像。
[0029]在一种实施例中，根据各所述初始风格化图像得到目标风格化图像之后，还包括：
[0030]根据所述目标风格化图像与所述待风格化图像对应的真值风格化图像利用第二公式得到像素损失函数，以根据所述像素损失函数对所述预设风格化模型进行优化；
[0031]所述第二公式为：
[0032]其中，L
G_pixel
为像素损失函数，y为所述目标风格化图像，y_gt为与所述待风格化图像对应的真值风格化图像。
[0033]在一种实施例中，根据各所述初始风格化图像得到目标风格化图像之后，还包括：
[0034]根据所述目标风格化图像与所述待风格化图像对应的真值风格化图像利用第三公式得到视觉损失函数，以根据所述视觉损失函数对所述预设风格化模型进行优化；
[0035]所述第三公式为：
[0036]其中，L
G_perceptual
为视觉损失函数，VGG表示预设的图像特征神经网络，j表示第j层特征，C
j
为第j层特征对应的通道数，H
j
为第j层特征的高，W
j
为第j层特征的宽，y为所述目标风格化图像，y_gt为与所述待风格化图像对应的真值风格化图像。
[0037]第二方面，本申请还提供了一种图像风格化系统，包括：
[0038]区域划分单元，用于获取待风格化图像，根据预设风格化需求将所述待风格化图像划分为至少两个图像区域；
[0039]风格化处理单元，用于对所述待风格化图像的各图像区域分别进行不同程度的风
格化处理，得到对应的初始风格化图像；
[0040]目标风格化图像生成单元，用于根据各所述初始风格化图像得到目标风格化图像。
[0041]第三方面，本申请还提供了一种图像风格化装置，包括：
[0042]存储器，用于存储计算机程序；
[0043]处理器，用于在存储计算机程序时，实现如上述所述的图像风格化方法的步骤。
[0044]本申请提供了一种图像风格化方法、系统及装置，涉及虚拟社交领域。该方案中，获取待风格化图像，根据预设风格化需求将待风格化图像划分为至少两个图像区域；对待风格化图像的各图像区域分别进行不同程度的风格化处理，得到对应的初始风格化图像；根据各初始风格化图像得到目标风格化图像。可见，本申请中通过将待风格化图像划分为至少两个图像区域，以达到对不同图像区域区分对待的目的，这样本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像风格化方法，其特征在于，包括：获取待风格化图像，根据预设风格化需求将所述待风格化图像划分为至少两个图像区域；对所述待风格化图像的各图像区域分别进行不同程度的风格化处理，得到对应的初始风格化图像；根据各所述初始风格化图像得到目标风格化图像。2.如权利要求1所述的图像风格化方法，其特征在于，对所述待风格化图像的各图像区域分别进行不同程度的风格化处理，得到对应的初始风格化图像；根据各所述初始风格化图像得到目标风格化图像，包括：将所述待风格化图像输入至预设风格化模型，得到中间风格化图像和对应的掩膜；根据所述中间风格化图像和所述掩膜得到所述目标风格化图像。3.如权利要求2所述的图像风格化方法，其特征在于，根据所述中间风格化图像和所述掩膜得到所述目标风格化图像，包括：根据所述中间风格化图像、所述掩膜和第一公式得到所述目标风格化图像；所述第一公式为：y＝x*mask+y_tmp*(1
‑
mask)；其中，y为所述目标风格化图像，x为所述待风格化图像，mask为所述掩膜，y_tmp为所述中间风格化图像。4.如权利要求1所述的图像风格化方法，其特征在于，根据各所述初始风格化图像得到目标风格化图像之后，还包括：将所述待风格化图像、所述目标风格化图像和与所述待风格化图像对应的真值风格化图像输入至判别模型中，以训练所述判别模型；所述判别模型为用于区分待风格化图像和生成的目标风格化图像的模型。5.如权利要求4所述的图像风格化方法，其特征在于，将所述待风格化图像、所述目标风格化图像和与所述待风格化图像对应的真值风格化图像输入至判别模型中，以训练所述判别模型，包括：根据所述待风格化图像、所述目标风格化图像和与所述待风格化图像对应的真值风格化图像得到所述判别模型对应的第一对抗损失函数；根据所述第一对抗损失函数对所述判别模型进行优化训练；所述第一对抗损失函数为：L
D_adv
＝log(D(x,y_gt))+log(1
‑
D(y,x))；其中，L
D_adv
为第一对抗损失函数，x为所述待风格化图像，y_gt为与所述待风格化图像对应的真值风格化图像，y为所述目标风格化图像，D为所述判别模型。6.如权利要求2
‑
5任一项所述的图像风格化方法，其特征在于，根据各所述初始风格化图像得到目标风格化图像之后，还包括...

【专利技术属性】
技术研发人员：刘思远，甘启，章子维，张璐，陶明，
申请(专利权)人：上海任意门科技有限公司，
类型：发明
国别省市：