一种无监督学习人脸漫画生成方法技术

本发明专利技术公开了一种无监督学习人脸漫画生成方法，包括如下步骤：

【技术实现步骤摘要】
一种无监督学习人脸漫画生成方法


[0001]本专利技术涉及图像处理
，具体指一种无监督学习人脸漫画生成方法，主要涉及使用无监督学习的方法将跨域图像进行翻译生成，通过对比学习，风格损失约束，提取语义分割图的身份约束及多尺度判别器进一步调制生成效果，从而实现较好的非配对跨域人脸漫画生成效果
。

技术介绍

[0002]无监督学习图像翻译指从源域和目标域之间不借助直接约束来学习一种关联映射
。
它在广泛的领域取得了成功，例如图像风格迁移
、
图像修复
、
人脸画像合成
、
图像超分辨率重建
、
语义分割以及数据增强等
。
这些应用都可以运用到数字娱乐和公共安全领域中
。
[0003]传统的图像到图像的翻译任务都是使用的数字图像处理和信号加工的方法，如笔触渲染
、
图像类比
、
图像滤波
、
纹理合成等，但是这些模型普遍需要大量的人工调参以及具有对于图像的深层语义信息表达能力弱的问题
。
自从神经网络图像翻译技术提出后，通过卷积
、
激活函数和非线性层等来实现方法
。
目前绝大多数图像翻译模型都是采用严格一一配对的训练数据集，来加强神经网络对仿射变换的学习，取得了不错的效果
。
[0004]在现实场景中，绝大多数数据集都不是配对标注的，用户更想通过一个模型来学习多个映射关系时很困难的，在短视频火热的时代，人脸映射成漫画更为火热，无监督人脸漫画生成因此受到了广泛的关注，它允许用户生成想要的漫画风格图像
。
然而，在产生漫画风格的同时，生成的质量却非不足道，而且需要较大数据规模和更丰富的资源
。
从而让该任务变得更加富有挑战性
。
实际上，卷积神经网络在跨域漫画生成过程中会遇到如下的几个挑战：
[0005]数据量大，制作数据集需要耗费大量的人力资源，以前的神经网络需要大数据集才能达到较好的效果；
[0006]身份约束性差，生成的漫画结果往往丢失原有人脸的身份信息，不能保真
。
[0007]泛化性差，大多数跨域图像翻译方法，往往只能在数据集内表现良好，迁移到外部人脸效果不佳难以应用；

技术实现思路

[0008]本专利技术针对现有技术的不足，提出一种无监督学习人脸漫画生成方法，使用无监督学习的方法将人脸画像通过神经网络翻译生成漫画人脸，通过对比学习约束，身份约束，风格约束等多种约束下生成高质量保真的漫画人脸
。
[0009]为了解决上述技术问题，本专利技术的技术方案为：
[0010]一种无监督学习人脸漫画生成方法，包括如下步骤：
[0011]S1、
对网络采集的漫画图像
B
进行预处理，提取出漫画人脸
B
′
，并和人脸图像
A
构建伪配对数据集；构建一个映射生成器
G
可以将人脸图像
A
域映射到漫画人脸
B
′
域，即喂入人脸图像
A
被生成器
G
翻译生成人脸漫画
B
fake
；
[0012]S2、
对内容向量
a
和风格向量
b
通过对比学习策略进行语义裁块配对；
[0013]S3、
将人脸漫画
B
fake
和漫画图像
B
输入
CLIP
编码网络分别提取生成风格向量
b
′
和原风格向量
b
，将
b
′
与风格向量
b
通过曼哈顿距离进行风格约束；
[0014]S4、
采用语义分割编码网络
ES
分别提取人脸漫画
B
fake
和人脸图像
A
的人脸分割向量，采用交叉熵损失来约束身份信息使人脸漫画
B
fake
和人脸图像
A
身份一致，并输出人脸漫画生成结果
。
[0015]作为优选，所述步骤
S1
中预处理方法为：通过
YOLO
检测漫画图像
B
的头部区域进行分割和人脸图像
A
构建伪配对数据集，然后采用图像处理方法进行漫画人脸矫正，将人脸图像
A
中的人脸和漫画人脸
B
′
随机匹配构建数据集，并用数据增强方法对构建的数据集进行裁剪
、
翻转
。
[0016]作为优选，所述步骤
S1
中，针对跨域人脸漫画生成的挑战，采用潜在向量映射对齐的策略，设计了一个独立的生成器，其由特征编码网络
E
和解码网络组成
。
所述编码网络
E
由5层
ResBlock
和下采样构成，解码网络由5层
ResBlock
和上采样构成
。
[0017]作为优选，所述步骤
S1
中生成人脸漫画
B
fake
的方法为：
[0018]将人脸图像
A
输入生成器
G
中翻译生成人脸漫画
B
fake
，其中生成器
G
由编码网络
E
和解码网络构成
。
[0019]B
fake
＝
f(A)
[0020]作为优选，所述内容向量
C
a
和内容向量
C
b
′
具有相同特征维度
。
[0021]作为优选，所述步骤
S2
对
S1
步骤中提取的内容向量
C
a
和内容向量
C
b
′
，随机裁剪小块，相同配对的位置为正样本，随机匹配错误的位置为负样本，原人脸图像内容向量
C
a
为锚点，推近锚点和对应生成人脸漫画的内容向量
C
b
′
在空间分布一致，远离不一致位置的内容向量
C
b
′
。
样特征编码网络
E
更专注二者域之间的共性，忽略差异以提升映射质量，的具体方法为：
[0022]C
a
＝
E(A)
；
[0023]C
b
′
＝
E(B
′
)
[0024][0025]其中
z
为
C
a
裁本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种无监督学习人脸漫画生成方法，其特征在于，包括如下步骤：
S1、
对网络采集的漫画图像
B
进行预处理，提取出人脸漫画
B
′
，并和人脸图像
A
构建伪配对数据集；构建一个生成器
G
可以将人脸图像
A
域映射到人脸漫画
B
′
域，通过生成器
G
将人脸图像
A
翻译生成人脸漫画
B
fake
，所述生成器
G
包括编码网络
E
和解码网络；
S2、
对人脸图像
A
和人脸漫画
B
fake
通过编码网络
E
进行特征提取，分别得到内容向量
C
a
和内容向量
C
b
′
，通过对比学习策略进行内容向量裁块；
S3、
将人脸漫画
B
fake
和人脸漫画
B
′
输入
CLIP
编码网络分别提取生成风格向量
b
′
和原风格向量
b
，将
b
′
与风格向量
b
通过曼哈顿距离进行风格约束；
S4、
采用语义分割编码网络
ES
分别提取人脸漫画
B
fake
和人脸图像
A
的人脸分割向量，采用交叉熵损失来约束身份信息使人脸漫画
B
fake
和人脸图像
A
身份一致
。2.
根据权利要求1所述的一种无监督学习人脸漫画生成方法，其特征在于，所述步骤
S1
中预处理方法为：通过
YOLO
检测漫画图像
B
的头部区域和人脸图像
A
构建伪配对数据集，然后采用图像处理方法进行漫画人脸矫正，将人脸图像
A
中的人脸和漫画人脸
B
′
随机匹配构建数据集，并用数据增强方法对构建的数据集进行裁剪
、
翻转
。3.
根据权利要求1所述的一种无监督学习人脸漫画生成方法，其特征在于，所述编码网络
E
由5层
ResBlock
和下采样构成，解码网络由5层
ResBlock
和上采样构成
。4.
根据权利要求3所述的一种无监督学习人脸漫画生成方法，其特征在于，所述步骤
S1
中生成人脸漫画
B
fake
的方法为：将人脸图像
A
输入生成器
G
中通过卷积神经网络拟合成人脸漫画
B
fake
，
B
fake
＝
f(A)。5.
根据权利要求2所述的一种无监督学习人脸漫画生成方法，其特征在于，所述内容向量
C
a
和内容向量
C
b
′
具有相同特征维度
。6....

【专利技术属性】
技术研发人员：杜梅，舒睿骐，杨霏凡，许金兰，高飞，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：