一种基于双路条件归一化的人脸照片-素描画像合成方法技术

本发明专利技术公开了一种基于双路条件归一化的人脸照片

【技术实现步骤摘要】
一种基于双路条件归一化的人脸照片
‑
素描画像合成方法


[0001]本专利技术属于人工智能和图像处理
，具体涉及一种基于双路条件归一化的人脸照片
‑
素描画像合成方法。

技术介绍

[0002]随着计算机视觉领域的迅猛发展，人脸照片
‑
素描画像合成技术逐渐成为了当前的一项研究热点。人脸照片
‑
素描画像合成就是将人脸照片合成为人脸素描画像，或是将人脸素描画像合成为人脸照片的过程。经过这样的转换过程，我们就可以将本处于不同域的照片信息和画像信息转换到同一个域中。并且由于手工绘制人脸素描画像需要专业的画师和大量的时间，根据人脸照片自动合成人脸素描画像的计算机图像处理算法具有很高的应用价值。
[0003]早期的生成方法多为基于样例的方法，且为由照片到素描画像的单向生成。这些方法使用最近邻块匹配的思想，但生成结果往往存在大量的模糊与伪影。Zhang等人在文献“L.Zhang,L.Lin,X.Wu,S.Ding,and L.Zhang,“End
‑
to
‑
end photo
‑
sketch generation via fully convolutional representation learning,”in Proceedings of the 5th ACM on International Conference on Multimedia Retrieval,2015,pp.627/>–
634.”中提出了一种端到端全卷积网络(Fully Convolutional Network，简称FCN)来直接学习人脸照片和素描画像之间的映射；Isola等人在文献“P.Isola,J.
‑
Y.Zhu,T.Zhou,and A.A.Efros,“Image
‑
to
‑
image translation with conditional adversarial networks,”in Proceedings of the IEEE conference on computer vision and pattern recognition,2017,pp.1125
–
1134.”中提出名为pix2pix的通用方法，用于成对数据集上的图像到图像转换；Zhu等人在文献“J.
‑
Y.Zhu,T.Park,P.Isola,and A.A.Efros,“Unpaired image
‑
to
‑
image translation using cycle
‑
consistent adversarial networks,”in Proceedings of the IEEE international conference on computer vision,2017,pp.2223
–
2232.”中开创性地提出了CycleGAN网络框架，可以形成由域A到域B的普适性映射，学习两个域之间如何进行转换，而不是是拘泥于某张具体的图片转换，它可以使用非配对的数据集进行训练，具有较强的适应性；Chen等人在文献“C.Chen,W.Liu,X.Tan,and K.
‑
Y.K.Wong,“Semi
‑
supervised learning for face sketch synthesis in the wild,”in Asian Conference on Computer Vision.Springer,2018,pp.216
–
231.”中提出了一种半监督学习方法，通过构造附加训练照片的伪画像特征来扩展照片
‑
素描画像对；Yu等人在文献“J.Yu,X.Xu,F.Gao,S.Shi,M.Wang,D.Tao,and Q.Huang,“Toward realistic face photo
–
sketch synthesis via composition
‑
aided gans,”IEEE transactions on cybernetics,vol.51,no.9,pp.4350
–
4362,2020.”中提出将面部成分信息作为补充输入，并引入部位损失来集中对特定部位的训练；Nie等人在文献“L.Nie,L.Liu,Z.Wu,and W.Kang,“Unconstrained face sketch synthesis via perception
‑
adaptive network and a new benchmark,”Neurocomputing,vol.494,pp.192
–
202,2022.”中提出了一种在有
约束和无约束条件下基于感知自适应网络的人脸素描合成。
[0004]但是，上述现有方法在训练时没有编码足够的纹理和空间信息，生成图像的视觉质量上都存在着一些缺陷，如存在模糊、伪影、细节刻画上有缺失、生成的画像缺乏素描笔触感等。

技术实现思路

[0005]为了解决现有技术中存在的上述问题，本专利技术提供了一种基于双路条件归一化的人脸照片
‑
素描画像合成方法。本专利技术要解决的技术问题通过以下技术方案实现：
[0006]本专利技术实施例提供了一种基于双路条件归一化的人脸照片
‑
素描画像合成方法，包括：
[0007]获取待合成人脸照片
‑
素描画像对；
[0008]将所述待合成人脸照片
‑
素描画像对输入至训练好的人脸照片
‑
素描画像合成网络得到合成结果；
[0009]其中，所述人脸照片
‑
素描画像合成网络包括编码器、生成器和语义分割模块，所述生成器包括双路归一化模块、门控注意力特征融合模块和解码器；所述训练好的人脸照片
‑
素描画像合成网络通过人脸照片
‑
素描画像对训练集训练得到的；对应训练过程包括：
[0010]所述编码器对所述人脸照片
‑
素描画像对训练集进行编码并输出深度特征；所述语义分割模块提取训练集中素描画像的语义标签；所述双路归一化模块根据所述语义标签和所述深度特征按空间信息支路和纹理信息支路进行加强；所述门控注意力特征融合模块将空间信息支路和纹理信息支路的输出结果进行融合；所述解码器对融合结果进行解码输出所述人脸照片
‑
素描画像对训练集对应的合成结果；根据所述人脸照片
‑
素描画像对训练集及其对应的合成结果构建所述人脸照片
‑
素描画像合成网络的损失函数；根据所述损失函数更新所述人脸照片
‑
素描画像合成网络的参数，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双路条件归一化的人脸照片
‑
素描画像合成方法，其特征在于，包括：获取待合成人脸照片
‑
素描画像对；将所述待合成人脸照片
‑
素描画像对输入至训练好的人脸照片
‑
素描画像合成网络得到合成结果；其中，所述人脸照片
‑
素描画像合成网络包括编码器、生成器和语义分割模块，所述生成器包括双路归一化模块、门控注意力特征融合模块和解码器；所述训练好的人脸照片
‑
素描画像合成网络通过人脸照片
‑
素描画像对训练集训练得到的；对应训练过程包括：所述编码器对所述人脸照片
‑
素描画像对训练集进行编码并输出深度特征；所述语义分割模块提取训练集中素描画像的语义标签；所述双路归一化模块根据所述语义标签和所述深度特征按空间信息支路和纹理信息支路进行加强；所述门控注意力特征融合模块将空间信息支路和纹理信息支路的输出结果进行融合；所述解码器对融合结果进行解码输出所述人脸照片
‑
素描画像对训练集对应的合成结果；根据所述人脸照片
‑
素描画像对训练集及其对应的合成结果构建所述人脸照片
‑
素描画像合成网络的损失函数；根据所述损失函数更新所述人脸照片
‑
素描画像合成网络的参数，继续进行训练直至满足迭代停止条件，得到所述训练好的人脸照片
‑
素描画像合成网络。2.根据权利要求1所述的基于双路条件归一化的人脸照片
‑
素描画像合成方法，其特征在于，所述编码器包括若干依次连接的卷积层；在所述编码器中，将所述编码器最后三个卷积层对应的输出作为深度特征。3.根据权利要求1所述的基于双路条件归一化的人脸照片
‑
素描画像合成方法，其特征在于，所述双路归一化模块包括SPADE Resblock模块和AdaIN Resblock模块，其中，所述SPADE Resblock模块根据训练集中素描画像的语义标签，以及训练集中人脸照片的深度特征进行空间信息加强；所述AdaIN Resblock模块根据训练集中素描画像和人脸照片的深度特征进行纹理信息加强。4.根据权利要求3所述的基于双路条件归一化的人脸照片
‑
素描画像合成方法，其特征在于，所述AdaIN Resblock模块包括若干依次连接的残差AdaIN模块；其中，每一所述残差AdaIN模块包括依次连接的一基础AdaIN模块和一残差模块。5.根据权利要求3所述的基于双路条件归一化的人脸照片
‑
素描画像合成方法，其特征在于，所述SPADE Resblock模块的输出表示为：其中，p表示人脸照片，A
i
表示第i(i＝1,2,3)层深度特征对应的所述SPADE Resblock模块的输出，表示第i(i＝1,2,3)层深度特征中人脸照片p对应的深度特征...

【专利技术属性】
技术研发人员：王楠楠，吴子成，朱明瑞，易云，何潇，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：