【技术实现步骤摘要】
本专利技术属于图像处理、计算机视觉以及图像转换领域，具体涉及到一种基于生成对抗网络的敦煌壁画艺术风格迁移方法及系统。
技术介绍
1、作为一种绘制在墙壁上的视觉绘画艺术，敦煌壁画是中国伟大的文化艺术瑰宝之一，也是世界艺术的最大宝库，其以悠久的历史、丰富而深刻的绘画内容以及极高的美术价值而闻名于世。然而，由于敦煌壁画存在形式的特殊性以及绘制过程的高难度等因素，其无法像其它艺术如油画、水墨画等在人们的生活中流行起来。另外，随着时间的推移，由于各种自然和人为因素引起壁画的脱落、颜色退变等损伤，敦煌壁画正面临着灭绝的威胁。对此，实现敦煌壁画艺术风格的自动创作对于保护、传承和发扬这类艺术是非常重要的。
2、近年来，以gatys为首提出的基于cnn的风格迁移技术，能够将一张图像的风格迁移为参考图像的风格，这使得实现敦煌壁画艺术风格的自动创作成为了可能。然而，这种技术的风格生成效果严重依赖于参考的风格图像，而且仅凭一张参考的风格图像是难以完整表达一类艺术的风格。以cyclegan(出自论文《unpaired image-to-image translationusing cycle-consistent adversarial networks》)为代表提出的基于生成对抗网络(generation adversarial networks，gan)的图像转换技术能够较好的克服这一问题，它能够实现两个域图像集的风格迁移(如将内容为黑夜场景的图像转换为内容为白天场景的图像)，充分学习一类艺术的风格特点。但是cyclegan采用的循环一致
3、2020年，taesung park等提出的cut(出自论文《contrastive learning forunpaired image-to-image translation》)首次将对比学习引入到图像转换领域当中，通过最大化输入和输出图像的相应图块间的互信息(对比损失)来保证内容一致性，同时在对抗损失的约束下学习目标图像域的风格特征。该方法以简单的模型在多个图像风格迁移任务(如将内容为马的图像转换为内容为斑马的图像、将自然图像的风格迁移为西方艺术风格)当中实现了优秀的转换性能，同时对于风格差异较大的图像转换任务仍能表现出优秀的转换性能。尽管如此，直接将该方法应用到自然图像转换为敦煌壁画风格的任务无法取得逼真的风格迁移效果，甚至出现生成图像退化问题，这主要是因为敦煌壁画艺术在风格特点上与以往研究的视觉艺术有着很大的不同。敦煌壁画是一种东西方文化交流的融合产物，其风格在中西方绘画风格的影响下，形成了自身独有的艺术风格。敦煌壁画艺术风格是线描造型、装饰性构图、工笔重彩、以形写神等几个方面有机结合的产物。
技术实现思路
1、有鉴于此，本专利技术提供了一种基于生成对抗网络的敦煌壁画艺术风格迁移方法、系统、计算机设备及存储介质，其引入基于内容的对比损失，克服在使用同一个编码器提取特征时存在的域间风格差异而导致的图像退化和模型优化困难等问题，以及引入语义损失、线条损失、色彩对比损失和色彩促进的对抗损失以约束网络充分学习敦煌壁画的各种风格特点，从而生成效果更好、质量更高的敦煌壁画风格迁移图像。
2、本专利技术的第一个目的在于提供一种基于生成对抗网络的敦煌壁画艺术风格迁移方法。
3、本专利技术的第二个目的在于提供一种基于生成对抗网络的敦煌壁画艺术风格迁移系统。
4、本专利技术的第三个目的在于提供一种计算机设备。
5、本专利技术的第四个目的在于提供一种存储介质。
6、本专利技术的第一个目的可以通过采取如下技术方案达到：
7、一种基于生成对抗网络的敦煌壁画艺术风格迁移方法，所述方法包括：
8、获取数据集，所述数据集包括敦煌壁画图像数据集以及与敦煌壁画图像数据集对应的自然图像数据集；
9、对数据集进行预处理，并划分出训练集，所述训练集分为敦煌壁画图像训练集和自然图像训练集；
10、构建基于对比学习和多损失约束的生成对抗网络模型，所述基于对比学习和多损失约束的生成对抗网络模型包括生成对抗网络结构以及约束网络结构优化的损失函数，所述生成对抗网络结构采用lsgan结构，包括一个以残差块为核心的基于编码解码结构的生成器和一个基于patchgan结构的判别器，所述约束网络结构优化的损失函数包括基于内容的对比损失、语义损失、线条损失、色彩对比损失和色彩促进的对抗损失；
11、利用训练集对基于对比学习和多损失约束的生成对抗网络模型进行训练，将训练好的基于对比学习和多损失约束的生成对抗网络模型作为敦煌壁画艺术风格迁移模型；
12、获取待处理自然图像；
13、将待处理自然图像输入敦煌壁画艺术风格迁移模型，得到敦煌壁画风格图像，实现对自然图像的敦煌壁画风格迁移。
14、进一步的，所述基于对比学习和多损失约束的生成对抗网络模型包括生成对抗网络结构以及约束网络结构优化的损失函数；
15、所述生成对抗网络结构采用lsgan结构，包括一个以残差块为核心的基于编码解码结构的生成器和一个基于patchgan结构的判别器；
16、所述约束网络结构优化的损失函数包括基于内容的对比损失、语义损失、线条损失、色彩对比损失和色彩促进的对抗损失。
17、进一步的，所述基于内容的对比损失由生成器中的特征编码器和一个两层感知器网络提取的特征计算最大化互信息损失而得，计算公式如下：
18、
19、其中，为最大化互信息损失，计算公式如下：
20、
21、进一步的，所述语义损失通过计算由训练好的分割网络作为语义区域提取模块提取的输入自然图像和对应生成图像的部分可能风格失真区域的结构相似性损失而得，计算公式如下：
22、
23、进一步的，所述线条损失通过计算由训练好的细密边缘提取模块dexined网络提取的输入自然图像和对应生成图像的边缘提取图的平衡交叉熵损失而得，计算公式如下：
24、
25、进一步的，所述色彩对比损失通过计算生成的敦煌壁画风格图像、真实敦煌壁画图像和经过随机色彩变化的真实敦煌壁画图像的色调直方图向量的对比损失计算而得，计算公式如下：
26、
27、其中，zg(x)，和为提取的色调直方图向量。
28、进一步的，所述色彩促进的对抗损失通过生成的敦煌壁画风格图像、真实敦煌壁画图像和经过随机色彩变化的真实敦煌壁画图像真伪判别概率而得，计算公式如下：
29、
30、进一步的，所述利用训练集对基于对比学习和多损失约束的生成对抗网络模型进行训练，将训练好的基于对比学习和多损失约束的生成对抗网络模型作为敦煌壁画艺术风格迁移模型，具体包括：
31、采用高斯分布对基于对比学习和多损失约束的生成对抗网络模型参数进行初始化，并设置基于对比学本文档来自技高网...
【技术保护点】
1.一种基于生成对抗网络的敦煌壁画艺术风格迁移方法，其特征在于，所述方法包括：
2.根据权利要求1所述的敦煌壁画艺术风格迁移方法，其特征在于，所述基于内容的对比损失由生成器中的特征编码器和一个两层感知器网络提取的特征计算最大化互信息损失而得，计算公式如下：
3.根据权利要求1所述的敦煌壁画艺术风格迁移方法，其特征在于，所述语义损失通过计算由训练好的分割网络作为语义区域提取模块提取的输入自然图像和对应生成图像的部分可能风格失真区域的结构相似性损失而得，计算公式如下：
4.根据权利要求1所述的敦煌壁画艺术风格迁移方法，其特征在于，所述线条损失通过计算由训练好的细密边缘提取模块DexiNed网络提取的输入自然图像和对应生成图像的边缘提取图的平衡交叉熵损失而得，计算公式如下：
5.根据权利要求1所述的敦煌壁画艺术风格迁移方法，其特征在于，所述色彩对比损失通过计算生成的敦煌壁画风格图像、真实敦煌壁画图像和经过随机色彩变化的真实敦煌壁画图像的色调直方图向量的对比损失计算而得，计算公式如下：
6.根据权利要求1所述的敦煌壁画艺术风格迁
7.根据权利要求1-6任一项所述的敦煌壁画艺术风格迁移方法，其特征在于，所述利用训练集对基于对比学习和多损失约束的生成对抗网络模型进行训练，将训练好的基于对比学习和多损失约束的生成对抗网络模型作为敦煌壁画艺术风格迁移模型，具体包括：
8.一种敦煌壁画艺术风格迁移系统，其特征在于，所述系统包括：
9.一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现权利要求1-7任一项所述的敦煌壁画艺术风格迁移方法。
10.一种存储介质，存储有程序，所述程序被处理器执行时，实现权利要求1-7任一项所述的敦煌壁画艺术风格迁移方法。
...【技术特征摘要】
1.一种基于生成对抗网络的敦煌壁画艺术风格迁移方法，其特征在于，所述方法包括：
2.根据权利要求1所述的敦煌壁画艺术风格迁移方法，其特征在于，所述基于内容的对比损失由生成器中的特征编码器和一个两层感知器网络提取的特征计算最大化互信息损失而得，计算公式如下：
3.根据权利要求1所述的敦煌壁画艺术风格迁移方法，其特征在于，所述语义损失通过计算由训练好的分割网络作为语义区域提取模块提取的输入自然图像和对应生成图像的部分可能风格失真区域的结构相似性损失而得，计算公式如下：
4.根据权利要求1所述的敦煌壁画艺术风格迁移方法，其特征在于，所述线条损失通过计算由训练好的细密边缘提取模块dexined网络提取的输入自然图像和对应生成图像的边缘提取图的平衡交叉熵损失而得，计算公式如下：
5.根据权利要求1所述的敦煌壁画艺术风格迁移方法，其特征在于，所述色彩对比损失通过计算生成的敦煌壁画风格图像、真实敦煌壁画图像和经过随机色彩变化的真实敦煌壁画图像的...
【专利技术属性】
技术研发人员：王伟凝，李嘉辉，骆美鸽，李意繁，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。