【技术实现步骤摘要】
本专利技术涉及计算机视觉，具体涉及风格引导的山水画图像上色方法。
技术介绍
1、中国传统山水画具有非常高的艺术研究价值和文化价值，对考古研究具有重要意义。中国传统白描山水画通过勾、皴、点、染等技法逐步完成，其中“勾”指的是勾勒，“皴”指的是皴擦，“点”指的是点画，“染”指的是着色。通过混合各种颜料并调节色调所创造的复杂色彩风格形成了传统中国重彩山水画。传统中国山水画采用的技巧独具特色，其色彩运用反映出独特美学原则和丰富的文化内涵。通过研究着色技术，我们可以更好地传承山水画这一文化遗产，并在此基础上进行创新，丰富和发展传统中国艺术表现形式。
2、目前，图像上色作为人工智能生成内容(artificial intelligence generatedcontent，aigc)领域的一个分支已成为计算机视觉研究的核心内容之一。随着深度学习理论的突破性进展，ai已经能够以前所未有的精度和创造力参与到视觉艺术的创作之中。图像上色是在已有轮廓或灰度图像的基础上，赋予其精确且符合语境的颜色信息。扩散模型在上色、修复等图像生成任务中具有优秀表现。但是，山水画颜色的特殊性和多样性难以简单地用数字化手段模拟。
3、尽管目前的着色技术取得了进步，但它们仅仅局限于风景画中简单的色彩填充。相反，这一过程需要对语义上下文进行广泛而深刻的理解。目前存在三个主要挑战：第一，训练生成对抗网络(gan)需要大量高质量数据，然而传统中国绘画的样本量有限，从不同时代的各种画家和风格中获得足够详细的颜色标注数据是一个挑战。第二，每幅作品都有其独特的
技术实现思路
1、为了解决现有技术的问题，本专利技术提供了风格引导的山水画图像上色方法，包括以下步骤：
2、步骤1，将中国传统山水画还原回灰度线稿，同时创建了一个包含灰度线稿的中国山水画数据集；
3、步骤2，构建sgcgan着色模型，将灰度线稿作为内容图像，原始彩色图像作为风格图像输入至模型中，对灰线度稿上色，得到带有色彩的山水画图像；
4、所述sgcgan着色模型由生成器和判别器组成；
5、所述生成器的编码器部分使用了新的adacattn模块针对山水画特殊风格进行学习，并且最大程度的维持了风格学习和内容语义之间的平衡；
6、所述判别器部分，提出了新的颜色直方图结构相似性损失chssloss，所述颜色直方图结构相似性损失chssloss通过测量源图像和目标图像之间的颜色分布差异来实现颜色风格约束；
7、步骤3，使用配对和非配对数据并采用双阶段训练法将中国山水画数据集导入sgcgan着色模型中进行训练。
8、进一步地，所述步骤1中，所述山水画数据集包括：中国传统山水画灰度线稿和中国传统重彩山水画。
9、进一步地，所述步骤1中，将中国传统山水画还原回灰度线稿过程包括：
10、先把彩色山水画图像进行灰度处理，再辅以反色和模糊操作，得到改进后的灰度图；
11、通过原始灰度图像和改进后灰度图像的像素值计算新图像的像素值；
12、从山水画数据集中随机获取至少1万张256*256大小图片用于训练；
13、使用美学评价指标算法对取样得到的图片进行筛选，保留具有一定山水画特征的数据，并去除干扰数据。
14、进一步地，所述sgcgan着色模型使用循环生成对抗网络结构的一半进行构建，并仅采用从线稿到彩色图像的着色过程。
15、进一步地，所述生成器包括一个由基于编码器和解码器组成的主干网络，该主干网络使用参考图像is和内容图像ic实现白描山水画图像的上色，即在不改变图像内容的情况下，生成具有参考图像风格的彩色山水画图像p，着色过程可以表示为：
16、p＝χ(ic,is)；
17、式中，χ(·)表示图像着色的过程；
18、编码器构建过程包括：
19、同时将配对的内容图像和风格图像发送到编码器，利用预训练的vgg网络从内容和风格图像中提取特征，采用多层策略，分别在vgg的relu-3_1、relu-4_1和relu-5_1层上集成了三个adacattn模块，adacattn模块可以自适应地逐像素转移特征分布；
20、其中，编码器可以表示为：
21、fδ＝γ(ic,is)；
22、其中，γ(·)代表编码器，fδ代表编码器生成的特征矩阵；
23、解码器构建过程包括：
24、根据注意力的权重，对输入图像的内容特征进行加权，并生成风格加权特征图，将风格加权特征图输入到unet解码器中；
25、同时，提出final块，它由三个卷积层和两个smish激活函数组成，输出一个灰度图像，并通过计算灰度图像和内容图像的灰度损失来对图像内容进行约束，最后，通过tanh函数层输出p；
26、解码器可以表示为：
27、p＝φ(fδ)；
28、其中φ(·)表示解码器，p表示具有参考图像风格的彩色山水画图像。
29、进一步地，所述判别器的构成过程包括：
30、最终生成图像被送入一个resnet判别器，针对原始风格图像计算循环一致性损失和对比损失的同时，针对配对的彩色图像和线稿图像计算重构损失函数；通过这些损失函数的计算来确保原始内容的保留并匹配生成图像的风格，最终产生了一幅色彩鲜艳的中国传统山水画；
31、判别器网络可以表示为：
32、fη＝ω(p,is)；
33、其中，ω(·)表示判别器。
34、进一步地，所述步骤3中设计了一个颜色直方图结构相似性损失函数来提高生成山水画图像的色彩丰富度以及实现颜色风格约束，这一过程可以表述为:
35、
36、其中，c表示颜色通道数，x和y分别表示假图像和真实图像在第i个通道上的颜色直方图，μx和μy分别代表x和y的平均值，σx和σy分别代表x和y的标准差,σxy代表x和y的协方差，表示该通道的权重。
37、本专利技术的有益效果：
38、(1)本专利技术创新地提取了中国传统山水画的灰度线稿，不仅保留了部分灰度信息，视觉上也符合白描山水画的特点，同时创建了一个名为sketchclp的包含灰度线稿的中国山水画数据集，从合作机构和数字艺术数据库收集的古代山水画作品，由专业艺术工作者进行分类鉴定，保证了数据集的多样性和代表性，为山水画艺术生成、修复、超分等领域的科学研究作出贡献；
39、(2)本专利技术通过引入风格参考图像的信息，该模型可以更有效地捕捉和学习单个图本文档来自技高网...
【技术保护点】
1.一种风格引导的山水画图像上色方法，其特征在于，具体包括以下步骤：
2.根据权利要求1所述的风格引导的山水画图像上色方法，其特征在于，所述步骤1中，所述山水画数据集包括中国传统山水画灰度线稿和中国传统重彩山水画。
3.根据权利要求1所述的风格引导的山水画图像上色方法，其特征在于，所述步骤1中，将中国传统山水画还原回灰度线稿过程包括：
4.根据权利要求1所述的风格引导的山水画图像上色方法，其特征在于，所述SGCGAN着色模型使用循环生成对抗网络结构的一半进行构建，并仅采用从线稿到彩色图像的着色过程。
5.根据权利要求1所述的风格引导的山水画图像上色方法，其特征在于，所述生成器包括一个由编码器和解码器组成的主干网络，该主干网络使用参考图像Is和内容图像Ic实现白描山水画图像的上色，即在不改变图像内容的情况下，生成具有参考图像风格的彩色山水画图像P，着色过程可以表示为：
6.根据权利要求1所述的风格引导的山水画图像上色方法，其特征在于，所述判别器的构成过程包括：
7.根据权利要求1所述的风格引导的山水画图像上色方
...【技术特征摘要】
1.一种风格引导的山水画图像上色方法，其特征在于，具体包括以下步骤：
2.根据权利要求1所述的风格引导的山水画图像上色方法，其特征在于，所述步骤1中，所述山水画数据集包括中国传统山水画灰度线稿和中国传统重彩山水画。
3.根据权利要求1所述的风格引导的山水画图像上色方法，其特征在于，所述步骤1中，将中国传统山水画还原回灰度线稿过程包括：
4.根据权利要求1所述的风格引导的山水画图像上色方法，其特征在于，所述sgcgan着色模型使用循环生成对抗网络结构的一半进行构建，并仅采用从线稿到彩色图像的着色过程。
5....
【专利技术属性】
技术研发人员：彭先霖，刘乾龙，彭盛霖，胡琦瑶，汪霖，张翔，姜博，张晓丹，
申请(专利权)人：西北大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。