【技术实现步骤摘要】
本专利技术属于图像风格迁移领域，具体涉及基于扩散模型和特征统计量的山水画风格迁移方法。
技术介绍
1、山水画作为水墨画的一种，主要描绘自然山川和河流，在艺术史和文化中占据重要地位。然而现实中创造一副精致的山水画是一件极具专业性且耗时费力的事情，随着人工智能的蓬勃发展，将一张现实山水风景照片快速转换成一幅栩栩如生的山水画已成为可能。
2、目前已有的山水画风格迁移的方法主要围绕生成对抗网络（gan）。chipgan基于cyclegan针对水墨画的三个基本技术：空白、笔触和水墨色调和扩散提出了三个核心约束。paint-cut将洗牌注意力和残差块结合，引入感知损失和边缘损失，实现了高质量的山水画生成。然而因gan训练不稳定和模式崩溃问题，这些方法难以生成逼真的山水画。相比之下，扩散模型训练稳定，能够拟合复杂的图像分布。利用预训练扩散模型所学到的海量数据信息能够完成艺术风格迁移，例如inst将图像映射到文本嵌入，将风格视为可学习的文字描述，提出一种基于文本反演的风格迁移方法。
3、尽管这些方法在某些情况下可以生成高质量的山水画作品，但它们不能准确学习山水画的独特风格，无法忠实地迁移其颜色信息。因此本专利技术提出了基于扩散模型和特征统计量的山水画风格迁移方法，该方法可以有效转移山水画的独特笔触和色彩信息，生成高度逼真的山水画。
技术实现思路
1、本专利技术针对目前几种山水画风格迁移技术存在的不足之处，着眼于忠实地迁移山水画的颜色信息，提供了基于扩散模型和特征统计量的山水
2、本专利技术的主要步骤如下：
3、步骤1：准备包含一定数量的山水画风格数据集和需要进行风格迁移的真实山水内容数据集；
4、步骤2：设计基于预训练扩散模型和clip提示空间的风格迁移模型；
5、步骤3：训练所述风格迁移模型；
6、步骤4：从山水画风格数据集中取出一组图像，编码到潜空间风格表示，计算风格特征统计量并保存；
7、步骤5：将真实山水内容图像编码到潜空间，使用所述风格特征统计量调制后添加初始噪声，在提示空间和内容保持架构的引导下，将真实的山水图像转化成高度逼真的山水画作品。
8、进一步，所述步骤1还包括：对所有图像进行预处理，将图像标准化，接着进行数据归一化，将所有像素值调整到[-1,1]之间。
9、进一步，所述步骤1还包括：准备预训练扩散模型所需的模型权重，包括版本为1.5的stable diffusion权重、版本为clip-vit-large-patch14的clip权重、版本为1.1的controlnet_canny权重。
10、进一步，所述风格迁移模型分为训练阶段和推理阶段。所述训练阶段包括模型主体、待训练的提示空间和风格映射模块；所述推理阶段包括模型主体和训练完毕的提示空间。
11、其中，所述模型主体即预训练扩散模型，包括一组编码器和解码器，主体网络采用u-net网络。所述提示空间为阶梯感知和层感知提示空间，由可学习向量通过风格映射模块映射而来。
12、更进一步，所述风格映射模块包括双向状态空间模型层、交叉注意力层、前馈层和归一化层。可学习向量首先由归一化层进行归一化，随后进入双向状态空间模型层，接着进行交叉注意力计算，最后经由前馈层输出。
13、进一步，所述推理阶段还包括风格调制模块和内容保持架构。所述风格调制模块用于制取对应的风格特征统计量；所述内容保持架构包括边缘检测，主体网络为u-net网络。
14、进一步，所述步骤3包括：
15、步骤3.1：将经过预处理的山水画风格图像编码到潜空间风格表示，添加初始噪声，得到带噪声版本的风格图像。
16、步骤3.2：将clip模型中的可学习向量通过风格映射模块映射到目标提示空间，在训练过程中作为条件引导预训练扩散模型。
17、步骤3.3：计算ldm损失，反向传播更新权重，重复迭代预设次数。
18、更进一步，所述步骤3还包括：
19、步骤3.4：一旦ldm损失收敛，所述目标提示空间存储山水画的风格信息，并在推理阶段作为条件引导生成山水画。
20、进一步，所述步骤5包括：
21、步骤5.1：将真实山水内容图像编码到潜空间，使用风格特征统计量进行对应调整，添加初始噪声；
22、步骤5.2：采样去噪，计算内容保持架构的内容指导；
23、步骤5.3：在提示空间和内容保持架构的引导下，得到风格化结果的潜空间表示，通过解码器重建图像，得到最终的山水画作品。
24、更进一步，所述步骤5.1具体为：
25、步骤5.1.1：将真实的山水内容图像通过边缘检测函数获取canny轮廓图。
26、步骤5.1.2：将处理后的真实山水内容图像编码到潜空间，得到内容潜空间表示。
27、步骤5.1.3：使用风格特征统计量进行对应调整，添加初始噪声，得到带噪声版本的风格化内容图像。
28、本专利技术产生的有益效果：
29、本专利技术在和多种先进方法的实验对比中展现出卓越的生成效果。通过引入结合双向状态空间和注意力机制的风格映射模块，提示空间充分学习到了山水画的风格信息。结合风格特征统计量调整方法，使得模型能够忠实地迁移山水画的颜色信息和独特笔触，生成高度逼真的山水画。
本文档来自技高网...【技术保护点】
1.基于扩散模型和特征统计量的山水画风格迁移方法，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的基于扩散模型和特征统计量的山水画风格迁移方法，其特征在于，所述步骤1还包括：对所有图像进行预处理，将图像标准化，接着进行数据归一化，将所有像素值调整到[-1,1]之间。
3.根据权利要求1或2所述的基于扩散模型和特征统计量的山水画风格迁移方法，其特征在于，所述步骤1还包括：准备预训练扩散模型所需的模型权重，包括版本为1.5的StableDiffusion权重、版本为clip-vit-large-patch14的CLIP权重、版本为1.1的ControlNet_Canny权重。
4.根据权利要求1所述的基于扩散模型和特征统计量的山水画风格迁移方法，其特征在于，所述模型主体即预训练扩散模型，包括一组编码器和解码器，主体网络采用U-net网络；
5.根据权利要求4所述的基于扩散模型和特征统计量的山水画风格迁移方法，其特征在于，所述推理阶段还包括风格调制模块和内容保持架构；
6.根据权利要求1所述的基于扩散模型和特征统计量
7.根据权利要求6所述的基于扩散模型和特征统计量的山水画风格迁移方法，其特征在于，所述步骤3还包括：
8.根据权利要求1所述的基于扩散模型和特征统计量的山水画风格迁移方法，其特征在于，所述步骤5包括：
9.根据权利要求8所述的基于扩散模型和特征统计量的山水画风格迁移方法，其特征在于，所述步骤5.1具体为：
...【技术特征摘要】
1.基于扩散模型和特征统计量的山水画风格迁移方法，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的基于扩散模型和特征统计量的山水画风格迁移方法，其特征在于，所述步骤1还包括：对所有图像进行预处理，将图像标准化，接着进行数据归一化，将所有像素值调整到[-1,1]之间。
3.根据权利要求1或2所述的基于扩散模型和特征统计量的山水画风格迁移方法，其特征在于，所述步骤1还包括：准备预训练扩散模型所需的模型权重，包括版本为1.5的stablediffusion权重、版本为clip-vit-large-patch14的clip权重、版本为1.1的controlnet_canny权重。
4.根据权利要求1所述的基于扩散模型和特征统计量的山水画风格迁移方法...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。