System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种复杂景观多状态图像生成方法、装置及程序产品制造方法及图纸_技高网

一种复杂景观多状态图像生成方法、装置及程序产品制造方法及图纸

技术编号:43746167 阅读:2 留言:0更新日期:2024-12-20 13:05
一种复杂景观多状态图像生成方法、装置及程序产品,涉及图像处理技术领域,一种复杂景观多状态图像生成方法,包括如下步骤:获取原始复杂景观图像;对原始复杂景观图像进行语义分割,得到多种类别的初始语义对象;将初始语义对象输入至风格迁移模型,得到多种迁移效果的风格迁移对象;将风格迁移对象与原始景观图像进行融合,得到风格迁移景观图像。本申请通过使用语义分割及风格迁移模型,解决了现有图像风格迁移方法在实现复杂图像风格迁移时时间较长的问题。

【技术实现步骤摘要】

本专利技术属于图像处理,尤其涉及一种复杂景观多状态图像生成方法、装置及程序产品


技术介绍

1、风格迁移在图像处理和艺术创作领域扮演着重要角色,通过将一幅图像的风格转移到另一幅图像上,可以创建出富有艺术感染力的新图像,探索和创造出全新的艺术作品。通过将不同风格的景观图像相结合,可以创造出独特且引人注目的视觉效果,在城市规划、景观设计等领域具有重要意义。

2、图像风格迁移的现有技术的技术方案,主要可分基于神经网络的方法、优化算法方法和基于统计学的方法。

3、(1)基于神经网络的方法

4、基于神经网络的图像风格迁移方法是现代计算机视觉领域的重要研究方向之一。这类方法主要使用卷积神经网络(convolutional neural networks,cnns)来实现图像风格的转换。卷积神经网络通过学习图像的高层次特征(如边缘、纹理等),能够在保持内容图像结构特征的同时,将目标风格图像的艺术风格应用到内容图像上。

5、神经网络风格迁移通常由两个部分组成:内容损失和风格损失。

6、内容损失衡量合成图像与内容图像之间在高层次特征上的相似度,而风格损失则衡量合成图像与风格图像在低层次特征(如颜色和纹理分布)上的相似度。通过最小化这两个损失函数,可以生成既保留内容图像结构,又具有风格图像艺术效果的合成图像。

7、近年来,生成对抗网络(generative adversarial networks,gans)也被广泛应用于图像风格迁移。gans通过一个生成器和一个判别器的对抗训练,能够学习到复杂的风格转换过程,并生成高质量的合成图像。

8、但是,基于神经网络的方法需要大量的计算资源和长时间的训练,特别是对于复杂的风格转换任务。此外,由于神经网络的复杂性,其内部机制难以解释,并且在训练过程中可能会出现过拟合问题,导致模型在处理新图像时表现不佳,因此,导致实现复杂图像风格迁移时时间较长。

9、(2)优化算法方法

10、优化算法在图像风格迁移中的应用主要体现在损失函数的优化过程中。通常,通过定义内容损失和风格损失,并采用数值优化方法(如梯度下降法、l-bfgs算法等)来最小化这些损失,从而生成最优的合成图像。在传统的神经风格迁移中,梯度下降法常用于逐步调整合成图像的像素值,使其满足内容和风格的要求。梯度下降法通过计算损失函数的梯度,并沿着梯度的反方向调整图像像素,从而逐步逼近损失函数的最小值。l-bfgs(limited-memory broyden-fletcher-goldfarb-shanno)是一种准牛顿优化算法,能够在内存限制下高效地进行优化。相比于标准梯度下降法,l-bfgs算法通常具有更快的收敛速度和更好的优化效果。

11、但是,优化算法在图像风格迁移中常常面临收敛速度慢的问题,尤其是标准梯度下降法在高维空间中表现不佳,同时优化过程容易陷入局部最优解,影响最终图像质量;此外,这些算法对初始合成图像和超参数调节较为敏感,需要大量实验来进行调优,因此,导致实现复杂图像风格迁移时间较长。

12、(3)基于统计学的方法

13、基于统计学的图像风格迁移方法通过分析和建模图像特征的统计分布(如颜色直方图、纹理统计特征等)来实现风格的转移。这些方法通常涉及对图像特征的统计分析和协方差矩阵、谱分解等统计学概念。这类方法通过提取风格图像的统计特征(如颜色分布、纹理模式等),并将这些统计特征应用到内容图像上,从而实现风格的转换。例如,可以计算风格图像和内容图像的gram矩阵,通过调整内容图像的特征使其gram矩阵接近风格图像的gram矩阵,从而实现风格迁移。

14、但是,基于统计学的方法在捕捉图像细节和全局一致性方面能力有限,对于复杂的风格转换任务可能需要大量训练数据来精确建模统计特征,并且在处理不同类型图像或风格时适应性较差,可能需要针对性地调整算法或参数,因此,导致实现复杂图像风格迁移时时间较长。

15、故此亟需开发一种复杂景观多状态图像生成方法、装置及程序产品来解决现有技术中的问题。


技术实现思路

1、本专利技术目的在于提供一种复杂景观多状态图像生成方法,通过使用语义分割及风格迁移模型,以解决上述
技术介绍
中提出的现有图像风格迁移方法在实现复杂图像风格迁移时时间较长的问题。

2、为解决上述技术问题,本专利技术的具体技术方案如下:

3、一种复杂景观多状态图像生成方法,包括如下步骤:

4、获取原始复杂景观图像;

5、对原始复杂景观图像进行语义分割,得到多种类别的初始语义对象;

6、将初始语义对象输入至风格迁移模型,得到多种迁移效果的风格迁移对象;

7、将风格迁移对象与原始景观图像进行融合,得到风格迁移景观图像。

8、进一步,所述风格迁移模型包括两个生成器和两个判别器,所述生成器用于对初始语义对象进行风格迁移,以得到风格迁移对象,所述判别器用于判断风格迁移对象是否真实。

9、进一步,所述生成器包括多个特征提取块,所述特征提取块为gated-mlp块。

10、进一步,所述判别器也包括多个特征提取块,所述特征提取块为gated-mlp块。

11、进一步,将图像输入gated-mlp块中后,所述gated-mlp块的步骤包括如下:

12、采用归一化的线性感知机提取每个图像块的抽象语义特征,输出图像的特征图f;

13、通过多层感知机对特征图做通道映射,得到特征图f在通道方向上的上下文信息fc;

14、将所述上下文信息fc在通道方向上切分为两个同等大小的切分特征图u和切分特征图v,通过多层感知机对切分特征图u做空间映射并与切分特征图v的标量乘积得到上下文信息fc在空间方向的上下文fcs;

15、将上下文fcs与特征图f通过标量加进行残差连接,以作为gated-mlp的输出。

16、进一步,所述生成器还包括初始卷积层、下采样层、上采样层和最终卷积层,所述判别器还包括初始卷积层、下采样层和全连接层。

17、进一步,所述的对原始复杂景观图像进行语义分割,得到多种类别的初始语义对象,通过pspnet模型实现。

18、进一步,所述的将风格迁移对象与原始景观图像进行融合时,所述风格迁移对象通过图像矩阵的标量积与原始图像进行融合。

19、一种计算机装置,包括存储器、处理器及存储在存储器上的计算机程序,所述处理器执行所述计算机程序以实现所述方法的步骤。

20、一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现所述方法的步骤。

21、本专利技术具有以下优点:

22、本申请对原始复杂景观图像进行语义分割,确定各个不同区域的语义类别,再使用风格迁移模型,针对不同语义类别的初始语义对象分别进行针对性的风格迁移,最后将风格迁移后的对象根据原图进行合并,实现了整个图像本文档来自技高网...

【技术保护点】

1.一种复杂景观多状态图像生成方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的复杂景观多状态图像生成方法,其特征在于,所述风格迁移模型包括两个生成器和两个判别器,所述生成器用于对初始语义对象进行风格迁移,以得到风格迁移对象,所述判别器用于判断风格迁移对象是否真实。

3.根据权利要求2所述的复杂景观多状态图像生成方法,其特征在于,所述生成器包括多个特征提取块,所述特征提取块为Gated-MLP块。

4.根据权利要求3所述的复杂景观多状态图像生成方法,其特征在于,所述判别器也包括多个特征提取块,所述特征提取块为Gated-MLP块。

5.根据权利要求3或4所述的复杂景观多状态图像生成方法,其特征在于,将图像输入Gated-MLP块中后,所述Gated-MLP块的步骤包括如下:

6.根据权利要求5所述的复杂景观多状态图像生成方法,其特征在于,所述生成器还包括初始卷积层、下采样层、上采样层和最终卷积层,所述判别器还包括初始卷积层、下采样层和全连接层。

7.根据权利要求1-6任一项所述的复杂景观多状态图像生成方法,其特征在于,所述的对原始复杂景观图像进行语义分割,得到多种类别的初始语义对象,通过PSPNet模型实现。

8.根据权利要求7所述的复杂景观多状态图像生成方法,其特征在于,所述的将风格迁移对象与原始景观图像进行融合时,所述风格迁移对象通过图像矩阵的标量积与原始图像进行融合。

9.一种计算机装置,包括存储器、处理器及存储在存储器上的计算机程序,其特征在于,所述处理器执行所述计算机程序以实现权利要求1-8任一项所述方法的步骤。

10.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1-8任一项所述方法的步骤。

...

【技术特征摘要】

1.一种复杂景观多状态图像生成方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的复杂景观多状态图像生成方法,其特征在于,所述风格迁移模型包括两个生成器和两个判别器,所述生成器用于对初始语义对象进行风格迁移,以得到风格迁移对象,所述判别器用于判断风格迁移对象是否真实。

3.根据权利要求2所述的复杂景观多状态图像生成方法,其特征在于,所述生成器包括多个特征提取块,所述特征提取块为gated-mlp块。

4.根据权利要求3所述的复杂景观多状态图像生成方法,其特征在于,所述判别器也包括多个特征提取块,所述特征提取块为gated-mlp块。

5.根据权利要求3或4所述的复杂景观多状态图像生成方法,其特征在于,将图像输入gated-mlp块中后,所述gated-mlp块的步骤包括如下:

6.根据权利要求5所述的复杂景观多状态图...

【专利技术属性】
技术研发人员:王国英桑晨浩莫路锋
申请(专利权)人:浙江农林大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1