图像风格迁移方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种图像风格迁移方法、装置、设备及存储介质，涉及计算机视觉技术领域。方法包括：获取第一图像和第二图像，第一图像的场景结构与第二图像的场景结构不一致；对第一图像和第二图像进行图像切分得到第一图像块和第二图像块；通过第一特征编码网络对各个第一图像块进行特征编码，得到内容特征向量；通过第二特征编码网络对各个第二图像块进行特征编码，得到风格特征向量，第一特征编码和第二特征编码网络中采用自注意力机制；基于内容特征向量和风格特征向量进行图像重构，得到第三图像。本申请实施例方案在使用两张场景结构不一致的图像之间进行风格迁移时，提升风格迁移的语义精度。迁移的语义精度。迁移的语义精度。

【技术实现步骤摘要】
图像风格迁移方法、装置、设备及存储介质


[0001]本申请实施例涉及计算机视觉
，特别涉及一种图像风格迁移方法、装置、设备及存储介质。

技术介绍

[0002]随计算机视觉技术的发展，图像风格迁移作为计算机视觉技术中的重要分枝，其应用范围愈加广泛。图像风格迁移是指将风格图像中的图像风格，迁移至内容图像中，得到一张同时具有内容图像的图像语义，并具有风格图像的图像风格的全新图像。其中，使用真实场景图像作为风格图像，通过图像风格迁移获得具有真实感的全新图像是图像风格迁移技术的重要应用方向。
[0003]在真实感图像的生成过程中，保证图像各个部分语义的准确性，是保证图像真实感的关键。相关技术中，为保证语义精确度，通常采用先验的与待迁移图像场景结构一致的真实场景图像作为风格图像，但在实际应用中，以场景结构一致性作为约束条件是十分严苛的，数据复用性差，训练成本高。

技术实现思路

[0004]本申请实施例提供了一种图像风格迁移方法、装置、设备及存储介质，在使用两张场景结构不一致的图像之间进行风格迁移时，提升风格迁移的语义精度。所述技术方案如下：
[0005]一方面，本申请实施例提供了一种图像风格迁移方法，所述方法包括：
[0006]获取第一图像和第二图像，所述第一图像具有第一图像风格，所述第二图像具有第二图像风格，且所述第一图像的场景结构与所述第二图像的场景结构不一致；
[0007]对所述第一图像进行图像切分得到第一图像块，以及对所述第二图像进行图像切分得到第二图像块；
[0008]通过第一特征编码网络对各个第一图像块进行特征编码，得到各个第一图像对应的内容特征向量，所述第一特征编码网络中采用自注意力机制；
[0009]通过第二特征编码网络对各个第二图像块进行特征编码，得到各个第二图像对应的风格特征向量，所述第二特征编码网络中采用自注意力机制；
[0010]基于所述内容特征向量和所述风格特征向量进行图像重构，得到第三图像，所述第三图像具有所述第二图像风格，且所述第三图像的场景结构与所述第一图像的场景结构一致。
[0011]另一方面，本申请实施例提供了一种图像风格迁移装置，所述装置包括：
[0012]获取模块，用于获取第一图像和第二图像，所述第一图像具有第一图像风格，所述第二图像具有第二图像风格，且所述第一图像的场景结构与所述第二图像的场景结构不一致；
[0013]切分模块，用于对所述第一图像进行图像切分得到第一图像块，以及对所述第二
图像进行图像切分得到第二图像块；
[0014]第一特征编码模块，用于通过第一特征编码网络对各个第一图像块进行特征编码，得到各个第一图像对应的内容特征向量，所述第一特征编码网络中采用自注意力机制；
[0015]第二特征编码模块，用于通过第二特征编码网络对各个第二图像块进行特征编码，得到各个第二图像对应的风格特征向量，所述第二特征编码网络中采用自注意力机制；
[0016]图像重构模块，用于基于所述内容特征向量和所述风格特征向量进行图像重构，得到第三图像，所述第三图像具有所述第二图像风格，且所述第三图像的场景结构与所述第一图像的场景结构一致。
[0017]另一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一段程序，所述至少一段程序由所述处理器加载并执行以实现如上述方面所述的图像风格迁移方法。
[0018]另一方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一段程序，所述至少一段程序由处理器加载并执行以实现如上述方面所述的图像风格迁移方法。
[0019]另一方面，本申请实施例提供了一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方面所述的图像风格迁移方法。
[0020]本申请实施例中，在需要进行图像风格迁移的第一图像和第二图像之间的场景结构不一致的情况下，计算机设备首先将第一图像和第二图像进行图像切分操作，并将进而将切分得到的第一图像块和第二图像块输入到采用自注意力机制的特征编码网络中进行特征编码。进一步的，计算机设备基于编码得到的内容特征向量和风格特征向量进行图像重构，得到第三图像。其中，第三具有第一图像的图像内容，并在场景结构上与第一图像保持一致，同时又具有第二图像的图像风格。
[0021]计算机设备使用采用了自注意力机制的特征编程网络，利用自注意力机制能够以全局感受野获取图像长程信息，避免图像特征细节丢失的同时，通过以图像块为单位进行特征编码可以避免感受野过大，相应的内容信息过多可能带来的图像迁移错位的问题，进而可以在内容图像和风格图像的场景结构存在差异的情况下，保证重构图像中的语义精确度。
附图说明
[0022]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0023]图1示出了本申请一个示例性实施例提供的实施环境的示意图；
[0024]图2示出了本申请一个示例性实施例提供的图像风格迁移方法的流程图；
[0025]图3示出了本申请一个示例性实施例提供的图像重构失败的示意图；
[0026]图4示出了本申请一个示例性实施例提供的图像风格迁移方法的示意图；
[0027]图5示出了本申请一个示例性实施例提供的transformer网络结构的示意图；
[0028]图6示出了本申请一个示例性实施例提供的transformer网络编码器的示意图；
[0029]图7示出了本申请一个示例性实施例提供的transformer网络解码器的示意图；
[0030]图8示出了本申请一个示例性实施例提供的图像重构方法的流程图；
[0031]图9示出了本申请一个示例性实施例提供的图像风格迁移模型训练方法的流程图；
[0032]图10示出了本申请一个示例性实施例提供的仿真图像风格迁移的示意图；
[0033]图11示出了本申请一个示例性实施例提供的图像风格迁移的示意图；
[0034]图12示出了本申请一个示例性实施例提供的图像风格迁移装置的结构框图；
[0035]图13示出了本申请一个示例性实施例提供的计算机设备的结构方框图。
具体实施方式
[0036]为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
[0037]为了方便理解，下面对本申请实施例中涉及的名词进行说明。
[0038]风格迁移，是指一种保持内容图片的内容纹理不变，而将风格图片中的图片风格迁移至内容图片中，进而改变内容图片的图片风本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像风格迁移方法，其特征在于，所述方法包括：获取第一图像和第二图像，所述第一图像具有第一图像风格，所述第二图像具有第二图像风格，且所述第一图像的场景结构与所述第二图像的场景结构不一致；对所述第一图像进行图像切分得到第一图像块，以及对所述第二图像进行图像切分得到第二图像块；通过第一特征编码网络对各个第一图像块进行特征编码，得到各个第一图像对应的内容特征向量，所述第一特征编码网络中采用自注意力机制；通过第二特征编码网络对各个第二图像块进行特征编码，得到各个第二图像对应的风格特征向量，所述第二特征编码网络中采用自注意力机制；基于所述内容特征向量和所述风格特征向量进行图像重构，得到第三图像，所述第三图像具有所述第二图像风格，且所述第三图像的场景结构与所述第一图像的场景结构一致。2.根据权利要求1所述的方法，其特征在于，所述基于所述内容特征向量和所述风格特征向量进行图像重构，得到第三图像，包括：将各个第一图像块对应的所述内容特征向量进行拼接，得到全局内容特征向量；将各个第二图像块对应的所述风格特征向量进行拼接，得到全局风格特征向量；基于所述全局内容特征向量和所述全局风格特征向量，进行向量融合运算，得到融合特征向量；将所述融合特征向量输入特征优化网络，得到优化后的所述融合特征向量，所述特征优化网络用于提升向量拼接边缘的特征平滑度；基于优化后的所述融合特征向量进行图像重构，得到所述第三图像。3.根据权利要求2所述的方法，其特征在于，所述特征优化网络由多层感知机组成。4.根据权利要求1所述的方法，其特征在于，所述通过第一特征编码网络对各个第一图像块进行特征编码，得到各个第一图像对应的内容特征向量，包括：在特征编码过程中，对各个第一图像块进行下采样处理，得到第一缩略图像块；通过所述第一特征编码网络对各个第一缩略图像块进行特征编码，得到所述内容特征向量；所述通过第二特征编码网络对各个第二图像块进行特征编码，得到各个第二图像对应的风格特征向量，包括：在特征编码过程中，对各个第二图像块进行下采样处理，得到第二缩略图像块；通过所述第二特征编码网络对各个第二缩略图像块进行特征编码，得到所述风格特征向量。5.根据权利要求4所述的方法，其特征在于，所述基于所述内容特征向量和所述风格特征向量进行图像重构，得到第三图像，包括：基于所述内容特征向量和所述风格特征向量进行向量拼接融合，得到融合特征向量；对所述融合特征向量进行向量重排处理，得到融合特征矩阵；对所述融合特征矩阵进行反卷积上采样，得到目标特征矩阵，所述目标特征矩阵的尺寸与所述第一图像的尺寸相同；通过解码器对所述目标特征矩阵进行图像重构，得到所述第三图像，所述第三图像具
有目标图像分辨率。6.根据权利要求1所述的方法，其特征在于，所述第一特征编码网络和所述第二特征编码网络是transformer网络。7.根据权利要求1所述的方法，其特征在于，所述获取第一图像，包括：获取三维仿真场景模型，所述三维仿真场景模型具有仿真场景风格；基于视觉传感器仿真参数和所述三维仿真场景模型，获得二维仿真图像，所述二维仿真图像是指所述三维仿真场景模型在所述仿真视觉传感器中的投影，所述视觉传感器仿真参数用于确定所述二维仿真图像中的场景结构；将所述二维仿真图像，确定为所述第一图像，所述第一图像具有的所述第一图像风格与所述仿真场景风格对应。8.根据权利要求7所述的方法，其特征在于，所述获取三维仿真场景模型，包括：获取模拟驾驶场景模型；所述基于视觉传感器仿真参数和所述三维仿真场景模型，获得二维仿真图像，包括：基于所述视觉传感器仿真参数和所述模拟驾驶场景模型，获得驾驶视野仿真图像，所述驾驶视野仿真图像用于指示在所述模拟驾驶场景模型中进行模拟驾驶操作的模拟视野；所述将所述二维仿真图像，确定为所述第一图像，包括：将所述驾驶视野仿真图像，确定为所述第一图像。9.根据权利要求8所述的方法，其特征在于，所述第二图像是指真实场景图像，所述真实场景图像具有真实场景风格；所述基于所述内容特征向量和所述风格特征向量进行图像重构，得到第三图像，包括：基于所述驾驶视野仿真图像对应的内容特征向量，和所述第二图像对应的所述风格特征向量进行图像重构，得到所述第三图像，所述第三图像具有所述...

【专利技术属性】
技术研发人员：申远，
申请(专利权)人：腾讯云计算北京有限责任公司，
类型：发明
国别省市：