图像实时风格迁移方法、装置、计算机设备和存储介质制造方法及图纸

本申请公开了一种图像实时风格迁移方法、装置、计算机设备和存储介质，其中，图像实时风格迁移方法，包括：步骤1，利用微型内容编码器提取内容图像的内容特征f

【技术实现步骤摘要】
图像实时风格迁移方法、装置、计算机设备和存储介质


[0001]本申请涉及图像处理
，特别是涉及一种图像实时风格迁移方法、装置、计算机设备和存储介质。

技术介绍

[0002]自Gatys等人在2015年首次将深度学习技术应用到图像风格迁移领域后，风格迁移开始吸引学术界和工业界日益增长的兴趣。该领域的一个核心问题是将一幅任意给定的风格图像的艺术风格迁移到另一张目标内容图像上，这称为任意风格迁移。通过利用预先训练的深度卷积神经网络(如VGG)的显著特征表达能力，现有的任意风格迁移算法已经能够在任意图像上实现令人满意的风格化效果。然而，大型的预训练深度神经网络产生了高昂的计算成本，这阻碍了当前的任意风格迁移方法在实际场景中的应用，如处理超高分辨率/超高清(如4096
×
2160像素，或“4K”)的图像。
[0003]一些方法为解决这一困境做出了宝贵的努力，一种做法是在不损失太多性能的情况下压缩大型的预训练深度神经网络模型。Wang等人在2020年提出使用协同蒸馏技术减少VGG网络的卷积滤波器，成功地在单个12GB显存的GPU显卡上渲染超高分辨率图像。虽然内存消耗显著减少，但压缩后的模型往往速度不够快。另一种解决方案是将超高分辨率的图像划分成若干小块(Patch)，然后再对各个小块单独进行风格迁移。该方法虽然可以实现任意分辨率的风格迁移，但仍然存在效率问题。另外，还有一些方法设计了用于风格转换的轻量级网络，然而，由于它们的风格特征仍然是从大型的预训练VGG中提取的，因此它们本质上很难处理超高分辨率图像。因此，尽管最近取得了快速进展，但现有的任意风格迁移方法要么不能处理超高分辨率图像，要么处理起来速度太慢。而研究一种快速的超高分辨率/超高清图像风格迁移方法，无论是在学术界的学术研究，还是在工业界的落地应用方面，都是具有重大意义的。

技术实现思路

[0004]基于此，有必要提供一种快速的图像风格迁移方法，能够快速地将任意给定的风格图像的艺术风格迁移到其他给定的内容图像上，尤其适用于超高清图像。
[0005]一种图像实时风格迁移方法，包括：
[0006]步骤1，利用微型内容编码器提取内容图像的内容特征f
c
；
[0007]步骤2，利用微型风格编码器提取风格图像的风格特征f
s
；
[0008]步骤3，利用风格调制器将风格特征f
s
转换成风格调制信号m
s
；
[0009]步骤4，利用微型解码器处理所述内容特征f
c
和风格调制信号m
s
，得到风格迁移后的图像。
[0010]以下还提供了若干可选方式，但并不作为对上述总体方案的额外限定，仅仅是进一步的增补或优选，在没有技术或逻辑矛盾的前提下，各可选方式可单独针对上述总体方案进行组合，还可以是多个可选方式之间进行组合。
[0011]可选地，所述微型内容编码器包括：
[0012]一个步长为1，卷积核大小为9
×
9的标准卷积层；
[0013]两个步长为2，卷积核大小为3
×
3的深度可分离卷积层；
[0014]两个步长为1的残差块；
[0015]所述标准卷积层、深度可分离卷积层以及残差块串联连接，最后一个残差块的输出即为所提取的内容特征。
[0016]可选地，所述微型风格编码器包括：
[0017]一个步长为1，卷积核大小为9
×
9的标准卷积层；
[0018]两个步长为2，卷积核大小为3
×
3的深度可分离卷积层；
[0019]两个步长为1的残差块；
[0020]所述标准卷积层、深度可分离卷积层以及残差块串联连接，最后一个残差块的输出即为所提取的风格特征。
[0021]可选地，所述风格调制器包括：权重子网络ξ
w
和偏置子网络ξ
b
；
[0022]所述权重子网络ξ
w
包括：
[0023]一个步长为1，卷积核大小为1
×
1的标准卷积层；
[0024]一个全局池化层；
[0025]所述偏置子网络ξ
b
包括：
[0026]一个步长为1，卷积核大小为1
×
1的标准卷积层；
[0027]一个全局池化层；
[0028]所述风格调制器利用如下算法将风格特征f
s
转换成风格调制信号m
s
：
[0029]m
s
＝(μ(f
s
)，σ(f
s
)，ξ
w
(f
s
)，ξ
b
(f
s
))
[0030]式中：
[0031]μ(f
s
)为所述风格特征f
s
的均值；
[0032]σ(f
s
)为所述风格特征f
s
的标准差；
[0033]ξ
w
(f
s
)为利用所述权重子网络ξ
w
提取出的权重参数；
[0034]ξ
b
(f
s
)为利用所述偏置子网络ξ
b
提取出的偏置参数。
[0035]可选地，所述微型解码器包括：
[0036]两个步长为1的残差块；
[0037]两个带上采样操作的卷积核大小为3
×
3的深度可分离卷积层；
[0038]一个步长为1，卷积核大小为9
×
9的标准卷积层；
[0039]所述残差块、深度可分离卷积层以及标准卷积层串联连接，最后一个标准卷积层的输出即为所述风格迁移后的图像。
[0040]可选地，所述微型解码器利用特征调制FeatMod和网络滤波器调制FilterMod相结合的双路调制方式处理所述内容特征f
c
和风格调制信号m
s
；
[0041]所述特征调制FeatMod的算法如下：
[0042][0043]式中：
[0044]σ(f
s
)为所述风格特征f
s
的标准差；
[0045]μ(f
s
)为所述风格特征f
s
的均值；
[0046]σ(f
c
)为所述内容特征f
c
的标准差；
[0047]μ(f
c
)为所述内容特征f
c
的均值；
[0048]所述网络滤波器调制FilterMod的算法如下：
[0049]FilterMod(D，m
s
)＝ResBlock(f
c
，(ξ
w
(f
...

【技术保护点】

【技术特征摘要】
1.图像实时风格迁移方法，其特征在于，包括：步骤1，利用微型内容编码器提取内容图像的内容特征f
c
；步骤2，利用微型风格编码器提取风格图像的风格特征f
s
；步骤3，利用风格调制器将风格特征f
s
转换成风格调制信号m
s
；步骤4，利用微型解码器处理所述内容特征f
c
和风格调制信号m
s
，得到风格迁移后的图像。2.根据权利要求1所述的图像实时风格迁移方法，其特征在于，所述微型内容编码器包括：一个步长为1，卷积核大小为9
×
9的标准卷积层；两个步长为2，卷积核大小为3
×
3的深度可分离卷积层；两个步长为1的残差块；所述标准卷积层、深度可分离卷积层以及残差块串联连接，最后一个残差块的输出即为所提取的内容特征。3.根据权利要求1所述的图像实时风格迁移方法，其特征在于，所述微型风格编码器包括：一个步长为1，卷积核大小为9
×
9的标准卷积层；两个步长为2，卷积核大小为3
×
3的深度可分离卷积层；两个步长为1的残差块；所述标准卷积层、深度可分离卷积层以及残差块串联连接，最后一个残差块的输出即为所提取的风格特征。4.根据权利要求1所述的图像实时风格迁移方法，其特征在于，所述风格调制器包括：权重子网络ξ
w
和偏置子网络ξ
b
；所述权重子网络ξ
w
包括：一个步长为1，卷积核大小为1
×
1的标准卷积层；一个全局池化层；所述偏置子网络ξ
b
包括：一个步长为1，卷积核大小为1
×
1的标准卷积层；一个全局池化层；所述风格调制器利用如下算法将风格特征f
s
转换成风格调制信号m
s
：m
s
＝(μ(f
s
)，σ(f
s
)，ξ
w
(f
s
)，ξ
b
(f
s
))式中：μ(f
s
)为所述风格特征f
s
的均值；σ(f
s
)为所述风格特征f
s
的标准差；ξ
w
(f
s
)为利用所述权重子网络ξ
w
提取出的权重参数；ξ
b
(f
s
)为利用所述偏置子网络ξ
b
提取出的偏置参数。5.根据权利要求1所述的图像实时风格迁移方法，其特征在于，所述微型解码器包括：两个步长为1的残差块；两个带上采样操作的卷积核大小为3
×
3的深度可分离卷积层；一个步长为1，卷积核大小为9
×
9的标准卷积层；
所述残差块、深度可分离卷积层以及标准卷积层串联连接，最后一个标准卷积层的输出即为所述风格迁移后的图像。6.根据权利要求5所述...

【专利技术属性】
技术研发人员：赵磊，王志忠，仇礼鸿，张惠铭，莫启航，林思寰，陈海博，李艾琳，左智文，邢卫，鲁东明，
申请(专利权)人：浙江大学，
类型：发明
国别省市：