一种双尺度解耦的逼真图像颜色迁移方法及设备技术

本发明专利技术公开了基于双尺度解耦的逼真图像颜色迁移方法及设备，通过针对颜色迁移图像对的自适应滤波，对输入图像与参考风格图像均进行解耦获得其结构层与特征纹理层、颜色迁移网络结构的优化、复合特征提取和图像融合从而获得特征无损失、靓丽显著的逼真图像颜色迁移结，从而实现质量更高的图像风格迁移效果。从而实现质量更高的图像风格迁移效果。从而实现质量更高的图像风格迁移效果。

【技术实现步骤摘要】
一种双尺度解耦的逼真图像颜色迁移方法及设备


[0001]本专利技术涉及人工智能领域，具体涉及一种双尺度解耦的逼真图像颜色迁移方法及设备。

技术介绍

[0002]现有的图像风格迁移技术，是指利用各类算法，将参考图像的风格迁移到输入图像的技术。逼真图像风格迁移技术是根据参考图像的风格及输入图像的内容重新生成一张新的图像，其本质为将参考图像的颜色迁移到输入图像。现有逼真图像颜色迁移技术有两大主流技术：一是基于参考风格损失与输入内容特征损失的损失函数的图像风格迁移方法；二是对输入图像进行去风格处理，然后在此基础上迁入参考图像风格。这两种方法的特点是图像的风格迁移与内容特征保持模块相互融合且造成相互干扰，导致最后生成的图像风格迁移结果产生颜色溢出、特征模糊等问题。

技术实现思路

[0003]本专利技术的目的在于在不损失甚至加强输入图像纹理特征的前提下，提供一种双尺度解耦的逼真图像颜色迁移方法及设备。
[0004]本专利技术设计的一种双尺度解耦的逼真图像颜色迁移方法，包括以下步骤：步骤1，对图像进行语义分割；步骤2，对输入图像与参考风格图像均进行解耦获得其结构层与特征纹理层；步骤3，对图像结构层进行分通道颜色迁移； 步骤4，对步骤2得到特征纹理层与步骤3中颜色迁移提取的特征纹理层加权融合；步骤5，对步骤3和步骤4处理后的图像进行融合得到颜色迁移结果图。
[0005]进一步地，步骤2中采用WLS滤波器提取输入图像与参考图像的结构层，设C表示输入图像，用R表示参考图像，WLS滤波器表示为：其中IN是输入图像。C与R作为IN依次输入滤波器，S是IN的滤波结果。是引导滤波的与IN相关的变量，其结构与IN一致。其默认值为；λ用于平衡数据项与滤波项；IN为C时，设是L(C)与C的对数值之和，L(C)是C的光照信息：其中指变量的平均值；τ是控制使用log(L(C))和log(C)的阈值；是值为0或1的触发器；其中当，，当。
[0006]进一步地，步骤3中颜色迁移使用的编码与解码结构如下：从conv1_1层至conv4_1层，编码器采用预训练的VGG
‑
19网络结构以及Haar小波池；解码部分是编码部分的镜向对称；在每一个解码层我们增加了一个结构优化模块来修
复原网络产生的不自然的边界效应，其结构优化过程公式如下：其中O
j
是优化结果，表示C在j通道的特征纹理层；。是卷积层的输出，为其权值，S
j
是C的WLS滤波结果j通道分量，为其权值，的滤波平滑结果，为其权值。
[0007]进一步地，所步骤3中颜色迁移过程如下：对C和R进行语义分割以获得M
C
和M
R
；在每一个R、G、B通道，对S
C
和S
R
的RGB分量S
C
_R、S
C
_G、S
C
_B以及它们的语义分割输入编码
‑
解码器，用基于WCT的原则进行颜色迁移。提取S
C
的特征如下：j表示R、G、B通道，是具有协方差矩阵的特征值的对角矩阵。，是特征向量对应的正交矩阵，满足；的矢量化VGG特征；Ch是通道的数量；将R
C
的颜色迁移至S
C
；其中表示颜色迁移结果C的第jth通道，是具有协方差矩阵的特征值的对角矩阵，，是特征向量对应的正交矩阵，满足，的平均值，最后将输入解码器获得图像在RGB通道的颜色迁移结果。
[0008]进一步地，步骤4中图像特征提取采用的编码与解码结构与颜色迁移使用的编码与解码结构相同。
[0009]优选地，所述步骤5中图像的融合具体过程如下：融合如下：其中和F
C
的权值。结合步骤4加权融合过程，得到根据编码与解码结构，2个结构层的权值之和为0，其他项的权值为1，因此，设其中；通过调整值获得不同程度的颜色迁移结果。
[0010]基于同一专利技术构思，本专利技术还设计了一种电子设备，其特殊之处包括：
一个或多个处理器；存储装置，用于存储一个或多个程序；当一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上任一所述的方法。
[0011]基于同一专利技术构思，本专利技术还设计了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如上任一所述的方法。
[0012]本专利技术的优点在于：本专利技术基于深度学习的图像风格迁移系统，在进行逼真颜色迁移时，对输入图像与参考风格图像均进行解耦获得其结构层与特征纹理层。然后在其结构层进行逐通道的颜色迁移获得新的结构层，并提取输入图像的特征纹理信息。对上述两个结果进行融合，从而获得特征无损失、靓丽显著的逼真图像颜色迁移结果。图像的颜色迁移结果特征保持较现有方法更加清晰、完整。可通过调整参数获得不同的颜色迁移程度，但特征保持一致的图像颜色迁移结果。
附图说明
[0013]图1双尺度解耦的逼真图像颜色迁移框架图。
具体实施方式
[0014]为了便于本领域普通技术人员理解和实施本专利技术，下面结合附图及实施例对本专利技术作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本专利技术，并不用于限定本专利技术。
[0015]为描述方便，本说明书统一用C表示输入图像，用R表示参考图像。
[0016]本专利技术所采用的技术方案是包括以下步骤：步骤1，对图像进行语义分割；步骤2，对输入图像与参考风格图像均进行解耦获得其结构层与特征纹理层；步骤3，对图像结构层进行分通道颜色迁移；步骤4，对步骤2得到特征纹理层与步骤3中颜色迁移提取的特征纹理层加权融合；步骤5，对步骤3和步骤4处理后的图像进行融合得到颜色迁移结果图。
[0017]所述步骤1具体如下：图像的语义分割方法如下：采用DeepLab语义分割算法进行图像的语义分割。识别150个基础分类，采用合并简化的分类结果即合并了相似的分类，如，湖泊、江河、海洋和水流归为一类等，由此生成一组精简的分类，以产生更清晰，更简单的分割，最终生成更稳定的输出。
[0018]所述步骤2具体如下：图像的自适应解耦步骤如下：采用WLS滤波器提取输入图像与参考图像的结构层和特征纹理层。WLS滤波器表示为： (1)其中IN是输入图像。C与R作为IN依次输入滤波器，S是IN的滤波结果。是引导滤波的与IN相关的变量，其结构与IN一致。其默认值为。λ用于平衡数据项与滤波项，默认值为1。IN为C时，设是L(C)与C的对数值之和，L(C)是C的光照信息：
ꢀ
(2)其中变量的平均值。τ是控制使用log(L(C))和log(C)的阈值。是值为0或1的触发器。其中当，，当。本实施例中，该值可根据实验或经验确定。R与C是风格迁移输入的一对图像，需要对它们都进行滤波。当IN为R时，L(R)的计算过程与计算L(C)一样。
[0019]所述步骤3具体如下：图像结构层的分通道颜色迁移：编码器与解码器的网络结构：对颜色迁移及特征提取使用相同的编码和解码结构本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种双尺度解耦的逼真图像颜色迁移方法，其特征在于，包括以下步骤：步骤1，对图像进行语义分割；步骤2，对输入图像与参考风格图像均进行解耦获得其结构层与特征纹理；步骤3，对图像结构层进行分通道颜色迁移；步骤4，对步骤2得到特征纹理层与步骤3中颜色迁移提取的特征纹理层加权融合；步骤5，对步骤3和步骤4处理后的图像进行融合得到颜色迁移结果图。2.根据权利要求1所述的双尺度解耦的逼真图像颜色迁移方法，其特征在于：所述步骤2中采用WLS滤波器提取输入图像与参考图像的结构层，设C表示输入图像，用R表示参考图像，WLS滤波器表示为：其中IN是输入图像；C与R作为IN依次输入滤波器，S是IN的滤波结果；是引导滤波的与IN相关的变量，其结构与IN一致；其默认值为；λ用于平衡数据项与滤波项，默认值为1；IN为C时，设是L(C)与C的对数值之和，L(C)是C的光照信息：其中变量的平均值；τ是控制使用log(L(C))和log(C)的阈值；是值为0或1的触发器；其中当，，当。3.根据权利要求2所述的双尺度解耦的逼真图像颜色迁移方法，其特征在于：所述步骤3中颜色迁移使用的编码与解码结构如下：从conv1_1层至conv4_1层，编码器采用预训练的VGG
‑
19网络结构以及Haar小波池；解码部分是编码部分的镜向对称；在每一个解码层增加了一个结构优化模块来修复原网络产生的不自然的边界效应，其结构优化过程公式如下：其中O
j
是优化结果，表示C在j通道的特征纹理层；；是卷积层的输出，为其权值，S
j
是C的WLS滤波结果j通道分量，为其权值，的滤波平滑结果，为其权值。4.根据权利要求3所述的双尺度解耦的逼真图像颜色迁移方法，其特征在于：所述步骤3中颜色迁移过程如下：对C和R进行语义分割以获得M
C
和M
R
；在每一个R、G、B通道，对S
C
和S
R
的RGB分量S
C
_R、S
C...

【专利技术属性】
技术研发人员：肖春霞，丁红，
申请(专利权)人：武汉大学，
类型：发明
国别省市：