一种基于多重损失和分辨率的图像转图像的方法技术

本发明专利技术公开了一种基于多重损失和分辨率的图像转图像的方法，包括：获取输入图像，并对图像进行多分辨率预处理；将得到的不同分辨率图像输入到已经训练好的深度模型；其中，深度模型根据多个不同的分辨率，先从低分辨率模块至高分辨率模块依次进行训练，再进行整个模型的联合训练；在模型训练中，构造的损失函数包括：每个分辨率下的生成图像和真实图像之间的L1损失、由判别模型判断的生成图像是否真实的损失和生成图像和真实图像之间的风格损失；不同分辨率的图像通过深度模型进行整合最终得到相对应的图像。本发明专利技术充分利用图像的不同分辨率信息，结合应用多重损失训练好的深度模型，可以有效提高转换图像的质量。可以有效提高转换图像的质量。可以有效提高转换图像的质量。

【技术实现步骤摘要】
一种基于多重损失和分辨率的图像转图像的方法


[0001]本专利技术涉及图像处理
，具体涉及一种基于多重损失和分辨率的图像转图像的方法。

技术介绍

[0002]随着互联网的快速发展，内容分享已经成为了当前的一个热点；而在内容分享领域，图像生成是其中非常重要的一项技术。图像生成领域存在大量的子任务，其中由图像生成图像是一个非常有价值的应用问题。由图像生成图像任务又可称为图像转图像，该任务是将输入图像生成另一张图像；常见的应用包括风格迁移、转换等等。
[0003]对于图像转图像任务，当前主流技术都是采用深度模型；具体而言，可以细分为三个大类：一类是采用对抗生成网络框架，通过使用深度卷积神经网络作为生成器，并搭配相应的判别器网络进行训练；一类是采用变分自编码器模型，通过采用编码解码结构进行图像到图像生成；最后一类是采用扩散模型，通过扩散过程来完成相应的任务。
[0004]但无论采用上述的哪类方法，都会用到深度模型，会涉及到深度模型的训练问题。如何训练得到一个更好的生成深度模型，使得模型可以生成更高质量的图像仍然是一个非常困难的问题。

技术实现思路

[0005]针对现有技术中存在的不足之处，本专利技术提供一种基于多重损失和分辨率的图像转图像的方法，其通过采用多重损失和多重分辨率框架，充分利用不同分辨率下的尺度信息，可以有效提高生成图像的质量。
[0006]本专利技术公开了一种基于多重损失和分辨率的图像转图像的方法，包括：
[0007]获取输入图像，并对图像进行多分辨率预处理；
[0008]将得到的不同分辨率图像输入到已经训练好的深度模型；其中，所述深度模型根据多个不同的分辨率，先从低分辨率模块至高分辨率模块依次进行训练，再进行整个模型的联合训练；在模型训练中，构造的损失函数包括：每个分辨率下的生成图像和真实图像之间的L1损失、由判别模型判断的生成图像是否真实的损失和生成图像和真实图像之间的风格损失；
[0009]不同分辨率的图像通过深度模型进行整合最终得到相对应的图像。
[0010]作为本专利技术的进一步改进，所述图像包括轮廓图像、分割图像和真实图像。
[0011]作为本专利技术的进一步改进，所述对图像进行多分辨率预处理，包括：
[0012]对输入的图像进行缩小操作，得到包括原图在内的多个不同分辨率的图像。
[0013]作为本专利技术的进一步改进，采用插值法对输入的图像进行缩小操作，所述插值法包括最近邻插值法、双线性插值法、双三次插值法和Lanczos插值法中的一种。
[0014]作为本专利技术的进一步改进，不同分辨率的图像对应输入至深度模型的不同分辨率的模块中。
[0015]作为本专利技术的进一步改进，不同分辨率的图像通过深度模型进行整合最终得到相对应的图像，包括：
[0016]不同分辨率的图像通过深度模型的不同模块后，其编码的特征根据分辨率的大小进行逐层融合，之后通过联级的解码器生成相应的图像。
[0017]作为本专利技术的进一步改进，深度模型在训练时，输入N个不同分辨率的图像，则其输出也有N个不同分辨率；训练好的深度模型在使用时，输入N个不同分辨率的图像，输出和原始输入图像一样尺寸的图像。
[0018]与现有技术相比，本专利技术的有益效果为：
[0019]本专利技术充分利用图像的不同分辨率信息，结合应用多重损失训练好的深度模型，可以有效提高转换图像的质量。
附图说明
[0020]图1为本专利技术公开的一种基于多重损失和分辨率的图像转图像的方法的流程图；
[0021]图2为本专利技术公开的图像转图像的深度模型的示意图；
[0022]图3为本专利技术公开的深度模型在训练中的多输出示意图。
具体实施方式
[0023]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0024]下面结合附图对本专利技术做进一步的详细描述：
[0025]如图1所示，本专利技术提供一种基于多重损失和分辨率的图像转图像的方法，包括：
[0026]步骤1、获取输入图像，并对图像进行多分辨率预处理；其中，
[0027]输入图像根据不同任务可以是不同的图像，比如：轮廓图像、分割图像以及真实图像等等；
[0028]图像的多分辨率预处理包括：采用插值法对输入的图像进行缩小操作，得到包括原图在内的多个不同分辨率的图像；其中，插值法包括最近邻插值法、双线性插值法、双三次插值法、Lanczos插值法等等，通常而言，是按1/2的缩小比例依次进行缩放，从而得到不同分辨率的图像。例如，在高分辨率原图的基础上进行一次1/2缩小，得到中分辨率图；在中分辨率图的基础上再进行一次1/2缩小，得到低分辨率图。
[0029]步骤2、将得到的不同分辨率图像输入到已经训练好的深度模型；其中，
[0030]如图2所示，本专利技术的深度模型的输入为多个不同分辨率的图像，且不同分辨率的图像对应输入至深度模型的不同分辨率的模块中，然后通过多个卷积层进行特征提取；此外，不同分辨率的图像所提取的特征也会依次进行融合。如图3所示，深度模型在训练时，输入N个不同分辨率的图像，则其输出也有N个不同分辨率。训练时，深度模型根据多个不同的分辨率，先从低分辨率模块至高分辨率模块依次进行训练，再进行整个模型的联合训练；在模型训练中，构造的损失函数包括：每个分辨率下的生成图像和真实图像之间的L1损失、由判别模型判断的生成图像是否真实的损失和生成图像和真实图像之间的风格损失。训练好
的深度模型在使用时，输入N个不同分辨率的图像，输出和原始输入图像一样尺寸的图像。
[0031]步骤3、不同分辨率的图像通过深度模型进行整合最终得到相对应的图像；具体包括：
[0032]不同分辨率的图像通过深度模型的不同模块后，其编码的特征根据分辨率的大小进行逐层融合，之后通过联级的解码器生成相应的图像。具体的：最高分辨率的图像提取过一次特征以后，该特征会融合到下一个分辨率提取到的特征之后；按上述方式依次融合以后，最后得到维度相同的特征，然后该特征会通过解码器生成相应的图像；该解码器结构可以简单参考图2和图3。特别的是，该解码器的每个模块都会和不同分辨率图像的输入模块进行连接，在特征依次通过解码器每个模块的同时，输入的不同分辨率的特征也会依次和相应特征进行融合，然后输入下一个解码器模块，最终融合所有分辨率的图像特征生成相应的图像。
[0033]实施例：
[0034]本专利技术提供一种基于多重损失和分辨率的图像转图像的方法，包括：
[0035]S1、以宽和高分别为1024的轮廓图像作为输入图像为例，采用插值法，如双线性插值算法，得到512
×
512的中分辨轮廓图像；再采用插值本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多重损失和分辨率的图像转图像的方法，其特征在于，包括：获取输入图像，并对图像进行多分辨率预处理；将得到的不同分辨率图像输入到已经训练好的深度模型；其中，所述深度模型根据多个不同的分辨率，先从低分辨率模块至高分辨率模块依次进行训练，再进行整个模型的联合训练；在模型训练中，构造的损失函数包括：每个分辨率下的生成图像和真实图像之间的L1损失、由判别模型判断的生成图像是否真实的损失和生成图像和真实图像之间的风格损失；不同分辨率的图像通过深度模型进行整合最终得到相对应的图像。2.如权利要求1所述的基于多重损失和分辨率的图像转图像的方法，其特征在于，所述图像包括轮廓图像、分割图像和真实图像。3.如权利要求1所述的基于多重损失和分辨率的图像转图像的方法，其特征在于，所述对图像进行多分辨率预处理，包括：对输入的图像进行缩小操作，得到包括原图在内的多个不同分辨率的图像。4.如权利要求3所述的基于多...

【专利技术属性】
技术研发人员：虞钉钉，徐清，王晓梅，沈伟林，沈旭立，曹培，
申请(专利权)人：华院计算技术上海股份有限公司，
类型：发明
国别省市：