图像处理方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种图像处理方法、装置、设备及存储介质，属于互联网领域。本申请在对多个变换网络和多个判别网络进行训练时，共享解码网络和重建网络的训练数据，使得训练所得的变换网络在对多个特征变换时只需要经过一次解码和一次重建，使得特征数量越多时，图像处理的过程变得简洁流畅。理的过程变得简洁流畅。理的过程变得简洁流畅。

【技术实现步骤摘要】
图像处理方法、装置、设备及存储介质
[0001]本申请是申请日为2018年11月30日、申请号为201811457745.5、专利技术名称为“图像处理方法、装置、设备及存储介质”的分案申请。


[0002]本申请涉及互联网领域，特别涉及一种图像处理方法、装置、设备及存储介质。

技术介绍

[0003]目前，可以采用生成式对抗网络(generative adversarial networks，GAN)的深度学习模型实现图像处理，GAN中包括解码网络、变换网络、重建网络和判别网络，通过对各个网络的参数调整，从而根据输入图像，能够通过GAN得到进行了某个特征变换的输出图像。
[0004]在GAN中，欲实现对输入图像进行多个特征的变换处理时，通常为每个单一的特征训练一个GAN，再将训练好的多个GAN依次作用于输入图像，也即是，先基于解码网络对输入图像进行解码，再基于变换网络对输入图像进行变换，最后基于重建网络对输入图像进行重建，之后再进入下一个GAN中重复上述过程，直到得到对该输入图像进行了上述多个特征变换的输出图像。
[0005]然而，在上述过程中，当特征数量越多时，需要的训练数据也就多，训练多个GAN所耗费的时间就越长，进行了多次解码和多次重建，使得图像处理的过程繁琐冗长。

技术实现思路

[0006]本申请实施例提供了一种图像处理方法、装置、设备及存储介质,能够改善特征数量越多，所需的训练数据越多，使得图像处理过程繁琐的问题。该技术方案如下：
[0007]一方面，提供了一种图像处理方法，该方法包括：
[0008]构建初始化的对抗网络，所述对抗网络包括解码网络、多个变换网络、重建网络和多个判别网络；其中，在所述解码网络后并行接入所述多个变换网络，在所述多个变换网络后接入所述重建网络，在所述重建网络后并行接入所述多个判别网络，每个判别网络与一个变换网络相对应；
[0009]根据多个图像集，训练所述多个判别网络，根据所述多个判别网络的训练结果，迭代训练所述对抗网络；
[0010]其中，在对所述多个变换网络和所述多个判别网络进行训练时，共享所述解码网络和所述重建网络的训练数据。
[0011]一方面，提供了一种图像处理方法，该方法包括：
[0012]根据图像变换指令，基于原始图像，解码得到第一特征图；
[0013]基于与至少一个变换需求信息对应的多个变换网络，通过串联的所述多个变换网络对所述第一特征图依次进行图像变换处理，输出第二特征图，其中，所述多个变换网络中每个变换网络的输入和输出都互相适配；
[0014]基于所述第二特征图，重建得到目标图像。
[0015]在一种可能实施方式中，所述基于与至少一个变换需求信息对应的多个变换网络，通过串联的所述多个变换网络对所述第一特征图依次进行图像变换处理，输出第二特征图包括：
[0016]获取与至少一个变换需求信息对应的多个变换网络，每个变换网络用于进行图像变换处理；
[0017]对于每个变换网络，对上一个变换网络输出的特征图中与所述变换网络的变换需求信息所对应的特征进行变换，输出所述变换网络的特征图，所述多个变换网络中的最后一个变换网络输出所述第二特征图。
[0018]在一种可能实施方式中，所述对上一个变换网络输出的特征图中与所述变换网络的变换需求信息所对应的特征进行变换，输出所述变换网络的特征图包括：
[0019]根据所述变换网络对应的变换需求信息，确定条件张量，所述条件张量与所述变换网络对应的输入特征图的宽度和高度相同；
[0020]基于所述变换网络对应的条件张量，对上一个变换网络输出的特征图中所述变换网络对应的区域进行变换，输出所述变换网络的特征图。
[0021]在一种可能实施方式中，所述根据所述变换网络对应的变换需求信息，确定条件张量包括：
[0022]获取条件向量，所述条件向量为行向量或列向量；
[0023]将所述条件向量拓展到与所述输入特征图的宽度和高度相同，得到所述条件张量。
[0024]在一种可能实施方式中，所述基于所述变换网络对应的条件张量，对上一个变换网络输出的特征图中所述变换网络对应的区域进行变换，输出所述变换网络的特征图包括：
[0025]将所述条件张量与所述输入特征图在深度方向上相连，得到扩展张量；
[0026]将所述扩展张量依次输入多个卷积层，直到所述扩展张量的深度降维到与所述输入特征图的深度相同，输出降维张量；
[0027]根据所述降维张量获取掩膜，所述掩膜用于指示在所述输入特征图中所述变换需求信息所指示的区域；
[0028]根据所述降维张量、所述掩膜和所述输入特征图，获取所述变换网络的输出特征图。
[0029]在一种可能实施方式中，所述根据所述降维张量获取掩膜包括：
[0030]将所述降维张量输入所述变换网络的目标卷积层，对所述降维张量进行卷积处理；
[0031]将卷积处理后的张量输入激活函数，输出所述掩膜，所述激活函数用于对输入的张量进行非线性处理。
[0032]在一种可能实施方式中，所述根据所述降维张量、所述掩膜和所述输入特征图，获取所述变换网络的输出特征图包括：
[0033]将所述降维张量中与所述掩膜对应的区域保留，将所述降维张量中除了所述掩膜外的区域替换为所述输入特征图中的相应区域，得到所述输出特征图。
[0034]一方面，提供了一种图像处理装置，该装置包括：
[0035]构建模块，用于构建初始化的对抗网络，所述对抗网络包括解码网络、多个变换网络、重建网络和多个判别网络；其中，在所述解码网络后并行接入所述多个变换网络，在所述多个变换网络后接入所述重建网络，在所述重建网络后并行接入所述多个判别网络，每个判别网络与一个变换网络相对应；
[0036]训练模块，用于根据多个图像集，训练所述多个判别网络，根据所述多个判别网络的训练结果，迭代训练所述对抗网络；其中，在对所述多个变换网络和所述多个判别网络进行训练时，共享所述解码网络和所述重建网络的训练数据。
[0037]在一种可能实施方式中，所述训练模块用于：
[0038]对每个判别网络，输入与所述判别网络对应的图像集，根据所述判别网络的损失函数的数值，调整所述判别网络的参数；
[0039]将所述图像集中的原始图像输入所述对抗网络，根据所述解码网络、所述重建网络以及与所述判别网络对应的变换网络的损失函数的数值，调整所述解码网络、所述重建网络以及所述变换网络的参数；
[0040]重复执行上述调整所述判别网络的参数，以及调整所述解码网络、所述重建网络以及所述变换网络的参数的步骤，直到各个网络的损失函数的数值与理想值的差值小于预设值。
[0041]在一种可能实施方式中，所述解码网络、所述重建网络以及与所述判别网络对应的变换网络的损失函数，包括：
[0042]通过对比所述原始图像，以及所述原始图像经过解码网络和重建网络得到的图像，得到的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：构建初始化的对抗网络，所述对抗网络包括解码网络、多个变换网络、重建网络和多个判别网络；其中，在所述解码网络后并行接入所述多个变换网络，在所述多个变换网络后接入所述重建网络，在所述重建网络后并行接入所述多个判别网络，每个判别网络与一个变换网络相对应；根据多个图像集，训练所述多个判别网络，根据所述多个判别网络的训练结果，迭代训练所述对抗网络；其中，在对所述多个变换网络和所述多个判别网络进行训练时，共享所述解码网络和所述重建网络的训练数据。2.根据权利要求1所述的方法，其特征在于，所述根据多个图像集，训练所述多个判别网络，根据所述多个判别网络的训练结果，迭代训练所述对抗网络包括：对每个判别网络，输入与所述判别网络对应的图像集，根据所述判别网络的损失函数的数值，调整所述判别网络的参数；将所述图像集中的原始图像输入所述对抗网络，根据所述解码网络、所述重建网络以及与所述判别网络对应的变换网络的损失函数的数值，调整所述解码网络、所述重建网络以及所述变换网络的参数；重复执行上述调整所述判别网络的参数，以及调整所述解码网络、所述重建网络以及所述变换网络的参数的步骤，直到各个网络的损失函数的数值与理想值的差值小于预设值。3.根据权利要求2所述的方法，其特征在于，所述解码网络、所述重建网络以及与所述判别网络对应的变换网络的损失函数，包括：通过对比所述原始图像，以及所述原始图像经过解码网络和重建网络得到的图像，得到的子损失函数值。4.根据权利要求2所述的方法，其特征在于，所述解码网络、所述重建网络以及与所述判别网络对应的变换网络的损失函数，包括：通过对比所述原始图像经过所述每个变换网络得到的特征图，以及所述原始图像经过所述每个变换网络后再依次经过重建网络和解码网络得到的特征图，得到的子损失函数值。5.根据权利要求1所述的方法，其特征在于，所述多个图像集中的每个图像集对应于一个特征类别，每个所述特征类别对应于一个判别网络。6.根据权利要求5所述的方法，其特征在于，每个所述图像集包括真样本集和假样本集，所述真样本集是经过了所述图像集所对应的特征类别变换的图像，所述假样本集是经过了除了所述特征类别之外的其他特征类别变换的图像。7.根据权利要求6所述的方法，其特征在于，通过对所述图像集对应的判别网络的训练，使得所述判别网络对所述真样本集输出1，对所述假样本集输出0。8.根据权利要求1至7中任一项所述的方法，其特征在于，所述每个变换网络的输入为所述解码网络的输出，所述每个变换网络的输出为所述重建网络的输入。9.根据权利要求1至7中任一项所述的方法，其特征在于，当训练完毕的所述对抗网络中的所述解码网络、所述多个变换网络中的至少一个、以及所述重建网络依次连接时，将原
始图像输入所述依次连接的各个网络，变换得到目标图像。10.一种图像处理方法，其特征在于，所述方法包括：根据图像变换指令，基于原始图像，解码得到第一特征图；基于与至少一个变换需求信息对应的多个变换网络，通过串联的所述多个变换网络对所述第一特征图依次进行图像变换处理，输出第二特征图，其中，所述多个变换网络中每个变换网络的输入和输出都互相适配；基于所述第二特征图，重建得到目标图像。11.根据权利要求10所述的方法，其特征在于，所述基于与至少一个变换需求信息对应的多个变换网络，通过串联的所述多个变换网络对所述第一特征图依次进行图像变换处理，输出第二特征图包括：获取与至少一个变换...

【专利技术属性】
技术研发人员：揭泽群，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：