本公开提供一种图像风格迁移模型的训练方法、装置及电子设备，涉及图像处理技术领域。该方法包括：利用正向网络和逆向网络对非成对样本图像进行处理，确定第一损失值；非成对样本图像包括具有第一风格的第一图像和/或具有第二风格的第二图像；利用正向网络和逆向网络中的至少一个网络，对成对样本图像进行处理，确定第二损失值；成对样本图像包括具有第一风格的第三图像和对第三图像进行处理得到的具有第二风格的第四图像组成的图像组；基于第一损失值和第二损失值，对正向网络和逆向网络进行训练，得到训练后的正向网络和逆向网络。该方法减少了图像风格迁移模型的训练对成对数据的依赖，提升了训练速度，且使模型训练的结果更可控。果更可控。果更可控。
【技术实现步骤摘要】
一种图像风格迁移模型的训练方法、装置及电子设备
[0001]本公开涉及计算机
，尤其涉及一种图像风格迁移模型的训练方法、装置及电子设备。
技术介绍
[0002]相关技术在对用于图像风格迁移的模型进行训练时，常通过监督学习和弱监督学习的方式对模型进行训练；但基于监督学习的训练方式，需要大量的成对图像数据，即具有原始风格的原始图像和对原始图像进行风格转换后得到的具有另一个风格的图像组成的图像组，模型的训练对成对图像数据具有很强的依赖性；基于弱监督学习的训练方式，由于没有成对图像数据的限制，训练过程中模型收敛的速度慢，且训练得到的模型对图像进行风格迁移的准确度低，容易出现图像的细节模糊等问题；因此，如何简化图像风格迁移模型的训练过程，以提升图像风格迁移模型对图像处理的准确度，成为了需要考虑的问题。
技术实现思路
[0003]本公开实施例提供一种图像风格迁移模型的训练方法、装置及电子设备，用于简化图像风格迁移模型的训练过程，以提升图像风格迁移模型对图像处理的准确度。
[0004]本公开第一方面，提供一种图像风格迁移模型的训练方法，包括：
[0005]利用正向网络和逆向网络对非成对样本图像进行处理，确定所述正向网络和所述逆向网络对图像进行处理的第一损失值；所述非成对样本图像包括具有第一风格的第一图像和/或具有第二风格的第二图像；所述正向网络用于对具有所述第一风格的图像进行处理得到具有所述第二风格的图像；所述逆向网络用于对具有所述第二风格的图像进行处理得到具有所述第一风格的图像；
[0006]利用所述正向网络和所述逆向网络中的至少一个网络，对成对样本图像进行处理，确定所述至少一个网络对图像进行处理的第二损失值；所述成对样本图像包括具有第一风格的第三图像和对所述第三图像进行处理得到的具有第二风格的第四图像组成的图像组；
[0007]基于所述第一损失值和所述第二损失值，对所述正向网络和所述逆向网络进行训练，得到训练后的正向网络和逆向网络。
[0008]在一种可能的实现方式中，所述利用正向网络和逆向网络对非成对样本图像进行处理，确定所述正向网络和所述逆向网络对图像进行处理的第一损失值的步骤，包括：
[0009]将所述非成对样本图像输入串行连接的正向网络和逆向网络进行处理，得到第一参考图像，并基于所述非成对样本图像与所述第一参考图像的像素差，确定所述第一损失值。
[0010]在一种可能的实现方式中，所述将所述非成对样本图像输入串行连接的正向网络和逆向网络进行处理，得到第一参考图像的步骤，包括：
[0011]当所述非成对样本图像为所述第一图像时，采用所述正向网络对所述第一图像进
行正向风格处理，得到具有所述第二风格的第一参照图像，采用所述逆向网络对所述第一参照图像进行逆向风格处理，得到具有所述第一风格的第一参考图像；
[0012]当所述非成对样本图像为所述第二图像时，采用所述逆向网络对所述第二图像进行逆向风格处理，得到具有所述第一风格的第二参照图像，采用所述正向网络对所述第二参照图像进行正向风格处理，得到具有所述第二风格的第一参考图像。
[0013]在一种可能的实现方式中，所述非成对样本包括所述第一图像和所述第二图像时，所述基于所述非成对样本图像与所述第一参考图像的像素差，确定所述正向网络和所述逆向网络对图像进行处理的第一损失值的步骤，包括：
[0014]基于所述具有所述第一风格的第一参考图像与所述第一图像的像素差，确定所述第一图像的第一变换损失值；以及
[0015]基于所述具有所述第二风格的第一参考图像与所述第二图像的像素差，确定所述第二图像的第二变换损失值；
[0016]根据所述第一变换损失值和所述第二变换损失值，确定所述第一损失值。
[0017]在一种可能的实现方式中，所述基于所述正向网络和所述逆向网络中的至少一个网络，对成对样本图像进行处理的结果，确定所述至少一个网络对图像进行处理的第二损失值的步骤，包括：
[0018]采用所述正向网络和所述逆向网络中的至少一个网络，对目标样本图像进行处理，得到第二参考图像，基于所述第二参考图像与所述目标样本图像对应的参照样本图像的像素差，确定所述第二损失值；其中所述目标样本图像为所述第三图像时，所述参照样本图像为所述第四图像，所述目标样本图像为所述第四图像时，所述参照样本图像为所述第三图像。
[0019]在一种可能的实现方式中，所述采用所述正向网络和所述逆向网络中的至少一个网络，对目标样本图像进行处理，得到第二参考图像的步骤，包括：
[0020]所述目标样本图像为所述第三图像，所述参照样本图像为所述第四图像时，采用所述正向网络对所述第三图像进行正向风格处理，得到具有所述第二风格的第二参考图像；
[0021]所述目标样本图像为所述第四图像，所述参照样本图像为所述第三图像时，采用所述逆向网络对所述第四图像进行逆向风格处理，得到具有所述第一风格的第二参考图像。
[0022]在一种可能的实现方式中，所述目标样本图像包括所述第三图像和所述第四图像，所述基于所述第二参考图像与所述目标样本图像对应的参照样本图像的像素差，确定所述第二损失值的步骤，包括：
[0023]基于所述具有所述第二风格的第二参考图像，和所述第三图像对应的第四图像的像素差，确定所述第三图像的第三变换损失值；以及
[0024]基于所述具有所述第一风格的第二参考图像，和所述第四图像对应的第三图像的像素差，确定所述第四图像的第四变换损失值；
[0025]根据所述第三图像的第三变换损失值和所述第四图像的第四变换损失值，确定所述第二损失值。
[0026]在一种可能的实现方式中，所述基于所述第一损失值和所述第二损失值，对所述
正向网络和所述逆向网络进行训练的步骤，包括：
[0027]将所述第一损失值和所述第二损失值的加权求和的结果，确定为综合损失值；
[0028]基于所述综合损失值，对所述正向网络和所述逆向网络进行训练。
[0029]本公开第二方面，提供一种图像风格迁移模型的训练装置，包括：
[0030]第一图像处理单元，被配置为执行利用正向网络和逆向网络对非成对样本图像进行处理，确定所述正向网络和所述逆向网络对图像进行处理的第一损失值；所述非成对样本图像包括具有第一风格的第一图像和/或具有第二风格的第二图像；所述正向网络用于对具有所述第一风格的图像进行处理得到具有所述第二风格的图像；所述逆向网络用于对具有所述第二风格的图像进行处理得到具有所述第一风格的图像；
[0031]第二图像处理单元，被配置为执行利用所述正向网络和所述逆向网络中的至少一个网络，对成对样本图像进行处理，确定所述至少一个网络对图像进行处理的第二损失值；所述成对样本图像包括具有第一风格的第三图像和对所述第三图像进行处理得到的具有第二风格的第四图像组成的图像组；
[0032]训练单元，被配置为执行基于所述第一损失值和所述第二损失值，对所述正向网络和所述逆本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种图像风格迁移模型的训练方法，其特征在于，包括：利用正向网络和逆向网络对非成对样本图像进行处理，确定所述正向网络和所述逆向网络对图像进行处理的第一损失值；所述非成对样本图像包括具有第一风格的第一图像和/或具有第二风格的第二图像；所述正向网络用于对具有所述第一风格的图像进行处理得到具有所述第二风格的图像；所述逆向网络用于对具有所述第二风格的图像进行处理得到具有所述第一风格的图像；利用所述正向网络和所述逆向网络中的至少一个网络，对成对样本图像进行处理，确定所述至少一个网络对图像进行处理的第二损失值；所述成对样本图像包括具有第一风格的第三图像和对所述第三图像进行处理得到的具有第二风格的第四图像组成的图像组；基于所述第一损失值和所述第二损失值，对所述正向网络和所述逆向网络进行训练，得到训练后的正向网络和逆向网络。2.如权利要求1所述的方法，其特征在于，所述利用正向网络和逆向网络对非成对样本图像进行处理，确定所述正向网络和所述逆向网络对图像进行处理的第一损失值的步骤，包括：将所述非成对样本图像输入串行连接的正向网络和逆向网络进行处理，得到第一参考图像，并基于所述非成对样本图像与所述第一参考图像的像素差，确定所述第一损失值。3.如权利要求2所述的方法，其特征在于，所述将所述非成对样本图像输入串行连接的正向网络和逆向网络进行处理，得到第一参考图像的步骤，包括：当所述非成对样本图像为所述第一图像时，采用所述正向网络对所述第一图像进行正向风格处理，得到具有所述第二风格的第一参照图像，采用所述逆向网络对所述第一参照图像进行逆向风格处理，得到具有所述第一风格的第一参考图像；当所述非成对样本图像为所述第二图像时，采用所述逆向网络对所述第二图像进行逆向风格处理，得到具有所述第一风格的第二参照图像，采用所述正向网络对所述第二参照图像进行正向风格处理，得到具有所述第二风格的第一参考图像。4.如权利要求3所述的方法，其特征在于，所述非成对样本包括所述第一图像和所述第二图像时，所述基于所述非成对样本图像与所述第一参考图像的像素差，确定所述正向网络和所述逆向网络对图像进行处理的第一损失值的步骤，包括：基于所述具有所述第一风格的第一参考图像与所述第一图像的像素差，确定所述第一图像的第一变换损失值；以及基于所述具有所述第二风格的第一参考图像与所述第二图像的像素差，确定所述第二图像的第二变换损失值；根据所述第一变换损失值和所述第二变换损失值，确定所述第一损失值。5.如权利要求1所述的方法，其特征在于，所述基于所述正向网络和所述逆向网络中的至少一个网络，对成对样本图像进行处理的结果，确定所述至少一个网络对图像进行处理的第二损失值的步骤，包括：采用所述正向网络和所述逆向网络中的至少一个网络，对目标样本图像进行处理，得到第...
【专利技术属性】
技术研发人员：黄海斌，马重阳，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。