风格迁移模型的训练方法、视频风格迁移的方法以及装置制造方法及图纸

本申请公开了人工智能领域中的一种风格迁移模型的训练方法、视频风格迁移的方法以及装置，包括：获取训练数据；通过神经网络模型根据样本风格图像对N帧样本内容图像进行图像风格迁移处理，得到N帧预测合成图像；根据N帧样本内容图像与N帧预测合成图像之间的图像损失函数，确定神经网络模型的参数，图像损失函数包括低秩损失函数，低秩损失函数用于表示第一低秩矩阵与第二低秩矩阵之间的差异，第一低秩矩阵是基于N帧样本内容图像与光流信息得到的，第二低秩矩阵是基于N帧预测合成图像与光流信息得到的，光流信息用于表示N帧样本内容图像中相邻两帧图像之间对应像素点的位置差异。本申请的技术方案能够提高视频在风格迁移处理后的稳定性。

【技术实现步骤摘要】
风格迁移模型的训练方法、视频风格迁移的方法以及装置
本申请涉人工智能领域，更具体地，涉及计算机视觉领域中的风格迁移模型的训练方法、视频风格迁移的方法以及装置。
技术介绍
人工智能(artificialintelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。图像风格迁移等图像渲染任务在终端设备上具有广泛的应用需求场景。随着终端设备的性能和网络性能的高速提升，终端设备的娱乐需求渐渐从图像级别转为了视频级别，即从对单张图像的图像风格迁移处理转为对视频的图像风格迁移处理；与图像风格迁移任务相比，视频风格迁移任务不仅要考虑图像的风格化效果，还要考虑视频包括的多帧图像之间的稳定性，从而确保经过图像风格迁移处理后的视频的流畅性。因此，如何提高视频在图像迁移处理后的稳定性成为一个亟需解决的问题。
技术实现思路
本申请提供一种风格迁移模型的训练方法、视频风格迁移的方法及装置，通过在训练用于视频的风格迁移模型的过程中引入了低秩损失函数，能够同步风格迁移后的视频与原始视频的稳定性，从而能够提高目标迁移模型得到的风格迁移处理后视频的稳定性。第一方面，提供了一种风格迁移模型的训练方法，包括：获取训练数据，其中，所述训练数据包括N帧样本内容图像、样本风格图像以及N帧合成图像，所述N帧合成图像是根据所述样本风格图像对所述N帧样本内容图像进行图像风格迁移处理后得到的图像，N为大于或者等于2的整数；通过神经网络模型根据所述样本风格图像对所述N帧样本内容图像进行图像风格迁移处理，得到N帧预测合成图像；根据所述N帧样本内容图像与所述N帧预测合成图像之间的图像损失函数，确定所述神经网络模型的参数，其中，所述图像损失函数包括低秩损失函数，所述低秩损失函数用于表示第一低秩矩阵与第二低秩矩阵之间的差异，所述第一低秩矩阵是基于所述N帧样本内容图像与光流信息得到的，所述第二低秩矩阵是基于所述N帧预测合成图像与所述光流信息得到的，所述光流信息用于表示所述N帧样本内容图像中相邻两帧图像之间对应像素点的位置差异。应理解，对于多帧图像构成的矩阵中，低秩矩阵可以用于表示N帧图像中都出现且不是运动边界的区域。稀疏矩阵可以用于表示N帧图像中间歇性出现的区域；例如，稀疏矩阵可以是指由于摄像机移动而在图像边界新出现或消失的区域，或者，移动物体的边界区域。在本申请的实施例中，在训练用于视频风格迁移处理的目标风格迁移模型时引入低秩损失函数，通过引入低秩损失函数可以使得待处理视频中相邻多帧图像中都出现且不是运动边界的区域在经过风格迁移处理后仍保持相同，即使得风格迁移处理后的视频中该区域的秩逼近于待处理视频该区域的秩，从而能够提高风格迁移处理后视频的稳定性。应理解，图像风格迁移处理是指将一幅具有风格迁移需要的图像即内容图像A中的图像内容与一幅风格图像B的图像风格进行融合的处理，从而生成一张具有图像A的内容和图像B的风格的合成图像C，或者成为融合图像C。其中，风格图像可以是指进行风格迁移处理的参考图像，图像中的风格可以包括图像的纹理特征、图像的艺术表现形式；比如，著名画作的风格，图像的艺术表现形式可以包括卡通、漫画、油画、水彩、水墨等图像风格；内容图像可以是指需要进行风格迁移的图像，图像中的内容可以是指图像中的语义信息，即可以包括内容图像中的高频信息、低频信息等。在一种可能的实现方式中，第一低秩矩阵是基于N帧样本内容图像与光流信息得到的；比如，第一低秩矩阵可以是指通过计算N帧样本内容图像中相邻图像帧之间的光流信息；根据光流信息可以得到掩码信息，其中，光流信息用于表示相邻帧图像对应的像素点的运行信息，掩码信息可以用于表示通过根据光流信息得到的连续两帧图像中的变化区域；进一步，根据光流信息与掩码信息将N帧样本内容图像映射到固定一帧图像，将映射处理后的N帧样本内容图像分别展成向量并按列组合成一个矩阵，则该矩阵为第一低秩矩阵。同理，第二低秩矩阵可以是基于N帧预测合成图像与光流信息得到的，根据光流信息与掩码信息将N帧预测合成图像映射到固定一帧图像，将映射处理后的N预测合成图像分别展成向量并按列组合成一个矩阵，则该矩阵为第二低秩矩阵，其中，光流信息用于表示N帧样本内容图像中相邻两帧图像之间对应像素点的位置差异。结合第一方面，在第一方面的某些实现方式中，所述图像损失函数还包括残差损失函数，所述残差损失函数是根据第一样本合成图像与第二样本合成图像之间的差异得到的，其中，所述第一样本合成图像是指通过第一模型对所述N帧样本内容图像进行图像风格迁移处理得到的图像，所述第二样本合成图像是指通过第二模型对所述N帧样本内容图像进行图像风格迁移处理得到的图像，所述第一模型与所述第二模型是根据所述样本风格图像预先训练的图像风格迁移模型，所述第二模型包括光流模块，所述第一模型不包括所述光流模块，所述光流模块用于确定所述光流信息。在本申请实施例中，在训练目标风格迁移模型时引入残差损失函数的目标在于使得神经网络模型在训练的过程中能够学习包括光流模块的风格迁移模型与不包括光流模块的风格迁移模型输出的合成图像的差异，从而能够提高目标迁移模型得到的风格迁移处理后视频的稳定性。应理解，第一样本合成图像与第二样本合成图像之间的差异可以是指第一样本合成图像与第二样本合成图像对应的像素值之间的差值。在一种可能的实现方式中，第一模型与第二模型在训练阶段可以采用相同的样本内容图像以及样本风格图像；例如，在训练阶段第一模型与第二模型可以是指相同的模型；但是，在测试阶段第二模型还需要计算多帧样本内容图像之间的光流信息；而第一模型则不需要计算多帧图像之间的光流信息。结合第一方面，在第一方面的某些实现方式中，所述第一模型与所述第二模型为预先训练的老师模型，所述目标风格迁移模型是指根据所述残差损失函数与知识蒸馏算法对待训练的学生模型进行训练得到的目标学生模型。在一种可能的实现方式中，目标风格迁移模型可以是指目标学生模型，在训练目标学生模型时可以根据预先训练的第一老师模型(不包括光流模块)、预先训练的第二老师模型(包括光流模块)、预先训练的基础模型对一个待训练的学生模型进行训练，从而得到目标学生模型；其中，待训练的学生模型、预先训练的基础模型以及目标学生模型的网络结构均相同，通过上述低秩损失函数、残差损失函数以及感知损失函数对待训练的学生模型进行训练，从而得到目标学生模型。其中，上述预先训练的基础模型可以是指预先通过感知损失函数训练得到的在测试阶段不包括光流模块的风格迁移模型；或者，预先训练的风格迁移模型可以是指通过感知损失函数以及光流损失函数预先训练的在测试阶段不包括光流模块的风格迁移模型；感知损失函数用于表示合成图像与内容图像之本文档来自技高网...

【技术保护点】
1.一种风格迁移模型的训练方法，其特征在于，包括：/n获取训练数据，其中，所述训练数据包括N帧样本内容图像、样本风格图像以及N帧合成图像，所述N帧合成图像是根据所述样本风格图像对所述N帧样本内容图像进行图像风格迁移处理后得到的图像，N为大于或者等于2的整数；/n通过神经网络模型根据所述样本风格图像对所述N帧样本内容图像进行图像风格迁移处理，得到N帧预测合成图像；/n根据所述N帧样本内容图像与所述N帧预测合成图像之间的图像损失函数，确定所述神经网络模型的参数，/n其中，所述图像损失函数包括低秩损失函数，所述低秩损失函数用于表示第一低秩矩阵与第二低秩矩阵之间的差异，所述第一低秩矩阵是基于所述N帧样本内容图像与光流信息得到的，所述第二低秩矩阵是基于所述N帧预测合成图像与所述光流信息得到的，所述光流信息用于表示所述N帧样本内容图像中相邻两帧图像之间对应像素点的位置差异。/n

【技术特征摘要】
1.一种风格迁移模型的训练方法，其特征在于，包括：
获取训练数据，其中，所述训练数据包括N帧样本内容图像、样本风格图像以及N帧合成图像，所述N帧合成图像是根据所述样本风格图像对所述N帧样本内容图像进行图像风格迁移处理后得到的图像，N为大于或者等于2的整数；
通过神经网络模型根据所述样本风格图像对所述N帧样本内容图像进行图像风格迁移处理，得到N帧预测合成图像；
根据所述N帧样本内容图像与所述N帧预测合成图像之间的图像损失函数，确定所述神经网络模型的参数，
其中，所述图像损失函数包括低秩损失函数，所述低秩损失函数用于表示第一低秩矩阵与第二低秩矩阵之间的差异，所述第一低秩矩阵是基于所述N帧样本内容图像与光流信息得到的，所述第二低秩矩阵是基于所述N帧预测合成图像与所述光流信息得到的，所述光流信息用于表示所述N帧样本内容图像中相邻两帧图像之间对应像素点的位置差异。


2.如权利要求1所述的训练方法，其特征在于，所述图像损失函数还包括残差损失函数，所述残差损失函数是根据第一样本合成图像与第二样本合成图像之间的差异得到的，
其中，所述第一样本合成图像是指通过第一模型对所述N帧样本内容图像进行图像风格迁移处理得到的图像，所述第二样本合成图像是指通过第二模型对所述N帧样本内容图像进行图像风格迁移处理得到的图像，所述第一模型与所述第二模型是根据所述样本风格图像预先训练的图像风格迁移模型，所述第二模型包括光流模块，所述第一模型不包括所述光流模块，所述光流模块用于确定所述光流信息。


3.如权利要求2所述的训练方法，其特征在于，所述第一模型与所述第二模型为预先训练的老师模型，所述目标风格迁移模型是指根据所述残差损失函数与知识蒸馏算法对待训练的学生模型进行训练得到的目标学生模型。


4.如权利要求3所示的训练方法，其特征在于，所述残差损失函数是根据以下等式得到的，



其中，Lres表示所述残差损失函数；NT表示所述第二模型；表示所述第一模型；NS表示所述待训练的学生模型；表示预先训练的基础模型，所述预先训练的基础模型与所述待训练的学生模型的网络结构相同；xi表示所述样本视频中包括的第i帧样本内容图像，i为正整数。


5.如权利要求1至4中任一项所述的训练方法，其特征在于，所述图像损失函数还包括感知损失函数，其中，所述感知损失函数包括内容损失与风格损失，所述内容损失用于表示所述N帧预测合成图像与其对应的所述N帧样本内容图像之间的图像内容差异，所述风格损失用于表示所述N帧预测合成图像与所述样本风格图像之间的图像风格差异。


6.如权利要求5所述的训练方法，其特征在于，所述图像损失函数是通过对所述低秩损失函数、所述残差损失函数以及所述感知损失函数加权处理得到的。


7.如权利要求1至6中任一项所述的训练方法，其特征在于，所述目标风格迁移模型的参数是基于所述图像损失函数通过反向传播算法多次迭代得到的。


8.一种视频风格迁移的方法，其特征在于，包括：
获取待处理视频，其中，所述待处理视频包括N帧待处理内容图像，N为大于或者等于2的整数；
根据目标风格迁移模型对所述N帧待处理内容图像进行图像风格迁移处理，得到N帧合成图像；
根据所述N帧合成图像，得到所述待处理视频对应的风格迁移处理后的视频，
其中，所述目标风格迁移模型的参数是根据所述目标风格迁移模型对N帧样本内容图像进行风格迁移处理的图像损失函数确定的，所述图像损失函数包括低秩损失函数，所述低秩损失函数用于表示第一低秩矩阵与第二低秩矩阵之间的差异，所述第一低秩矩阵是基于所述N帧样本内容图像与光流信息得到的，所述第二低秩矩阵是基于N帧预测合成图像与所述光流信息得到的，所述光流信息用于表示所述N帧样本内容图像中相邻两帧图像之间对应像素点的位置差异，所述N帧预测合成图像是指通过所述目标风格迁移模型根据样本风格图像对所述N帧样本内容图像进行图像风格迁移处理后得到的图像。


9.如权利要求8所述的方法，其特征在于，所述图像损失函数还包括残差损失函数，所述残差损失函数是根据第一样本合成图像与第二样本合成图像之间的差异得到的，
其中，所述第一样本合成图像是指通过第一模型对所述N帧样本内容图像进行图像风格迁移处理得到的图像，所述第二样本合成图像是指通过第二模型对所述N帧样本内容图像进行图像风格迁移处理得到的图像，所述第一模型与所述第二模型是根据所述样本风格图像预先训练的图像风格迁移模型，所述第二模型包括光流模块，所述第一模型不包括所述光流模块，所述光流模块用于确定所述光流信息。


10.如权利要求9所述的方法，其特征在于，所述第一模型与所述第二模型为预先训练的老师模型，所述目标风格迁移模型是指根据所述残差损失函数与知识蒸馏算法对待训练的学生模型进行训练得到的目标学生模型。


11.如权利要求10所示的方法，其特征在于，所述残差损失函数是根据以下等式得到的，



其中，Lres表示所述残差损失函数；NT表示所述第二模型；表示所述第一模型；NS表示所述待训练的学生模型；表示预先训练的风格迁移模型，所述预先训练的风格迁移模型与所述待训练的学生模型的网络结构相同；xi表示所述样本视频中包括的第i帧样本内容图像，i为正整数。


12.如权利要求8至11中任一项所述的方法，其特征在于，所述图像损失函数还包括感知损失函数，其中，所述感知损失函数包括内容损失与风格损失，所述内容损失用于表示所述N帧预测合成图像与其对应的所述N帧样本内容图像之间的图像内容差异，所述风格损失用于表示所述N帧预测合成图像与所述样本风格图像之间的图像风格差异。


13.如权利要求12所述的方法，其特征在于，所述图像损失函数是通过对所述低秩损失函数、所述残差损失函数以及所述感知损失函数加权处理得到的。


14.如权利要求8至13中任一项所述的方法，其特征在于，所述目标风格迁移模型的参数是基于所述图像损失函数通过反向传播算法多次迭代得到的。


15.一种风格迁移模型的训练装置，其特征在于，包括：
获取单元，用于获取训练数据，其中，所述训练数据包括N帧样本内容图像、样本风格图像以及N帧合成图像，所述N帧合成图像是根据所述样本风格图像对所述N帧样本内容图像...

【专利技术属性】
技术研发人员：张依曼，陈醒濠，王云鹤，许春景，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44