【技术实现步骤摘要】
本公开涉及视频超分辨率，更具体地，涉及一种视频超分辨率及模型训练方法、装置、电子设备及介质。
技术介绍
1、在视频超分辨率(video super-resolution，vsr)技术中，采用无监督的视频超分辨率算法处理低分辨率视频帧时，往往能够达到更好的视觉效果。通常，realbasicvsr作为一个开源的视频超分辨率框架，是目前学术界众多算法中，应用最多的算法之一。然而，基于现有的realbasicvsr框架在处理视频帧时，还是存在视觉效果较差的技术问题。
技术实现思路
1、本公开实施例提供了一种视频超分辨率及模型训练方法、装置、电子设备及介质。
2、根据本公开的第一方面，提供一种视频超分辨率模型训练方法，所述视频超分辨率模型包括生成器网络和判别器网络，所述视频超分辨率模型训练方法包括至少一轮训练过程，任意一轮所述训练过程包括：
3、获取样本视频帧图像；
4、将所述样本视频帧图像输入所述生成器网络，生成所述样本视频帧图像对应的超分辨率图像；
5、确定所述超分辨率图像对应的第一下采样图像和第二下采样图像；
6、将所述超分辨率图像、所述第一下采样图像和所述第二下采样图像输入所述判别器网络，通过所述判别器网络基于所述超分辨率图像、所述第一下采样图像和所述第二下采样图像，生成第一判别结果；
7、根据所述第一判别结果，构建所述视频超分辨率模型的损失，所述损失用于调整所述视频超分辨率模型的模型参数。
8、可选
9、将所述样本视频帧图像输入所述生成器网络，生成所述超分辨率图像对应的光流；
10、获取所述样本视频帧图像对应的gt光流；
11、将所述超分辨率图像对应的光流和所述gt光流输入所述判别器网络，生成所述超分辨率图像对应的光流的第一光流图、及所述gt光流的第二光流图，并通过所述判别器网络基于所述第一光流图和所述第二光流图，生成第二判别结果。
12、可选地，所述根据所述第一判别结果，构建所述视频超分辨率模型的损失，包括：
13、根据所述第一判别结果和所述第二判别结果，构建所述视频超分辨率模型的损失。
14、可选地，所述将所述超分辨率图像对应的光流和所述gt光流输入所述判别器网络，生成所述超分辨率图像对应的光流的第一光流图、及所述gt光流的第二光流图，包括：
15、将所述超分辨率图像对应的光流和所述gt光流输入所述判别器网络，通过光流专家算法分别对所述超分辨率图像对应的光流和所述gt光流进行处理，生成所述超分辨率图像对应的光流的第一光流图、及所述gt光流的第二光流图。
16、可选地，所述损失包括所述生成器网络的第一损失和所述判别器网络的第二损失，所述模型参数包括所述生成器网络的第一网络参数和所述判别器网络的第二网络参数，所述第一损失用于调整所述第一网络参数，所述第二损失用于调整所述第二网络参数。
17、根据本公开的第二方面，提供了一种视频超分辨率方法，所述方法包括：
18、获取待处理视频帧图像；
19、将所述待处理视频帧图像输入预设的视频超分辨率模型，得到所述待处理视频帧图像对应的超分辨率图像；
20、其中，所述视频超分辨率模型为根据以上第一方面得到的视频超分辨率模型。
21、根据本公开的第三方面，提供了一种视频超分辨率模型训练装置，所述视频超分辨率模型包括生成器网络和判别器网络，所述视频超分辨率模型训练方法包括至少一轮训练过程，任意一轮所述训练过程包括：
22、第一获取模块，用于获取样本视频帧图像；
23、生成模块，用于将所述样本视频帧图像输入所述生成器网络，生成所述样本视频帧图像对应的超分辨率图像；
24、确定模块，用于确定所述超分辨率图像对应的第一下采样图像和第二下采样图像；
25、判别模块，用于将所述超分辨率图像、所述第一下采样图像和所述第二下采样图像输入所述判别器网络，通过所述判别器网络基于所述超分辨率图像、所述第一下采样图像和所述第二下采样图像，生成第一判别结果；
26、构建模块，用于根据所述第一判别结果，构建所述视频超分辨率模型的损失，所述损失用于调整所述视频超分辨率模型的模型参数。
27、根据本公开的第四方面，提供了一种视频超分辨率装置，所述装置包括：
28、第二获取模块，用于获取待处理图像；
29、处理模块，用于将所述待处理图像输入预设的视频超分辨率模型，得到所述待处理图像对应的超分图像；
30、其中，所述视频超分辨率模型为根据以上第一方面得到的视频超分辨率模型。
31、根据本公开的第五方面，提供一种电子设备，包括存储器，用于存储可执行的计算机指令；处理器，用于根据所述可执行的计算机指令的控制，执行根据以上第一方面所述的视频超分辨率模型训练方法，或者执行根据以上第二方面所述的视频超分辨率方法。
32、根据本公开的第六方面，提供了一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令被处理器运行时执行以上第一方面所述的视频超分辨率模型训练方法，或者执行根据以上第二方面所述的视频超分辨率方法。
33、根据本公开实施例的视频超分辨率模型训练方法，视频超分辨率模型包括生成器网络和判别器网络，生成器网络可生成样本视频帧图像对应的超分辨率图像，判别器网络的输入包括超分辨率图像、该超分辨率图像对应的第一下采样图像和第二下采样图像，可基于超分辨率图像、该超分辨率图像对应的第一下采样图像和第二下采样图像，生成第一判别结果，进而基于第一判别结果构建视频超分辨率模型的损失。也就是说，通过本公开实施例，其是将三种不同分辨率的图像作为判别器网络的输入，以便通过判别器网络混合这三种不同分辨率的图像，获得更丰富的高分辨率图像，进而达到更好的模型训练效果。
34、通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。
本文档来自技高网...【技术保护点】
1.一种视频超分辨率模型训练方法，其特征在于，所述视频超分辨率模型包括生成器网络和判别器网络，所述视频超分辨率模型训练方法包括至少一轮训练过程，任意一轮所述训练过程包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，所述根据所述第一判别结果，构建所述视频超分辨率模型的损失，包括：
4.根据权利要求2所述的方法，其特征在于，所述将所述超分辨率图像对应的光流和所述GT光流输入所述判别器网络，生成所述超分辨率图像对应的光流的第一光流图、及所述GT光流的第二光流图，包括：
5.根据权利要求2所述的方法，其特征在于，所述损失包括所述生成器网络的第一损失和所述判别器网络的第二损失，所述模型参数包括所述生成器网络的第一网络参数和所述判别器网络的第二网络参数，所述第一损失用于调整所述第一网络参数，所述第二损失用于调整所述第二网络参数。
6.一种视频超分辨率方法，其特征在于，所述方法包括：
7.一种视频超分辨率模型训练装置，其特征在于，所述视频超分辨率模型包括生成器网络
8.一种视频超分辨率装置，其特征在于，所述装置包括：
9.一种电子设备，其特征在于，包括：
10.一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令被处理器运行时执行权利要求1-5中任意一项所述的视频超分辨率模型训练方法，或者执行根据权利要求6所述的视频超分辨率方法。
...【技术特征摘要】
1.一种视频超分辨率模型训练方法，其特征在于，所述视频超分辨率模型包括生成器网络和判别器网络，所述视频超分辨率模型训练方法包括至少一轮训练过程，任意一轮所述训练过程包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，所述根据所述第一判别结果，构建所述视频超分辨率模型的损失，包括：
4.根据权利要求2所述的方法，其特征在于，所述将所述超分辨率图像对应的光流和所述gt光流输入所述判别器网络，生成所述超分辨率图像对应的光流的第一光流图、及所述gt光流的第二光流图，包括：
5.根据权利要求2所述的方法，其特征在于，所述损失包括所述生成器网络的第一损失和所述判别器网络的第二损失，所述模型参数包括所...
【专利技术属性】
技术研发人员：刚睿鹏，方霁，马赛，张能欢，李晨，刘晨鸣，刘伟东，吕芳，吴心怡，秦贝贝，冯丽萍，王娜，闵劼，
申请(专利权)人：国家广播电视总局广播电视科学研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。