视频图像的处理方法及装置、电子设备、存储介质制造方法及图纸

本申请公开了一种视频图像的处理方法及装置、电子设备、存储介质，其中，所述方法包括：获取N帧第一图像帧；利用第一网络模块对所述N帧第一图像帧中的每帧第一图像帧进行超分辨率重建，得到N帧第二图像帧；利用第二网络模块对所述N帧第二图像帧进行对齐融合处理，得到结果帧。

【技术实现步骤摘要】
视频图像的处理方法及装置、电子设备、存储介质
本申请涉及计算机
，尤其涉及一种视频图像的处理方法及装置、电子设备、存储介质。
技术介绍
针对视频图像的处理，在一些方案中，只是简单的把视频中的多帧图像帧直接送入到一个网络模块中进行训练，该方案在对多帧图像帧进行训练时，多个图像帧中存在的模糊、噪声、下采样以及压缩等会增加网络模块训练的难度，且无法使最终得到的视频图像的达到较好的显示效果。
技术实现思路
为解决上述技术问题，本申请实施例提供了一种视频图像的处理方法及装置、电子设备、存储介质。本申请实施例提供了一种视频图像的处理方法，所述方法包括：获取N帧第一图像帧；利用第一网络模块对所述N帧第一图像帧中的每帧第一图像帧进行超分辨率重建，得到N帧第二图像帧；利用第二网络模块对所述N帧第二图像帧进行对齐融合处理，得到结果帧。本申请实施例还提供了一种视频图像的处理装置，所述装置包括：输入模块，用于获取N帧第一图像帧，将所述N帧第一图像帧输入第一模块；第一网络模块，用于对所述N帧第一图像帧中的每帧第一图像帧进行超分辨率重建，得到N帧第二图像帧；第二网络模块，用于对所述N帧第二图像帧进行对齐融合处理，得到结果帧。本申请实施例还提供了一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述实施例所述的视频图像的处理方法。本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述实施例所述的视频图像的处理方法。本申请实施例的技术方案，通过获取N帧第一图像帧；利用第一网络模块对所述N帧第一图像帧中的每帧第一图像帧进行超分辨率重建，得到N帧第二图像帧；利用第二网络模块对所述N帧第二图像帧进行对齐融合处理，得到结果帧。如此，能够首先利用第一网络模块分别对获取的低质量的N帧第一图像帧进行超分辨率重建，降低N帧第一图像帧的噪声和模糊程度，提高N帧第一图像帧中每一帧图像帧的质量；在第一网络模块输出高质量的N帧第二图像帧后，在利用第二网络模块对N帧第二图像帧进行处理时，能够隔离初始的N帧第一图像帧中所包含的噪声的干扰，使得第二模块能够专注于实现多帧第二图像帧中有效信息的融合利用，提高最终获得的图像帧的质量。此外，通过将N帧第一图像帧的图像处理过程划分成第一网络模块和第二网络模块两个子网络来实现，能够提高整个图像处理任务的灵活性。附图说明图1为本申请实施例提供的几种视频图像处理方法；图2为利用终端设备拍摄的3帧图像的显示效果示意图；图3为本申请实施例提供的视频图像的处理方法流程示意图；图4为本申请实施例提供的视频图像处理流程示意图一；图5为本申请实施例提供的视频图像处理流程示意图二；图6为本申请实施例提供的第一网络模块的示意图一；图7为本申请实施例提供的第一网络模块的示意图二；图8为本申请实施例提供的第二网络模块的示意图一；图9为本申请实施例提供的第二网络模块的示意图二；图10为本申请实施例提供的视频图像的处理装置的结构组成示意图。具体实施方式为了能够更加详尽地了解本申请的特点与
技术实现思路
，下面结合附图对本申请的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本申请。图1为本申请实施例列举的几种视频图像处理方法，如图1所示，视频图像处理算法，主要分为两大类，一类是基于卷积神经网络(CNN，ConvolutionalNeuralNetwork)的视频图像处理算法，另一类是非CNN的视频图像处理传统算法。目前在研究视频图像处理技术时，通常会有两种思路，一种是将视频中的每一帧图像帧当成单独的图像进行重建，再将重建后的每一帧拼接起来，形成最终的结果视频；另一种是利用视频的时域特征，当重建某一帧图像帧时，利用视频中与该帧图像帧前后相邻的多个图像帧进行算法的研发。对于视频图像的处理，在一种具体的方案中，通过使用具有二阶段运动补偿的卷积神经网络实现视频图像的处理。该方案具体包括如下步骤：1、接受具有第一多个帧的视频，该第一多个帧具有第一分辨率；2、基于第一类型的运动补偿从第一多个帧生成多个变形帧；3、生成具有第二分辨率的第二多个帧，其中第二分辨率属于比第一分辨率更高的分辨率；4、使用卷积神经网络从多个变形帧的子组获得具有第二分辨率的第二多个帧中的每一帧；5、基于第二类型的运动补偿生成具有第二分辨率的第三多个帧；6、从第二多个帧的子组的融合获得具有第二分辨率的第三多个帧中的每一帧。此方案对于低分辨率的图像帧和高分辨率的图像帧都需要进行运动补偿，增加了算法的复杂度，导致网络的收敛性能较差。并且，此方案也不适用于需要进行1:1的视频质量增强的场景。在另一种具体的方案中，主要基于残差学习和隐式运动补偿实现视频图像的重建。该方案具体包括如下步骤：1、分别训练不同放大倍数的卷积神经网络模型；2、将相邻低分辨率图像帧作为输入，通过上一步骤训练的网络模型，得到最终的重建结果。此方案只是将视频中相邻的3帧，简单的送入到CNN网络中，无法充分利用视频中的多帧信息。上述两种方案中，在利用视频中的多个图像帧获得重建后的图像帧时，都只是简单的将从视频中获取的多个图像帧直接输入至一个网络模块中，利用该网络模块同时对多个图像帧进行训练。然而，如图2所示，终端设备拍摄并生成的图像帧中往往存在多种降质类型，如模糊、噪声、下采样和压缩等，图像帧在显示时存在明显的模糊和噪声，如果利用一个网络模块直接对包括噪声和模糊的多个图像帧进行融合并进行后续的特征学习和训练，图像帧中存在的模糊和高强度的噪声会增加网络后续处理过程的难度，导致网络模块陷入局部最优解，甚至使网络模块的训练过程无法收敛，降低利用网络模块最终训练得到的图像帧的质量。下面，基于以上方案存在的问题，提出本申请各实施例的技术方案。图3为本申请实施例提供的视频图像的处理方法的流程示意图，如图3所示，所述方法包括如下步骤：步骤301：获取N帧第一图像帧。本申请实施例中，N帧第一图像帧是从待进行图像处理的视频中获取的，N的取值可以扩展到大于等于1的任意整数，N帧第一图像帧可以是待进行图像处理的视频中连续的N帧第一图像帧，也可以是从连续的M帧第一图像帧中(M为大于N的整数)选取出的不连续的N帧第一图像帧。这里，若N帧第一图像帧不连续，则需要保证N帧第一图像帧中的任意两帧第一图像帧之间的时间间隔小于设定的时间阈值。本申请实施例中，N帧第一图像帧可以是从待进行图像处理的视频中直接获取的，是待进行图像处理的视频中原始的N帧图像帧，也可以是将原始的N帧图像帧进行一定的处理后得到的N帧图像帧。在一种具体的实施方式中，可以通过如下方式来获取N帧第一图像帧：获取待进行图像处理的视频，并从所述视频中获取N帧第三图像帧；从所述N帧第三图像帧中提取特定通道的图像数据，得到所述本文档来自技高网...

【技术保护点】
1.一种视频图像的处理方法，其特征在于，所述方法包括：/n获取N帧第一图像帧；/n利用第一网络模块对所述N帧第一图像帧中的每帧第一图像帧进行超分辨率重建，得到N帧第二图像帧；/n利用第二网络模块对所述N帧第二图像帧进行对齐融合处理，得到结果帧。/n

【技术特征摘要】
1.一种视频图像的处理方法，其特征在于，所述方法包括：
获取N帧第一图像帧；
利用第一网络模块对所述N帧第一图像帧中的每帧第一图像帧进行超分辨率重建，得到N帧第二图像帧；
利用第二网络模块对所述N帧第二图像帧进行对齐融合处理，得到结果帧。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
从所述N帧第一图像帧中选取第一关键帧，所述第一关键帧为所述N帧第一图像帧中的一帧图像帧；
其中，所述第一关键帧通过所述第一网络模块进行超分辨重建后得到第二关键帧，所述第二关键帧为所述N帧第二图像帧中的一帧图像帧。


3.根据权利要求2所述的方法，其特征在于，所述利用第二网络模块对所述N帧第二图像帧进行对齐融合处理，得到结果帧，包括：
利用所述第二网络模块将N-1帧第二图像帧中的每一帧第二图像帧分别与所述第二关键帧进行对齐融合处理，得到N-1个第一融合帧；所述N-1帧第二图像帧为所述N帧第二图像帧中除所述第二关键帧以外的图像帧；
利用所述第二网络模块对所述N-1个第一融合帧中的每两个第一融合帧进行对齐融合处理，得到M个第二融合帧；M为大于等于1且小于N-1的整数；
基于所述M个第二融合帧获取结果帧。


4.根据权利要求3所述的方法，其特征在于，所述基于所述M个第二融合帧获取结果帧，包括：
所述M等于1的情况下，将所述第二融合帧确定为结果帧；
所述M大于1的情况下，利用所述第二网络模块对所述M个第二融合帧中的每两个第二融合帧进行对齐融合处理；若获得的融合帧的数目为1，则将获得的融合帧确定为结果帧；若获得的融合帧的数目大于1，则继续利用所述第二网络模块对获得的多个融合帧中的每两个融合帧进行对齐融合处理，直到获得的融合帧的数目为1。


5.根据权利要求1所述的方法，其特征在于，所述第一网络模块包括残差网络；其中，
所述利用第一网络模块对所述N帧第一图像帧中的每帧第一图像帧进行超分辨率重建，得到N帧第二图像帧，包括：
对于所述N帧第一图像帧中的每帧第一图像帧，通过所述残差网络对该帧第一图像帧进行特征学习，得到该帧第一图像帧对应的特征图像；
将该帧第一图像帧与所述特征图像进行拼接处理，得到第二图像帧。


6.根据权利要求1所述的方法，其特征在于，所述第一网络模块包括多级特征提取网络；其中，
所述利用第一网络模块对所述N帧第一图像帧中的每帧第一图像帧进行超分辨率重建，得到N帧第二图像帧，包括：
对于所述N帧第一图像帧中的每帧第一图像帧，...

【专利技术属性】
技术研发人员：李兴龙，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：广东;44