视频处理方法及其相关设备技术

本申请提供一种视频处理方法及其相关设备，涉及视频处理领域，该方法包括：获取视频码流数据；对视频码流数据解码，得到多帧初始视频帧；针对第一初始视频帧进行第一超分处理，得到第一超分视频帧；针对第二初始视频帧，结合第一超分视频帧进行第二超分处理，得到第二超分视频帧；针对第三初始视频帧，结合第一超分视频帧和第二超分视频帧进行第三超分处理，得到对应的第三超分视频帧；基于第一超分视频帧、第二超分视频帧和第三超分视频帧，得到目标视频流。本申请在解码的过程中对视频中的不同类型的视频帧进行不同的超分处理，以达到重构和修复图像、提高视频质量的目的。提高视频质量的目的。提高视频质量的目的。

【技术实现步骤摘要】
视频处理方法及其相关设备


[0001]本申请涉及视频处理领域，具体涉及一种视频处理方法及其相关设备。

技术介绍

[0002]在网络视频流行的时代，视频娱乐已经成为我们生活的一部分。为了减少视频的数据量，视频一般是使用视频编码技术进行压缩后再进行传输的，然后，再使用视频解码技术解码后进行播放，但是，在编码的过程中，通常会导致产生一些损失，进而导致后续解码出的视频分辨率下降；另外，当网络质量不好、码流低的情况下，视频分辨率还会根据网络的情况而降低，导致用户体验进一步下降。对此，亟需一种新的视频处理方法，以提高解码后的视频分辨率。

技术实现思路

[0003]本申请提供一种视频处理方法及其相关设备，通过在解码的过程中对视频中的不同类型的视频帧进行不同的超分处理，以达到重构和修复图像、提高视频质量的目的。
[0004]第一方面，提供了一种视频处理方法，包括：获取视频码流数据；对所述视频码流数据解码，得到多帧初始视频帧，多帧所述初始视频帧包括第一初始视频帧、第二初始视频帧和第三初始视频帧，所述第一初始视频帧、所述第二初始视频帧和所述第三初始视频帧对应的视频帧的类型不同；针对所述第一初始视频帧进行第一超分处理，得到第一超分视频帧；针对所述第二初始视频帧，结合所述第一超分视频帧进行第二超分处理，得到第二超分视频帧；针对所述第三初始视频帧，结合所述第一超分视频帧和所述第二超分视频帧进行第三超分处理，得到对应的第三超分视频帧；基于所述第一超分视频帧、所述第二超分视频帧和所述第三超分视频帧，得到目标视频流。
>[0005]目标视频流即为视频像素数据，可通过显示屏进行播放。
[0006]在本申请实施例中，由于针对视频码流数据中解码出的第一初始视频帧、第二初始视频帧和第三初始视频帧分别进行不同的超分处理，可以最大程度上优化视频压缩所带来的质量影响，进而得到由第一超分视频帧、第二超分视频帧和第三超分视频帧组成的高分辨率、高质量的目标视频流。
[0007]还应理解，在超分处理过程中，针对与其他类型帧相同内容可直接复用对应超分视频帧中的内容，针对与其他类型帧不同的内容才进行超分计算，从而可以在提升视频质量的同时，大幅减少计算量。
[0008]可选地，解码出的第一初始视频帧、第二初始视频帧和第三初始视频帧均为位于YUV颜色空间的图像。
[0009]结合第一方面，在第一方面的某些实现方式中，针对所述第一初始视频帧进行第一超分处理，得到第一超分视频帧，包括：对所述第一初始视频帧进行通道拆分，得到第一通道图像和第二通道图像；利用第一深度学习网络模型对所述第一通道图像进行超分处理，得到对应的第一通道超分图像；利用第一插值算法对所述第二通道图像进行超分处理，得到对应的第二通道超分图像；对所述第一通道超分图像和所述第二通道超分图像进行通道合并，得到所述第一超分视频帧。
[0010]通道拆分即根据视频帧所属颜色空间，将视频帧中的多通道信息分开。拆分后的通道数量之和等于拆分前的通道数量，拆分后的每组通道信息可以包含一个或多个通道信息。
[0011]通道合并用于指示将不同的通道信息合并成一个整体的多通道信息，通道合并与通道拆分是相反的过程。
[0012]第一初始视频帧位于YUV颜色空间；第一通道为Y通道，第二通道为UV通道。
[0013]第一深度学习网络模型为已训练好的网络模型。第一深度学习网络模型例如可以基于Unet模型、Resnet模型或PSPnet模型训练生成。
[0014]第一插值算法可以为最近邻插值法（nearest neighbour interpolation）、双线性插值、双三次插值等算法。
[0015]在本申请实施例中，基于视频码流数据中携带的视频帧类型为I帧的多个宏块，可以解码出完整的一帧分辨率相对较低的、位于YUV颜色空间的视频帧，即第一初始视频帧；然后，基于该第一初始视频帧，通过进行通道拆分，从而可以对拆分出的包含Y通道信息的第一通道图像利用第一深度学习网络模型进行超分处理，得到第一通道超分图像，以及对拆分出的包含UV通道信息的第二通道图像利用第一插值算法进行超分处理，得到第二通道超分图像；再将超分后的第一通道超分图像和第二通道超分图像进行通道组合，从而可以得到质量相对提高的第一超分视频帧。
[0016]应理解，由于第一深度学习网络模型超分处理的效果更好，速度更快，但对硬件的要求更高，成本更高，因此，本申请可以仅针对视频帧中对视频帧效果影响因素相对更大的Y通道来利用第一深度学习网络模型进行超分处理，而针对影响因素相对较小的UV通道则利用传统的插值算法进行超分处理。
[0017]此外，在另一些实施例中，当硬件的运算能力、成本满足需求时，针对第一通道图像和第二通道图像，均可以利用深度学习网络模型进行超分处理，从而以更快的处理速度得到质量更好的第一超分视频帧。
[0018]结合第一方面，在第一方面的某些实现方式中，针对所述第二初始视频帧，结合所述第一超分视频帧进行第二超分处理，得到第二超分视频帧，包括：针对所述第二初始视频帧包括的解码后的skip宏块，基于所述第一超分视频帧，确定第一局部超分区域；针对所述第二初始视频帧包括的解码后的非skip宏块，进行块超分处理，得到第二局部超分区域；基于所述第一局部超分区域和所述第二局部超分区域，得到所述第二超分视频
帧。
[0019]应理解，宏块的类型可以包括skip宏块和非skip宏块，skip宏块是指在B帧、P帧中，图像内容与其参考的帧内容完全相同的区域；相应地，非skip是指在B帧、P帧中，图像内容与其参考的帧内容不同的区域。
[0020]示例性地，针对第二初始视频帧包括的解码后的skip宏块，可以先确定其携带的、用于指示在第二初始视频帧中的位置信息；根据该位置信息，再确定对应在第一超分视频帧中的位置信息，然后，根据从第一超分视频帧中确定出的位置信息，复制该位置信息所对应的局部画面，将其作为第一局部超分区域。
[0021]第二初始视频帧位于YUV颜色空间；第一通道为Y通道，第二通道为UV通道。
[0022]在本申请实施例中，由于第二初始视频帧包括多个解码后的skip宏块，内容与第一初始视频帧的内容对应相同，又由于第一初始视频帧已进行了第一超分处理，并得到了相应质量较高的第一超分视频帧，因此，可以通过位置对应关系，从第一初始视频帧对应的第一超分视频帧中，直接获取与skip宏块内容相同但分辨率更高、质量更好的第一局部超分区域，从而在达到提高质量的同时可以节省计算量，减少重复运算，提高效率。
[0023]另外，针对第二初始视频帧包括的多个解码后的非skip宏块，由于内容与第一初始视频帧的内容不同，则可以进行块超分处理，得到第二局部超分区域，再通过结合第一局部超分区域和第二局部超分区域，从而可以得到质量整体相对提高的第二超分视频帧。
[0024]结合第一方面，在第一方面的某些实现方式中，针对所述第三初始视频帧，结合所述第一超分视频帧和所述第二超分视频帧进行第三本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频处理方法，其特征在于，所述方法包括：获取视频码流数据；对所述视频码流数据解码，得到多帧初始视频帧，多帧所述初始视频帧包括第一初始视频帧、第二初始视频帧和第三初始视频帧，所述第一初始视频帧、所述第二初始视频帧和所述第三初始视频帧对应的视频帧的类型不同；针对所述第一初始视频帧进行第一超分处理，得到第一超分视频帧；针对所述第二初始视频帧，结合所述第一超分视频帧进行第二超分处理，得到第二超分视频帧；针对所述第三初始视频帧，结合所述第一超分视频帧和所述第二超分视频帧进行第三超分处理，得到对应的第三超分视频帧；基于所述第一超分视频帧、所述第二超分视频帧和所述第三超分视频帧，得到目标视频流。2.根据权利要求1所述的视频处理方法，其特征在于，针对所述第一初始视频帧进行第一超分处理，得到第一超分视频帧，包括：对所述第一初始视频帧进行通道拆分，得到第一通道图像和第二通道图像；利用第一深度学习网络模型对所述第一通道图像进行超分处理，得到对应的第一通道超分图像；利用第一插值算法对所述第二通道图像进行超分处理，得到对应的第二通道超分图像；对所述第一通道超分图像和所述第二通道超分图像进行通道合并，得到所述第一超分视频帧。3.根据权利要求1所述的视频处理方法，其特征在于，针对所述第二初始视频帧，结合所述第一超分视频帧进行第二超分处理，得到第二超分视频帧，包括：针对所述第二初始视频帧包括的解码后的skip宏块，基于所述第一超分视频帧，确定第一局部超分区域；针对所述第二初始视频帧包括的解码后的非skip宏块，进行块超分处理，得到第二局部超分区域；基于所述第一局部超分区域和所述第二局部超分区域，得到所述第二超分视频帧。4.根据权利要求1所述的视频处理方法，其特征在于，针对所述第三初始视频帧，结合所述第一超分视频帧和所述第二超分视频帧进行第三超分处理，得到对应的第三超分视频帧，包括：针对所述第三初始视频帧包括的解码后的skip宏块，基于所述第一超分视频帧或所述第二超分视频帧，确定第三局部超分区域；针对所述第三初始视频帧包括的解码后的非skip宏块，进行块超分处理，得到第四局部超分区域；基于所述第三局部超分区域和所述第四局部超分区域，得到所述第三超分视频帧。5.根据权利要求3或4所述的视频处理方法，其特征在于，所述块超分处理包括：针对解码后的非skip宏块进行通道拆分，得到第一通道图块和第二通道图块；利用第二深度学习网络模型对所述第...

【专利技术属性】
技术研发人员：卜彦云，钟光华，降伟帅，雷财华，
申请(专利权)人：荣耀终端有限公司，
类型：发明
国别省市：