SVC的错误隐藏方法、模型训练方法、系统及设备技术方案

本申请实施例涉及技术领域，特别涉及一种SVC的错误隐藏方法、模型训练方法、系统及设备，本申请利用卷积神经网络充分提取前一帧基础层和增强层图像对中的偏移量参数，进而利用这个参数来修正当前帧的基础层图像的上采样图像，从而提升增强层错误隐藏的效果；本申请还计算前一帧的增强层图像和前一帧的基础层图像之间的残差图像，然后通过卷积神经网络融合残差图像和修正后的上采样图像，充分利用时域和空域的相关性对修正后的上采样图像进行后处理，提升了增强层错误隐藏的效果。提升了增强层错误隐藏的效果。提升了增强层错误隐藏的效果。

【技术实现步骤摘要】
SVC的错误隐藏方法、模型训练方法、系统及设备


[0001]本申请实施例涉及视频编码
，尤其涉及一种SVC的错误隐藏方法、模型训练方法、系统及设备。

技术介绍

[0002]SVC（Scalable Video Coding，可伸缩编码）是视频编码的一种，该技术把视频信号编码成分层的形式，当带宽不足时只对基础层的码流进行传输和解码，但这时解码的视频质量不高。当带宽慢慢变大时，可以传输和解码增强层的码流来提升视频的解码质量。
[0003]SVC的技术应用可以分为两点，第一点是，SVC由于其特点可以适应与客户端性能受限和网络环境受限的场景。比如有些客户端会限制解码的计算复杂度，这个时候在只解码基础层也能获得一定质量的图像，也就是说客户端可以根据自己的情况来对解码复杂度和质量之间做选择，而单一流的解码就做不到这一点。另外有些网络环境会限制带宽，在使用MANE(Media
‑
aware Network element)的网络中，可以选择丢弃增强层的数据包来限制带宽和流量。总结来说，这一特点给予了终端一定选择的空间。第二点是，SVC相比于单一流传输来说有更好的抗丢包性能。一般SVC的基础层会给予更多的错码保护，所以一般假设丢包概率会比较小。由于增强层的编码参考了基础层，所以即使发生丢包也能从基础层有限的恢复，保证一定的质量。
[0004]现阶段的SVC的错误隐藏方案还存在如下技术缺陷：1)构建主要来自于经验，利用的主要是编码时的一些信息，导致错误隐藏的效果较差：2)由于使用了如运动矢量、残差或者分块之类的编码信息，所以对于特定的编码标准有着依赖性，存在局限性。

技术实现思路

[0005]以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
[0006]本公开实施例的主要目的在于提出一种SVC的错误隐藏方法、模型训练方法、系统及设备，能够提升增强层错误隐藏的效果。
[0007]本申请的第一方面，提供了一种SVC的错误隐藏方法，所述错误隐藏方法包括：当视频的可伸缩视频编码的增强层发生丢包，获取当前帧的基础层图像、前一帧的基础层图像以及前一帧的增强层图像；根据第一卷积神经网络计算所述前一帧的基础层图像和所述前一帧的增强层图像之间的偏移量参数；对所述当前帧的基础层图像进行双线性插值上采样，得到当前帧的基础层图像的上采样图像，并根据第二卷积神经网络利用所述偏移量参数对所述当前帧的基础层图像的上采样图像进行修正，得到修正后的上采样图像；
计算前一帧的增强层图像和前一帧的基础层图像之间的残差图像，并根据第三卷积神经网络利用所述残差图像和所述修正后的上采样图像，计算出当前帧的增强层图像。
[0008]本申请的第二方面，提供了一种模型训练方法，所述模型训练方法包括：设置可伸缩视频编码的多种量化参数或码率；将视频按照每种所述量化参数或码率，分别进行可伸缩视频编码；当在目标量化参数或码率的情况下，所述可伸缩视频编码的增强层发生丢包，则获取在所述目标量化参数或码率的情况下的当前帧的基础层图像、前一帧的基础层图像以及前一帧的增强层图像，并构建数据集；其中，所述目标量化参数或码率是所述多种量化参数或码率中的任意一种；通过所述数据集对所述深度模型进行训练，直至得到收敛后的所述深度模型；其中，所述深度模型用于执行如上述的SVC的错误隐藏方法。
[0009]本申请的第三方面，提供了一种SVC的错误隐藏系统，所述错误隐藏系统包括：图像获取单元，用于当视频的可伸缩视频编码的增强层发生丢包，获取当前帧的基础层图像、前一帧的基础层图像以及前一帧的增强层图像；退化参数获取单元，用于根据第一卷积神经网络计算所述前一帧的基础层图像和所述前一帧的增强层图像之间的偏移量参数；第一图像恢复单元，用于对所述当前帧的基础层图像进行双线性插值上采样，得到当前帧的基础层图像的上采样图像，并根据第二卷积神经网络利用所述偏移量参数对所述当前帧的基础层图像的上采样图像进行修正，得到修正后的上采样图像；第二图像恢复单元，用于计算前一帧的增强层图像和前一帧的基础层图像之间的残差图像，并根据第三卷积神经网络利用所述残差图像和所述修正后的上采样图像，计算出当前帧的增强层图像。
[0010]本申请的第四方面，提供了一种电子设备，包括：至少一个存储器；至少一个处理器；至少一个计算机程序；所述计算机程序被存储在所述存储器中，处理器执行所述至少一个计算机程序以实现：如上述的SVC的错误隐藏方法和/或上述的模型训练方法。
[0011]本申请的第五方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行：如上述的SVC的错误隐藏方法和/或上述的模型训练方法。
[0012]本申请的第一方面，提供了一种SVC的错误隐藏方法，本方法利用卷积神经网络充分提取前一帧基础层和增强层图像对中的偏移量参数，进而利用这个参数来修正当前帧的基础层图像的上采样图像，从而提升增强层错误隐藏的效果。本方法还先计算前一帧的增强层图像和前一帧的基础层图像之间的残差图像，然后通过卷积神经网络融合残差图像和修正后的上采样图像，充分利用时域和空域的相关性对修正后的上采样图像进行后处理，提升了增强层错误隐藏的效果。本方法还忽略编码标准的限制，适用范围大。
[0013]本申请的第二方面，提供了一种模型训练方法，本方法首先获取不同量化参数或
码率的情况下可伸缩视频编码发生丢包的图像数据，利用图像数据训练深度模型直至收敛，通过该深度模型实现上述第一方面的SVC的错误隐藏方法。本方法利用不同QP参数或码率组合制作的数据集的数据分布的差异，提升深度模型的训练效果，提升深度模型错误隐藏的效果。
[0014]可以理解的是，上述第三方面至第五方面与相关技术相比存在的有益效果与上述第一方面与相关技术相比存在的有益效果相同，可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
[0015]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0016]图1是本申请提供的可伸缩视频编码空间分层示意图；图2是本申请提供的可伸缩视频编码的示意图；图3是本申请提供的基础层直接上采样算法的示意图；图4是本申请提供的基础层运动信息上采样算法的示意图；图5是本申请一个实施例提供的SVC的错误隐藏方法的流程示意图；图6是图5中步骤S103的流程示意图；图7是本申请一个实施例提供的普通的卷积运算示意图；图8是本申请一个实施例提供的可变形卷积示意图；图9是图5中步骤S107的流程示意图；图10是本申请另一个实施例提供的SVC的错误隐藏方法的逻辑框图；图11是图10中Offset模块的逻辑框图；图12是图10中Upsample模块的逻辑框图；图13是图10中Fusion模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种SVC的错误隐藏方法，其特征在于，所述错误隐藏方法包括：当目标视频的可伸缩视频编码的增强层发生丢包，获取当前帧的基础层图像、前一帧的基础层图像以及前一帧的增强层图像；根据第一卷积神经网络计算所述前一帧的基础层图像和所述前一帧的增强层图像之间的偏移量参数；对所述当前帧的基础层图像进行双线性插值上采样，得到当前帧的基础层图像的上采样图像，并根据第二卷积神经网络利用所述偏移量参数对所述当前帧的基础层图像的上采样图像进行修正，得到修正后的上采样图像；计算前一帧的增强层图像和前一帧的基础层图像之间的残差图像，并根据第三卷积神经网络利用所述残差图像和所述修正后的上采样图像，计算出当前帧的增强层图像。2.根据权利要求1所述的SVC的错误隐藏方法，其特征在于，所述根据第一卷积神经网络计算所述前一帧的基础层图像和所述前一帧的增强层图像之间的偏移量参数，包括：对所述前一帧的基础层图像进行双线性插值上采样，得到前一帧的基础层图像的上采样图像；将所述前一帧的基础层图像的上采样图像和所述前一帧的增强层图像拼接融合，得到融合图像；将所述融合图像输入至所述第一卷积神经网络中，得到所述第一卷积神经网络输出的偏移量参数；其中，所述第一卷积神经网络由线性的卷积层和PReLU激活层组成。3.根据权利要求2所述的SVC的错误隐藏方法，其特征在于，所述第二卷积神经网络为可变形卷积神经网络。4.根据权利要求1至3任一项所述的SVC的错误隐藏方法，其特征在于，所述计算前一帧的增强层图像和前一帧的基础层图像之间的残差图像，包括：将所述前一帧的增强层图像进行双线性插值上采样，得到前一帧的增强层图像的上采样图像；计算所述前一帧的增强层图像的上采样图像和所述前一帧的基础层图像之间的残差图像。5.根据权利要求4所述的SVC的错误隐藏方法，其特征在于，所述第三卷积神经网络包括第一卷积神经子网络、第二卷积神经子网络和第三卷积神经子网络，所述第一卷积神经子网络、所述第二卷积神经子网络和所述第三卷积神经子网络的网络结构相同，且所述第一卷积神经子网络由线性的卷积层和PReLU激活层组成；所述根据第三卷积神经网络利用所述残差图像和所述修正后的上采样图像，计算出当前帧的增强层图像，包括：将所述残差图像输入至所述第一卷积神经子网络，得到所述第一卷积神经子网络输出的第一子图像；将所述修正后的上采样图像输入至所述第二卷积神经子网络，得到所述第二卷积神经子网络输出的第二子图像；将所述第一子图像和所述第二子图像拼接融合，得到第三子图像；...

【专利技术属性】
技术研发人员：张昊，王照，彭春华，黄兴军，孙意翔，肖婴然，
申请(专利权)人：中南大学，
类型：发明
国别省市：