用于移动端的视频解码方法、系统、存储介质及电子设备技术方案

本发明专利技术公开用于移动端的视频解码方法、系统、存储介质及电子设备，其中该方法包括：获取视频并进行HEVC解码，得到多个编码块；依据所述编码块的类型对所述编码块分别进行优化处理，得到优化后的帧数据；对所述优化后的帧数据进行环路滤波处理并播放。该系统实现上述用于移动端的视频解码的方法，从超分模型和解码两个方面减少视频的超分计算量，实现了在移动端实时超分视频，从而提升用户的观看体验。

【技术实现步骤摘要】
用于移动端的视频解码方法、系统、存储介质及电子设备
本专利技术涉及图像处理
，尤其涉及用于移动端的视频解码方法、系统、存储介质及电子设备。
技术介绍
图像超分，是从一幅低分辨率图像或低分辨率图像序列中恢复出高分辨率图像的技术。近年来，基于深度卷积神经网络(CNN)的方法在图像超分方面取得了显著进展，出现了许多优秀的图像超分方法，但是大多数现有超分方法只是注重峰值信噪比(PSNR)和一些图像主观效果，对模型的复杂度及计算量都不进行考虑，导致运算量较大，即使在一些高端的机器学习主机上，运行模型都比较慢，在移动设备实现现有超分方法的难度更大。例如，SRCNN超分方法的网络结构包含三个卷积层，使用双三次(bicubic)插值将低分辨率图像放大成目标尺寸，接着通过三层卷积网络拟合非线性映射，最后输出高分辨率图像结果。分为三个步骤：图像块的提取和特征表示，特征非线性映射和最终的重建。但是，SRCNN超分方法中的卷积核比较大，数据的图像维度比较大，计算比较复杂，神经网络深度比较浅，超分效果不好。又如，ESPCN超分方法的网络输入是原始低分辨率图像，通过三个卷积层后，得到通道数为r2的与输入图像大小一样的特征图像。再将特征图像每个像素的r2个通道重新排列成一个r×r的区域，对应高分辨率图像中一个大小为r×r的子块，从而大小为H×W×r2的特征图像被重新排列成rH×rW×1的高分辨率图像。但是，ESPCN超分方法的神经网络深度不够，超分效果不好，而且每次都超分一张完整的图片，没有考虑在解码端配合使用，效率相对较低。因此，如何在性能较低的移动终端上，既能与解码器相结合，又能减少视频的超分计算量，以实现在移动端实时优化视频流，同时不显著增加移动端的功耗，成为一大难题。
技术实现思路
本专利技术的目的在于提供用于移动端的视频解码方法、系统、存储介质及电子设备，将解码过程与超分技术相结合，在性能较低的移动端上实现了实时优化视频流，同时减少了视频的超分计算量，不显著增加移动端的功耗，从而提升用户的观看体验。为了实现上述目的，本专利技术提供如下技术方案：一种用于移动端的视频解码方法，包括：获取视频并进行HEVC解码，得到多个编码块；依据所述编码块的类型对所述编码块分别进行优化处理，得到优化后的编码块；其中，所述优化处理包括：超分处理、双立方拉伸处理，或复制参考帧的超分数据；将所述优化后的编码块整合成多条帧数据，对所述帧数据进行环路滤波处理并播放。具体地，依据所述编码块的类型对所述编码块分别进行优化处理编码块的方法包括：判断所述编码块的类型，所述类型包括帧间块、帧内块和SKIP块；若所述编码块的类型为帧间块，则利用超分模型对所述编码块进行超分处理；若所述编码块的类型为帧内块，则进一步判断所述编码块的量化参数QP；若量化参数QP不小于30则对所述编码块进行双立方拉伸处理，若量化参数QP小于30，则利用超分模型对所述编码块进行超分处理；若所述编码块的类型为SKIP块，则复制参考帧的超分数据。优选地，依据所述编码块的类型对所述编码块分别进行优化处理时，对于有残差的编码块，需要对所述残差进行对应的超分比例放大。进一步地，所述超分模型对所述编码块进行超分处理的方法包括：S1、利用卷积运算获取所述编码块的特征数据，标记为原始特征数据；S2、对所述特征数据按1:(m-1)进行通道拆分，将1/m通道的特征数据提取出来并标记为超分特征数据；S3、判断所述超分特征数据的数量是否等于(m-1)；若不等于m-1，则执行步骤S4；若等于m-1，则执行步骤S5；S4、将S2中剩余的(m-1)/m通道的特征数据利用卷积运算放大到原通道大小，并执行步骤S2；S5、将S2最后一次运算剩余的(m-1)/m通道的特征数据利用卷积运算压缩到1/m通道大小，并标记为超分特征数据；S6、将所有的超分特征数据进行数据融合，并利用卷积运算恢复到一个通道中，得到所述编码块超分处理后的特征数据。进一步地，所述超分模型对所述编码块进行超分处理的方法还包括：将所述编码块超分处理后的特征数据与所述原始特征数据进行残差相加，得到优化后的编码块。具体地，超分模型的训练方法包括：处理样本数据，得到训练数据；对所述训练数据进行下采样处理，并将所述下采样处理后的训练数据输入超分模型；对超分模型输出的训练数据进行上采样处理；将所述上采样处理后的训练数据输入原始训练数据中，并进行归一化处理。进一步地，处理样本数据以得到训练数据的方法包括包括：从样本图像中读取图像数据，并将所述图像数据分为多个通道，在任一通道中随机截取子图片数据作为所述样本数据；将所述样本数据依次进行随机化处理和归一化处理，得到所述训练数据。一种用于移动端的视频解码系统，包括解码模块，优化模块和整合模块，其中：所述解码模块用于对视频进行HEVC解码，得到多个编码块；所述优化模块用于依据所述编码块的类型对所述编码块分别进行优化处理，得到优化后的帧数据，所述优化处理包括：超分处理、双立方拉伸处理，或复制参考帧的超分数据；所述整合模块用于将所述优化后的编码块整合成多条帧数据，对所述帧数据进行环路滤波处理并播放。一种计算机可读存储介质，具有存储在其上的计算机可读程序指令，所述计算机可读程序指令用于执行权利要求1至7中任一项所述的用于移动端的视频解码方法。一种电子设备，所述电子设备包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至7中任一项所述的用于移动端的视频解码方法。与现有技术相比，本专利技术提供的用于移动端的视频解码方法、系统、存储介质及电子设备具有以下有益效果：本专利技术提供的用于移动端的视频解码方法，将解码过程与超分技术相结合，对视频解码后得到的不同编码块进行相应的优化处理，既减少了视频解码超分的时间和运算量，又保证了其效果，提高用户的观看体验和应用场景的兼容率。本专利技术提供的用于移动端的视频解码系统，在性能较低的移动端上，实现了实时优化视频流，同时减少了视频的超分计算量，不显著增加移动端的功耗，从而提升用户的观看体验。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本专利技术的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1为本专利技术实施例中用于移动端的视频解码方法示意图；图2为本专利技术实施例中高效率视频编码HEVC中编码树单元CTU和编码单元CU关系示意图；图3为本专利技术实施例中依据编码块的类型对其进行优化处理的示意图；图4为本专利技术实施例中超分模型对编码块进行超分处理的实例图；图5为本发本文档来自技高网...

【技术保护点】
1.一种用于移动端的视频解码方法，其特征在于，包括：/n获取视频并进行HEVC解码，得到多个编码块；/n依据所述编码块的类型对所述编码块分别进行优化处理，得到优化后的编码块；其中，所述优化处理包括：超分处理、双立方拉伸处理，或复制参考帧的超分数据；/n将所述优化后的编码块整合成多条帧数据，对所述帧数据进行环路滤波处理并播放。/n

【技术特征摘要】
1.一种用于移动端的视频解码方法，其特征在于，包括：
获取视频并进行HEVC解码，得到多个编码块；
依据所述编码块的类型对所述编码块分别进行优化处理，得到优化后的编码块；其中，所述优化处理包括：超分处理、双立方拉伸处理，或复制参考帧的超分数据；
将所述优化后的编码块整合成多条帧数据，对所述帧数据进行环路滤波处理并播放。


2.根据权利要求1所述的用于移动端的视频解码方法，其特征在于，依据所述编码块的类型对所述编码块分别进行优化处理编码块的方法包括：
判断所述编码块的类型，所述类型包括帧间块、帧内块和SKIP块；
若所述编码块的类型为帧间块，则利用超分模型对所述编码块进行超分处理；
若所述编码块的类型为帧内块，则进一步判断所述编码块的量化参数QP；若量化参数QP不小于30则对所述编码块进行双立方拉伸处理，若量化参数QP小于30，则利用超分模型对所述编码块进行超分处理；
若所述编码块的类型为SKIP块，则复制参考帧的超分数据。


3.根据权利要求2所述的用于移动端的视频解码方法，其特征在于，依据所述编码块的类型对所述编码块分别进行优化处理时，对于有残差的编码块，需要对所述残差进行对应的超分比例放大。


4.根据权利要求2所述的用于移动端的视频解码方法，其特征在于，所述超分模型对所述编码块进行超分处理的方法包括：
S1、利用卷积运算获取所述编码块的特征数据，标记为原始特征数据；
S2、对所述特征数据按1:(m-1)进行通道拆分，将1/m通道的特征数据提取出来并标记为超分特征数据；
S3、判断所述超分特征数据的数量是否等于m-1；若不等于m-1，则执行步骤S4；若等于m-1，则执行步骤S5；
S4、将S2中剩余的(m-1)/m通道的特征数据利用卷积运算放大到原通道大小，并执行步骤S2；
S5、将S2最后一次运算剩余的(m-1)/m通道的特征数据利用卷积运算压缩到1/m通道大小，并标记为超分特征数据；
S6、将所有的超分特征数据进行数据融合，并利用卷积运算恢复到一个通道中，得到所述编码块超分处理后...

【专利技术属性】
技术研发人员：张澍勇，郭瑞强，邓在雄，
申请(专利权)人：北京四达时代软件技术股份有限公司，
类型：发明
国别省市：北京;11