一种面向内容感知超高清视频的编解码方法及相关装置制造方法及图纸

本申请公开了一种面向内容感知超高清视频的编解码方法及相关装置，所述编码方法包括：确定当前图像帧的重构帧，并获取当前图像帧的划分图和预测帧，其中，所述划分图为基于编码块的边界划分信息确定的；基于所述重构帧、划分图以及预测帧，通过环内滤波器对所述重构帧进行环内滤波以得到当前图像帧的目标重构帧。本申请通过基于深度神经网络的非线性预测能力，通过编码过程中的预测信息与划分信息来对重构帧进行增强，然后解码过程中基于增强后的目标重构帧确定解码视频帧，提升了解码视频帧的图像质量。视频帧的图像质量。视频帧的图像质量。

【技术实现步骤摘要】
一种面向内容感知超高清视频的编解码方法及相关装置


[0001]本申请涉及视频编解码
，特别涉及一种面向内容感知超高清视频的编解码方法及相关装置。

技术介绍

[0002]近年来，超高清视频(如，4K/8K)的应用领域越来越广泛，除常见的电视、电影、直播等泛娱乐领域，还广泛应用于医疗健康、在线教育、工业制造、智能交通等领域。为满足8K及5G的产业需求，我国AVS工作组开展了第三代标准AVS3的制定，最新编码性能比HEVC提升超过30％。由于编码视频的最终接收方是人眼，AVS3的核心理论为编码率失真，因此不能有效反映人眼对失真的感知特性。另外，传统编码框架还存在忽视视频内容多样性、编码性能达到瓶颈等问题。因此，面向AVS3标准，结合视觉感知特性，以人眼视觉为中心的面向4K/8K超高清视频的内容感知编解码器(content aware codec，CAC)被提出，CAC框架以视频内容感知建模为基础，通过空域变分辨率编码、时域变帧率编码、动态位深编码、内容感知率失真优化、解码增强等技术进一步去除视觉信息冗余，突破超高清视频编码效率提升的瓶颈，实现在主观视觉质量相同的条件下码率的大幅节省。
[0003]由于4K/8K视频具有很大空时域冗余，变分辨率编码技术被引入AVS3框架，以降低冗余信息提升编码效率，不过，AVS3的编码分辨率改变只能通过插入带有新分辨率设置的I帧实现。而I帧通常会消耗更多的编解码时间和比特数。当需要频繁变化编码分辨率时，插入的I帧将会为编解码器带来较大的计算负担，并且I帧消耗的更多比特会使得整体编码性能有较大下降。因此，为了能够通过任意帧的变编码分辨率来获得更优的编码性能，CAC平台支持了任意帧的变分辨率编码，将原视频下采样之后进行编码，即下采样编码，在每帧图像的图像头中写入了下采样标识位(downsamp l e_f l ag)，用来表示当前帧是否下采样编码。若该标识等于1，则表示当前帧使用原始分辨率进行编解码；否则，表示当前帧使用下采样编码。其中，下采样编码的滤波器为12
‑
Tap滤波器，任意帧的分辨率切换，尤其是非I帧的分辨率切换，会对帧间预测带来较大的问题。
[0004]原有AVS3固定分辨率框架中，非I帧的参考帧都是相同分辨率的。因此，在进行运动估计和运动补偿时，很容易找到对应的参考块，且不需要额外的缩放操作。但是当非I帧支持分辨率切换之后，会导致异分辨率参考的情况出现。为实现简单，CAC在一帧编码完成之后将重构帧采用DCT插值滤波(DCT I F)方法缩放至原始分辨率大小，采用8阶对称插值滤波器实现半像素亮度插值，采用7阶非对称插值滤波器实现1/4像素亮度插值，采用4阶插值滤波器实现色度插值。这样，所有的帧都会缩放至原始分辨率，在进行帧间预测时，待编码帧和参考帧的分辨率相同，原有框架中的运动估计和运动补偿模块可以正常运行。然而，DCT I F的设计是基于信号理论，基于固定系数进行滤波操作，不能自适应低根据视频数据进行系数调整，从而影响重构帧的图像质量。
[0005]因而现有技术还有待改进和提高。

技术实现思路

[0006]本申请要解决的技术问题在于，针对现有技术的不足，提供一种面向内容感知超高清视频的编解码方法及相关装置。
[0007]为了解决上述技术问题，本申请实施例第一方面提供了一种面向内容感知超高清视频的编解码方法，所述编解码方法中的编码过程包括：
[0008]确定当前图像帧的重构帧，并获取当前图像帧的划分图和预测帧，其中，所述划分图为基于编码块的边界划分信息确定的；
[0009]基于所述重构帧、划分图以及预测帧，通过环内滤波器对所述重构帧进行环内滤波以得到当前图像帧的目标重构帧。
[0010]所述面向内容感知超高清视频的编解码方法，其中，所述获取当前图像帧的划分图具体包括：
[0011]获取当前图像帧的编码块的边界划分信息；
[0012]根据所述边界划分信息对各编码块的像素取均值，以得到划分图。
[0013]所述面向内容感知超高清视频的编解码方法，其中，所述环内滤波器包括特征融合子网、信息提取子网以及融合子网络；所述基于所述重构帧、划分图以及预测帧，通过环内滤波器对所述重构帧进行环内滤波以得到当前图像帧的目标重构帧具体包括：
[0014]将所述重构帧、划分图以及预测帧输入特征融合子网络，通过所述特征融合子网络确定融合特征；
[0015]将所述融合特征输入所述信息提取子网络，通过所述信息提取子网络输出特征图像帧；
[0016]将所述特征图像帧和所述重构帧输入融合子网络，通过融合子网络输出目标重构帧。
[0017]所述面向内容感知超高清视频的编解码方法，其中，所述信息提取子网络包括依次级联第一卷积层、第二卷积层、若干残差块、第三卷积层以及像素重组层。
[0018]所述面向内容感知超高清视频的编解码方法，其中，所述编解码方法中的解码过程包括：
[0019]获取解码图像帧，并将所述解码图像帧输入采样增强子网络，通过采样增强子网络确定当前图像帧对应的输出视频帧。
[0020]所述面向内容感知超高清视频的编解码方法，其中，所述采样增强子网络包括依次连接的卷积层、DB l ock单元、卷积单元、加法器以及上采样层，其中，所述加法器的输入项包括所述卷积层的输出项。
[0021]所述面向内容感知超高清视频的编解码方法，其中，所述DB l ock单元包括若干DB l ock块，相邻两个DB l ock块中前一DB l ock块的输出项为后一DB l ock块的输入项，各DB l ock块的输出项叠加构成DB l ock单元的输出项。
[0022]本申请实施例第二方面提供了一种面向内容感知超高清视频的编解码装置，其包含编码器和解码器，所述编码器包括至少一个存储器和耦合到所述至少一个存储器的一个或多个处理器，所述一个或多个处理器被配置为：
[0023]确定当前图像帧的重构帧，并获取当前图像帧的划分图和预测帧，其中，所述划分图为基于编码块的边界划分信息确定的；
[0024]基于所述重构帧、划分图以及预测帧，通过环内滤波器对所述重构帧进行环内滤波以得到当前图像帧的目标重构帧。
[0025]所述的面向内容感知超高清视频的编解码装置，其中，所述解码器包括至少一个存储器和耦合到所述至少一个存储器的一个或多个处理器，所述一个或多个处理器被配置为：
[0026]获取解码图像帧，并将所述解码图像帧输入采样增强子网络，通过采样增强子网络确定当前图像帧对应的输出视频帧。
[0027]本申请实施例第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的面向内容感知超高清视频的编解码方法中的步骤。
[0028]有益效果：与现有技术相比，本申请提供了一种面向内容感知超高清视频的编解码方法及相关装置，所述编码方法包括：确定当前图像帧的重构帧，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向内容感知超高清视频的编解码方法，其特征在于，所述编解码方法中的编码过程包括：确定当前图像帧的重构帧，并获取当前图像帧的划分图和预测帧，其中，所述划分图为基于编码块的边界划分信息确定的；基于所述重构帧、划分图以及预测帧，通过环内滤波器对所述重构帧进行环内滤波以得到当前图像帧的目标重构帧。2.根据权利要求1所述面向内容感知超高清视频的编解码方法，其特征在于，所述获取当前图像帧的划分图具体包括：获取当前图像帧的编码块的边界划分信息；根据所述边界划分信息对各编码块的像素取均值，以得到划分图。3.根据权利要求1所述面向内容感知超高清视频的编解码方法，其特征在于，所述环内滤波器包括特征融合子网、信息提取子网以及融合子网络；所述基于所述重构帧、划分图以及预测帧，通过环内滤波器对所述重构帧进行环内滤波以得到当前图像帧的目标重构帧具体包括：将所述重构帧、划分图以及预测帧输入特征融合子网络，通过所述特征融合子网络确定融合特征；将所述融合特征输入所述信息提取子网络，通过所述信息提取子网络输出特征图像帧；将所述特征图像帧和所述重构帧输入融合子网络，通过融合子网络输出目标重构帧。4.根据权利要求3所述面向内容感知超高清视频的编解码方法，其特征在于，所述信息提取子网络包括依次级联第一卷积层、第二卷积层、若干残差块、第三卷积层以及像素重组层。5.根据权利要求1所述面向内容感知超高清视频的编解码方法，其特征在于，所述编解码方法中的解码过程包括：获取解码图像帧，并将所述解码图像帧输入采样增强子网络，通过采样增强子网络确定当前图像帧对应的输出视频帧。6.根据权利要求5所述面向...

【专利技术属性】
技术研发人员：孟现东，王诗淇，王苫社，马思伟，
申请(专利权)人：鹏城实验室，
类型：发明
国别省市：