基于空时域特性的VVC快速CU划分方法及存储介质技术

本发明专利技术请求保护一种基于空时域特性的VVC快速CU划分方法及存储介质，属于视频编码领域，包括以下步骤：利用视频时域相关性，计算当前CU与通过运动估计后得到的其最佳匹配CU的绝对误差和(SAD)，通过SAD值的大小决定当前CU是否继续下一深度划分，提前终止部分CU的所有划分过程；然后，对需向下一深度继续划分的CU，利用视频帧空域特性，分析当前CU水平和垂直方向子块的纹理差异，判断其多叉树划分方向，提前跳过水平或垂直方向的多叉树划分过程。本发明专利技术可用于VVC帧间编码配置下的编码，在几乎不降低编码效率和编码质量的情况下，显著减少VVC的编码时间，可应用于视频会议和视频监控等对编码实时性要求较高的应用场景。等对编码实时性要求较高的应用场景。等对编码实时性要求较高的应用场景。

【技术实现步骤摘要】
基于空时域特性的VVC快速CU划分方法及存储介质


[0001]本专利技术属于视频编码领域，更具体地说，一种适用于通用视频编码VVC(Versatile Video Coding)的CU快速划分方法，可应用于视频会议和监控视频等实时性要求较高的视频编码场景。

技术介绍

[0002]随着通信技术和视频技术的发展，人们对更高分辨率视频的需求在不断增长。尽管高效视频编码(high efficiency video coding,HEVC)有着不俗的编码性能，但在面对4K、8K等高质量视频所带来的庞大的数据量时，其编码效率也显得捉襟见肘。为了解决这一难题，2015年，联合视频专家组(joint video exploration team,JVET)便开始了下一代视频编码标准的制定工作。2020年7月，第一版VVC标准正式发布。
[0003]VVC的技术手段和前面几代视频编码标准基本类似，仍然是基于块的混合编码框架，但几乎对编码的每个环节都进行了改进。VVC增加的新技术包括：四叉树嵌套多类型树划分方式、67种帧内预测模式、跨分量线性模型预测(Cross
‑
component linear model prediction，CCLM)、位置决策帧内预测联合(Position dependent intra prediction combination，PDPC)、多参考行帧内预测(Multiple reference line intra prediction，MRL)、矩阵加权帧内预测(Matrix weighted intra prediction，MIP)和帧内子划分(Intra sub
‑
partitions，ISP)等。这些新技术使得VVC能够继续挤压HEVC尚未除尽的信息冗余，达到总体编码效率提高一倍的要求。然而这些新技术的加入也使得VVC的计算复杂度急剧增加，最直观的体现便是VVC的编码时间大幅度增加。VVC编码时间相比HEVC增加了10倍以上。如此高的编码复杂度给VVC标准的推广和实际应用带来巨大困难。因此如何在保证编码效率的同时，显著降低VVC的编码复杂度成为了当前研究的重点。VVC采用的四叉树(quadtree,QT)嵌套MTT(multi
‑
type tree)的CU划分方式，是编码复杂度提升的主要原因之一。因此优化CU划分结构，实现CU的快速划分，是当前VVC编码加速的重要研究方向。
[0004]VVC在编码过程中，视频中的每帧图像都被划分为若干个128
×
128的编码树单元(coding tree unit,CTU)，再通过QT和MTT将CTU划分为CU，CU再继续划分，直到块的长或宽等于4或者达到最大划分深度为止。MTT包括水平方向划分和垂直方向划分，每个方向又包括二叉树(binary tree,BT)划分和三叉树(ternary tree,TT)划分。所以一个CU最多有QT、水平二叉树(horizontal binary tree,HBT)、水平三叉树(horizontal ternary tree,HTT)、垂直二叉树(vertical binary tree,VBT)和垂直三叉树(vertical ternary tree,VTT)共5种划分方式。所有可能的划分模式被放在候选列表中，编码器对每一个CU都需要遍历候选列表中的所有划分模式，计算其率失真代价，然后选择率失真代价最小的划分模式作为当前CU的最佳划分模式。在CU划分过程中，如果能减少划分模式，就可以明显降低编码复杂度，加快视频编码速度。因此在确保编码质量和编码效率下降很少的前提下，如何通过跳过CU不必要的划分模式，提前判断出CU的最佳划分模式，以大幅度减小编码复杂度，是当前VVC快速算法研究的热点。
[0005]CN112702599A，一种基于深度学习的VVC帧内快速编码方法，包括，在VVC编码过程中，获取亮度编码块及量化参数；将亮度编码块及量化参数输入到考虑非对称卷积和注意力感知的深度学习模型中，得到预测向量，以各划分模式为最优快速划分模式的预测概率作为预测向量中的元素；基于预测向量确定保留的划分模式；基于保留划分模式进行VVC帧内快速划分。与现有技术相比，本专利技术在VVC帧内快速编码过程中，大幅降低了编码复杂度，提高了算法的稳定性，保证了划分结果的准确性。但该专利提出的快速算法将当前亮度编码块及量化参数输入到深度学习模型，只利用了视频帧的空域相关性，并未考虑相邻编码帧的时域相关性很大的特点。因此该专利只适合视频的帧内编码过程，其应用有限。
[0006]本专利技术提出的算法先利用视频时域相关性，计算当前CU与通过运动估计后得到的其最佳匹配CU的绝对误差和(SAD)，通过SAD值的大小决定当前CU是否继续下一深度划分，提前终止部分CU的所有划分过程；然后，对需向下一深度继续划分的CU，利用视频帧空域特性，分析当前CU水平和垂直方向子块的纹理差异，判断其多叉树划分方向，提前跳过水平或垂直方向的多叉树划分过程。因此，本专利技术充分利用了视频帧的时域和空域相关性，有效降低VVC编码复杂度，可广泛用于视频高效压缩和实时通信场景，如视频会议、视频监控等实时性要求高的应用等。

技术实现思路

[0007]本专利技术旨在解决以上现有技术的问题。提出了一种基于空时域特性的VVC快速CU划分方法。本专利技术的技术方案如下：
[0008]一种基于空时域特性的VVC快速CU划分方法，其包括以下步骤：
[0009]S1、获取编码帧中当前待划分编码单元CU的编码信息，判断当前CU是否可以继续划分。如果当前CU划分深度小于设定的最大划分深度，则继续划分，将当前CU所有可行的划分模式加入到划分列表中，进入步骤S2；否则，进入步骤S6；
[0010]S2、判断当前CU的尺寸和类型，如果当前CU为128
×
128或64
×
64的亮度CU，进入步骤S3，否则，进入步骤S5；
[0011]S3、读取当前CU在参考帧中通过运动估计得到的最佳匹配CU的像素值，计算当前CU与最佳匹配CU的像素差异值，如果像素差异值小于阈值，进入步骤S6，否则进入步骤S4；
[0012]S4、分别计算当前CU水平方向子块的纹理差异和垂直方向子块的纹理差异，通过比较这两个方向纹理差异的大小，判断是否跳过某一方向多叉树划分过程，然后在划分列表中删除该方向多叉树划分方式；
[0013]S5、遍历划分列表中划分模式，返回S1进入下一深度的CU划分；
[0014]S6、结束当前CU的划分过程。
[0015]进一步的，所述步骤S1中，当前待划分编码单元CU的编码信息包括划分深度、允许划分的最大深度、尺寸和通道在内的信息；
[0016]进一步的，所述步骤S1中，将当前CU所有可行的划分模式加入到划分列表中指的是：VVC的划分模式包括四叉树QT、水平二叉树HBT、垂直二叉树VBT、水平三叉树HTT和垂直三叉树VTT划分，在这5种划分模式中选择当本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于空时域特性的VVC快速CU划分方法，其特征在于，包括以下步骤：S1、获取编码帧中当前待划分编码单元CU的编码信息，判断当前CU是否可以继续划分，如果当前CU划分深度小于设定的最大划分深度，则继续划分，将当前CU所有可行的划分模式加入到划分列表中，进入步骤S2；否则，进入步骤S6；S2、判断当前CU的尺寸和类型，如果当前CU为128
×
128或64
×
64的亮度CU，进入步骤S3，否则，进入步骤S5；S3、读取当前CU在参考帧中通过运动估计得到的最佳匹配CU的像素值，计算当前CU与最佳匹配CU的像素差异值，如果像素差异值小于阈值，进入步骤S6，否则进入步骤S4；S4、分别计算当前CU水平方向子块的纹理差异和垂直方向子块的纹理差异，通过比较这两个方向纹理差异的大小，判断是否跳过某一方向多叉树划分过程，然后在划分列表中删除该方向多叉树划分方式；S5、遍历划分列表中划分模式，返回S1进入下一深度的CU划分；S6、结束当前CU的划分过程。2.根据权利要求1所述的一种基于空时域特性的VVC快速CU划分方法，其特征在于，所述步骤S1中，当前待划分编码单元CU的编码信息包括划分深度、允许划分的最大深度、尺寸和通道在内的信息。3.根据权利要求1或2所述的一种基于空时域特性的VVC快速CU划分方法，其特征在于，所述步骤S1中，将当前CU所有可行的划分模式加入到划分列表中指的是：VVC的划分模式包括四叉树QT、水平二叉树HBT、垂直二叉树VBT、水平三叉树HTT和垂直三叉树VTT划分，在这5种划分模式中选择当前CU可以执行的划分模式，并加入到划分列表中。4.根据权利要求1所述的一种基于空时域特性的VVC快速CU划分方法，其特征在于，所述步骤S3中，计算当前CU与最佳匹配CU的像素差异值，具体是通过计算当前CU与其最佳匹配CU的绝对误差和SAD得到的，SAD的计算公式如下：其中，x和y分别为像素点在当前CU中的横坐标值和纵坐标值；W和H分别表示当前CU的宽和高，如果当前CU为正方形，W等于H；f(x,y)是当前CU中(x,y)处的亮度值；g(x,y)是最佳匹配CU中(x,y)处的亮度值。5.根据权利要求4所述的一种基于空时域特性的VVC快速CU划分方法，其特征在...

【专利技术属性】
技术研发人员：李强，李亚，孟慧，明艳，陈燕辉，董阳，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：