一种基于参考块的VVC帧间快速编码方法技术

本发明专利技术属于VVC视频编码技术领域，具体涉及一种基于参考块的VVC帧间快速编码方法，包括：获取当前编码单元信息，并确定是否进行网络预测划分；若进行预测划分，则采用划分概率网络模型对编码单元信息进行划分概率预测值，根据划分概率预测值选取预测模式，否则执行编码器原始的划分过程；用当前编码单元CU对待编码的视频进行MergeSkip模式编码，并计算MergeSkip模式编码的RDCost值；根据RDCost值确定是否采用Skip模式跳过编码预测，否则遍历所有默认候选预测模式；本发明专利技术根据帧间的运动特点利用参考块通过深度学习的方式解决了传统利用深度学习不能有效学习帧间编码模式信息和预测不准确的问题。息和预测不准确的问题。息和预测不准确的问题。

【技术实现步骤摘要】
一种基于参考块的VVC帧间快速编码方法


[0001]本专利技术属于VVC视频编码
，具体涉及一种基于参考块的VVC帧间快速编码方法。

技术介绍

[0002]随着数字化和网络技术的迅速发展，视频应用的领域不断扩展，如视频通信、视频监控和视频娱乐等，但是视频传输所需的高带宽和大量存储资源成为了主要的制约因素。为提高视频编码的效率和质量，需要持续研究和开发新的视频编码标准，以更加高效、稳定和优质的方式服务于广大的视频应用需求。目前对于通用视频编码标准(Versital Video Coding，VVC)降低编码复杂度的研究主要包括三个方面：1、基于统计的传统快速编码算法；2、基于机器学习的快速算法；3、利用神经网络自动学习推理的深度学习方法。
[0003]上述现有方法中虽然降低了编码复杂度，提高了编码效率，但还是有许多的不足，例如：1、基于统计分析的快速CU编码方法可以提高计算效率，但存在分析不全面的问题，比如帧间编码CU的运动程度与划分之间的关系；2、机器学习的方法需要大量的训练数据才能有效的推理，训练好的模型只针对特定问题或应用程序，而不具有可迁移性，机器学习的训练和推理通常需要大量的计算和推理，大大增加了编码时长和编码复杂度；3、采用深度学习的方法对帧间编码或编码重建图像的纹理信息进行学习，提高了图像学习的效率，但是缺少了对帧间编码的研究，而且利用深度学习只是将CU纹理、率失真cost和数据标签作为训练数据，这并不能完全学习到帧间的运动信息。因此，如何提高帧间编码的效率，降低帧间编码的计算复杂度是目前亟待解决的问题。

技术实现思路

[0004]为解决以上现有技术存在的问题，本专利技术提出了一种基于参考块的VVC帧间快速编码方法，该方法包括：
[0005]S1：获取当前编码单元信息，其中编码单元信息包括当前编码单元的深度以及模式信息；
[0006]S2：根据当前编码信息确定是否进行网络预测划分，若进行网络预测划分，则执行步骤S3，若不进行网络预测划分，则执行编码器原始的划分过程；
[0007]S3：构建划分概率网络模型，并对划分概率网络模型进行训练；
[0008]S4：将当前编码单元输入到训练后的划分概率网络模型中，得到当前编码单元的划分概率预测值；
[0009]S5：根据划分概率预测值选取预测模式，确定该预测模式是否为划分模式，若为划分模式则返回S4，若不为划分模式则执行S6；
[0010]S6：采用当前编码单元CU对待编码的视频进行MergeSkip模式编码，并计算MergeSkip模式编码的RDCost值；
[0011]S7：根据RDCost值确定是否采用Skip模式跳过编码预测，否则遍历所有默认候选
预测模式。
[0012]优选的，对划分概率网络模型进行训练的过程包括：划分概率网络模型由分块卷积层、条件残差模块、子网络结构以及全连接层构成；训练划分概率网络模型的过程包括：
[0013]步骤1：获取所有的编码单元，对CU的类型进行筛选，将筛选后的CU类型进行集合，得到训练数据集；
[0014]步骤2：对训练数据集中冗余的CU类型进行优化；
[0015]步骤3：将优化后的训练数据集输入到划分概率网络模型的分块卷积层中，学习原始数据、参考数据以及同位数据的不同特征；
[0016]步骤4：将学习的特征输入到条件残差模块中进行深层次特征提取；
[0017]步骤5：将提取的深层特征输入到子网络结构中，得到不同数据的划分结果；
[0018]步骤6：将划分结果输入到全连接层中，得到划分概率预测值；
[0019]步骤7：根据划分概率预测值计算模型的损失函数，不断调整模型的参数，当损失函数最小时，完成模型的训练。
[0020]优选的，根据划分概率预测值确定划分模式的过程包括：将划分概率预测值输入到softmax函数中，将各个类别预测的值转换成0到1之间的概率值，其中最大的概率值与设定的阈值区间[τ1,τ2]比较，当最大概率值小于阈值区间中的τ1时，采用编码器默认划分模式对CU进行划分，当最大概率值大于阈值区间中的τ2时，采用预测的编码模式对CU进行划分，否则采用优化模式对于CU进行划分。
[0021]进一步的，对CU进行划分的过程包括：
[0022]采用编码器默认划分模式对CU进行划分包括：编码器默认对一个CU进行划分，其中最大划分数量为5个，包括四叉划分QT、垂直二叉划分BV、水平二叉划分BH、垂直三叉划分TV以及水平三叉划分TH；
[0023]采用预测的编码模式对CU进行划分包括：对划分模式栈进行清空；根据网络预测的划分模式对数据进行划分，其中网络预测的划分模式包括不划分NS、四叉划分QT、水平划分HS、垂直划分VS；
[0024]采用优化模式对于CU进行划分的过程包括：对划分模式栈进行清空，确定当前的划分模式，若当前划分模式为水平划分HS，则再次对划分后的CU进行水平二叉划分和水平三叉划分，若当前划分模式为垂直划分VS，则再次对划分后的CU进行垂直而二叉划分和垂直三叉划分，若当前划分模式均不为水平划分HS和垂直划分VS，则采用预测的编码模式对CU进行划分。
[0025]本专利技术的有益效果：
[0026]本专利技术根据帧间的运动特点利用参考块通过深度学习的方式解决了传统利用深度学习不能有效学习帧间编码模式信息和预测不准确的问题，本专利技术采用分概率网络模型对当前编码单元信息进行处理，预测当前编码单元的划分概率预测值，根据当前划分概率预测值选取最优的划分模式，从而降低了视频编码时间复杂度。
附图说明
[0027]图1为本专利技术实施例中不同的CU类型结构图；
[0028]图2为本专利技术实施例中不同时域层下划分程度图；
[0029]图3为本专利技术实施例中划分概率网络模型结构图；
[0030]图4为本专利技术实施例中一种CU划分预测流程图；
[0031]图5为本专利技术实施例中一种基于参考块的VVC帧间快速编码方法流程图。
具体实施方式
[0032]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0033]一种基于参考块的VVC帧间快速编码方法的具体实施方式，如图5所示，该方法包括：
[0034]S1：获取当前编码单元信息，其中编码单元信息包括当前编码单元的深度以及模式信息；
[0035]S2：根据当前编码信息确定是否进行网络预测划分，若进行网络预测划分，则执行步骤S3，若不进行网络预测划分，则执行编码器原始的划分过程；
[0036]S3：构建划分概率网络模型，并对划分概率网络模型进行训练；
[0037]S4：将当前编码单元输入到训练后的划分概率网络模型中，得到当前编码单元本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于参考块的VVC帧间快速编码方法，其特征在于，包括：S1：获取当前编码单元信息，其中编码单元信息包括当前编码单元的深度以及模式信息；S2：根据当前编码信息确定是否进行网络预测划分，若进行网络预测划分，则执行步骤S3，若不进行网络预测划分，则执行编码器原始的划分过程；S3：构建划分概率网络模型，并对划分概率网络模型进行训练；S4：将当前编码单元输入到训练后的划分概率网络模型中，得到当前编码单元的划分概率预测值；S5：根据划分概率预测值选取预测模式，确定该预测模式是否为划分模式，若为划分模式则返回S4，若不为划分模式则执行S6；S6：采用当前编码单元CU对待编码的视频进行MergeSkip模式编码，并计算MergeSkip模式编码的RDCost值；S7：根据RDCost值确定是否采用Skip模式跳过编码预测，否则遍历所有默认候选预测模式。2.根据权利要求1所述的一种基于参考块的VVC帧间快速编码方法，其特征在于，对划分概率网络模型进行训练的过程包括：划分概率网络模型由分块卷积层、条件残差模块、子网络结构以及全连接层构成；训练划分概率网络模型的过程包括：步骤1：获取所有的编码单元，对CU的类型进行筛选，将筛选后的CU类型进行集合，得到训练数据集；步骤2：对训练数据集中冗余的CU类型进行优化；步骤3：将优化后的训练数据集输入到划分概率网络模型的分块卷积层中，学习原始数据、参考数据以及同位数据的不同特征；步骤4：将学习的特征输入到条件残差模块中进行深层次特征提取；步骤5：将提取的深层特征输入到子网络结构中，得到不同数据的划分结果；步骤6：将划分结果输入到全连接层中，得到划分概率预测值；步骤7：根据划分概率预测值计算模型的损失函数，不断调整模型的参数，当损失函数最小时，完成模型的训练。3.根据权利要求2所述的一种基于参考块的VVC帧间快速编码方法，其特征在于，对CU的类型进行筛选的过程包括：获取所有的CU类型，确定各个类型CU的宽W、高H以及宽高的比率τ；根据CU的宽W、高H以及宽高的比率τ设置筛选条件，根据筛选条件对CU的类型进行筛选；其中筛选条件包括CU的宽和高的任意一边大于16，且当有一边为16或32时另一边不能为128；或者min(W,H)＝8且τ＝{4,8}的CU。4.根据权利要求2所述的一种基于参考块的VVC帧间快速编码方法，其特征在于，对数据集中冗余的CU类型进行优化包括：数据集中的CU类型包括不划分NS、四叉划分QT、水平二叉划分BH、垂直二叉划分BV、水平三叉划分TH和垂直三叉划分TV；将水平二叉划分BH和水平三叉划分TH进行融合，得到水平划分HS，将垂直二叉划分BV和垂直三叉划分TV进行融合，得到垂直划分VS；优化后的划分类型包括NS、QT、HS以及VS。5.根据权利要求2所述的一种基于参考块的VVC帧间快速编码方法，其特征在于，子网
络结构对输入数据进行处理的过程包括：子网络结构的输入通道类型为(BATCH_SIZE,16,H，W)，其中子网络结构由卷积层和全连接层组成，且每个子网络的第一层卷积网络层卷积核的大小与步长分别为(4*τ，4*τ)、(4*τ，4*τ)，用于对输出的特征形状作规范化处理；对子网络进行训练过程中，通过增加额外的编码信息对网络进行训练；其中，额外的编码信息包括：量化参数QP、划分深度Depth、时域层Id和编码产生的RDCost；对于min(W,H)＝8的子网络，其由两个卷积层组成，第二个卷积层的卷积核大小与步长分别为(2，2)、(2，2)；卷积层输...

【专利技术属性】
技术研发人员：汪大勇，黄令，陈柳林，梁鹏，许亚庆，储浩，邝毅，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：