一种数据驱动的级联视频编码方法技术

本发明专利技术涉及一种数据驱动的级联视频编码方法，通过编码模式决策器的级联，以及编码模式决策数据，提高单级编码单元模式决策器的决策准确度和编码效率的控制，有效降低视频编码的编码复杂度。将多个单级编码单元模式决策器级联，有效进一步减少单一编码单元模式决策器决策过程中的分类不确定性问题；因此，有效提高编码单元模式决策准确性，降低了高效视频编码的计算复杂度的同时，提高了高效视频编码的有效性。

A data driven cascaded video coding method

【技术实现步骤摘要】
一种数据驱动的级联视频编码方法
本专利技术涉及视频编码技术，特别是涉及一种准确度高、复杂度低的数据驱动的级联视频编码方法。
技术介绍
由于能够提供更好的感知质量和更逼真的视觉体验，高清(HighDefinition,HD)与超高清(UltraHighDefinition)视频越来越流行并受到人们的喜爱。这些高清和超高清视频具有广阔的应用市场，包括高清电视广播、IMAX电影、沉浸式视频通信、网络视频点播以及高清视频监控等。然而，由于高清与超高清视频具有更高的清晰度和视频帧率，视频数据量也极具增加。例如，一个8K′4K@120帧每秒的高清/超高清视频具有11.5GB每秒的视频原始数据，将其有效的存储和传输就需要非常高效的视频压缩。为了有效的解决高清视频的压缩问题，视频编码联合工作组(JointCollaborativeTeamonVideoCoding，JCT-VC)提出了高效视频编码(HighEfficiencyVideoCoding，HEVC)标准，相比于H.264/AVC标准的高档次(highprofile)在相同视觉质量的前提下降低50％的码率，即压缩比提高一倍。高效视频编码HEVC引入了多种先进的编码技术，包括灵活的四叉树块分割模式、35种帧内预测模式、离散正弦变换以及复杂的插值和滤波技术等等。这些相关编码技术有效提高了视频压缩效率，然而极大地增加了编码复杂度，包括计算复杂度、CPU消耗、内存访问消耗、电池消耗等，不利于高清和超高清的实时性应用。高效视频编码HEVC中的编码树单元结构(CodingTreeUnit，CTU)类似于H.264/AVC中的宏块的概念，CTU包含一个亮度块(CodingTreeBlock，CTB)和若干色度块，以及若干语法元素。每个CTB根据视频内容包含一个编码单元(CodingUnit,CU)或被分割为多个CU，HEVC中每个CU的尺寸支持8*8、16*16、32*32和64*64，CTB中的CU分割样例中，Depth0至Depth4分别表示64*64至8*8的CU尺寸。此外，每个CU又可进一步分为不同模式和尺寸的预测单元(PredictionUnit，PU)，包括SKIP，MERGE模式，8种帧间模式以及2种帧内模式。最后，每个预测单元PU又将采用不同尺寸的变换单元(TransformUnit，TU)进行变换编码。HEVC中CU、PU和TU是层次递归关系，每个CU、PU和TU层次都有多个模式，而各个层的最佳的模式主要通过计算率失真代价(Rate-DistortionCost)得到，即选择率失真代价最小的模式为最佳模式。然而，这就需要计算所有的层次和模式的率失真代价并比较以获得最佳模式，非常耗时，计算复杂度非常高。然而，现有编码模式决策模型的准确度有限，缺乏一种编码模式决策模型的准确性提升方法。
技术实现思路
基于此，有必要提供一种准确度高、复杂度低的数据驱动的级联视频编码方法。一种数据驱动的级联视频编码方法，包括以下步骤：配置级联编码单元模式决策器中的单级编码单元模式决策器，并确定所述单级编码单元模式决策器的参数；根据所述级联编码单元模式决策器的每个单级编码单元模式决策器编码视频序列；提取所述视频序列中每个编码块对应的特征向量；将所述特征向量输入已学习的级联编码单元模式决策器，输出预测模式，若预测值为不分割，则执行并测试当前编码单元尺寸，同时跳过分割编码单元尺寸的测试与编码；若预测值为分割，则跳过测试当前编码单元尺寸，直接执行分割和分割后的编码单元尺寸的测试与编码；若为不确定，则先测试当前编码单元尺寸，然后测试分割后的编码单元尺寸；重复上述步骤直至编码树块中所有的编码单元层都完成编码；重复上述步骤直至所有视频帧中编码树块都完成编码。在其中一个实施例中，所述单级编码单元模式决策器包括：根据当前视频内容特性做出预测模式A、预测模式B及预测模式C，其中，所述预测模式A为对当前编码单元层的编码单元尺寸进行计算和编码；所述预测模式B为下一层编码单元层为最佳模式，且跳过当前编码单元层的编码单元尺寸的计算；所述预测模式C为当前编码单元层的编码模式无法确定。在其中一个实施例中，还包括：将两个单级编码单元模式决策器级联形成二级编码单元模式决策器；所述二级编码单元模式决策器的输入是上一级单级编码单元模式决策器的不确定性决策对应的编码单元集合。在其中一个实施例中，所述单级编码单元模式决策器对应一个编码单元模式决策器配置模块，所述配置模块的配置项包括编码单元决策器样本选择和特征提取。在其中一个实施例中，所述单级编码单元模式决策器的学习步骤包括：通过离线学习训练得到第一级编码单元模式决策器；在前N帧编码过程中运行所述第一级编码单元模式决策器；针对所述预测模式A、所述预测模式B、所述预测模式C产生三个集合A#0，1；B#0，1；和C#0，1；C#0,1集合将采用原始模型进行编码，输出已编码视频帧中面向第二级编码单元模式决策器的特征向量X以及每个编码单元的最佳分块模式Y；将特征向量X和最佳分块模式Y输入第二级编码单元模式决策器进行训练；从N+1帧开始，然后将训练好的第二级编码单元模式决策器用于后续视频帧编码中的编码单元模式预测，其中，每编码一个序列都需要对第二级编码单元模式决策器重新训练。在其中一个实施例中，还包括：根据编码单元模式决策器的决策复杂度和编码信息易获得性选择编码单元模式决策器所输入的编码单元特征信息的步骤包括：对当前编码单元层的编码单元尺寸进行计算和编码，选取当前编码单元相邻左边编码单元深度DL0和DL1的纹理信息、当前编码单元的预分析及上下文信息；选取当前编码单元相邻左边编码单元深度DL2和DL3的纹理信息、当前编码单元的预分析及上下文信息；对下一层的编码单元尺寸进行计算和编码，选取下一层的编码单元相邻左边编码单元深度DL0和DL1的纹理信息、当前编码单元的信息及上下文信息；选取下一层的编码单元相邻左边编码单元深度DL2和DL3的纹理信息、当前编码单元的信息及上下文信息。在其中一个实施例中，所述根据编码单元模式决策器的决策复杂度和编码信息易获得性选择编码单元模式决策器所输入的编码单元特征信息的步骤包括：采用公式(1)或(2)计算纹理信息，公式(1)或(2)如下所示：其中，B是当前编码单元或亮度块的块，NB是块B中的像素数目，I(i,j)是像素位置(i,j)的亮度值；其中，V(B)表示大块与小块之间的纹理复杂度差异，T(B)为公式1计算的块B的纹理复杂度，T(bi)为利用公式1计算的块B对应的四个子块bi的纹理复杂度，纹理信息包括当前编码单元块的纹理信息，以及当前编码单元与其四个子编码单元间的纹理差异，分别记为xT(i)和xTD(i)；当前编码单元的预分析利用PLANAR模式编码当前编码单元，计算得到的率失真代价获得的特征记为xRD/Q(i)和xRD/D(i)，分别表示被Qstep和被失真归一化的率失真代价；上下文信息主要包括但不限于当前编码单元相邻左边和上边亮度块的平均率失真代价、相邻亮度块的编码单元深度之和、以及当前编码单元相邻左边和上边编码/预测深度，分别记为xNB_CTU_RD，xNB_CTU_Depth.和xNB_CU+PU_Depth(i)；其中，DL,4×4(k本文档来自技高网...

【技术保护点】
一种数据驱动的级联视频编码方法，其特征在于，包括以下步骤：配置级联编码单元模式决策器中的单级编码单元模式决策器，并确定所述单级编码单元模式决策器的参数；根据所述级联编码单元模式决策器的每个单级编码单元模式决策器编码视频序列；提取所述视频序列中每个编码块对应的特征向量；将所述特征向量输入已学习的级联编码单元模式决策器，输出预测模式，若预测值为不分割，则执行并测试当前编码单元尺寸，同时跳过分割编码单元尺寸的测试与编码；若预测值为分割，则跳过测试当前编码单元尺寸，直接执行分割和分割后的编码单元尺寸的测试与编码；若为不确定，则先测试当前编码单元尺寸，然后测试分割后的编码单元尺寸；重复上述步骤直至编码树块中所有的编码单元层都完成编码；重复上述步骤直至所有视频帧中编码树块都完成编码。

【技术特征摘要】
1.一种数据驱动的级联视频编码方法，其特征在于，包括以下步骤：配置级联编码单元模式决策器中的单级编码单元模式决策器，并确定所述单级编码单元模式决策器的参数；根据所述级联编码单元模式决策器的每个单级编码单元模式决策器编码视频序列；提取所述视频序列中每个编码块对应的特征向量；将所述特征向量输入已学习的级联编码单元模式决策器，输出预测模式，若预测值为不分割，则执行并测试当前编码单元尺寸，同时跳过分割编码单元尺寸的测试与编码；若预测值为分割，则跳过测试当前编码单元尺寸，直接执行分割和分割后的编码单元尺寸的测试与编码；若为不确定，则先测试当前编码单元尺寸，然后测试分割后的编码单元尺寸；重复上述步骤直至编码树块中所有的编码单元层都完成编码；重复上述步骤直至所有视频帧中编码树块都完成编码。2.根据权利要求1所述的数据驱动的级联视频编码方法，其特征在于，所述单级编码单元模式决策器包括：根据当前视频内容特性做出预测模式A、预测模式B及预测模式C，其中，所述预测模式A为对当前编码单元层的编码单元尺寸进行计算和编码；所述预测模式B为下一层编码单元层的最佳模式，且跳过当前编码单元层的编码单元尺寸的计算；所述预测模式C为当前编码单元层的编码模式无法确定。3.根据权利要求1所述的数据驱动的级联视频编码方法，其特征在于，还包括：将两个单级编码单元模式决策器级联形成二级编码单元模式决策器；所述二级编码单元模式决策器的输入是上一级单级编码单元模式决策器的不确定性决策对应的编码单元集合。4.根据权利要求1所述的数据驱动的级联视频编码方法，其特征在于，所述单级编码单元模式决策器对应一个编码单元模式决策器配置模块，所述配置模块的配置项包括编码单元决策器样本选择和特征提取。5.根据权利要求1所述的数据驱动的级联视频编码方法，其特征在于，所述单级编码单元模式决策器的学习步骤包括：通过离线学习训练得到第一级编码单元模式决策器；在前N帧编码过程中运行所述第一级编码单元模式决策器；针对所述预测模式A、所述预测模式B、所述预测模式C产生三个集合A#0，1；B#0，1；和C#0，1；C#0,1集合将采用原始模型进行编码，输出已编码视频帧中面向第二级编码单元模式决策器的特征向量X以及每个编码单元的最佳分块模式Y；将特征向量X和最佳分块模式Y输入第二级编码单元模式决策器进行训练；从N+1帧开始，然后将训练好的第二级编码单元模式决策器用于后续视频帧编码中的编码单元模式预测，其中，每编码一个序列都需要对第二级编码单元模式决策器重新训练。6.根据权利要求1所述的数据驱动的级联视频编码方法，其特征在于，还包括：根据编码单元模式决策器的决策复杂度和编码信息易获得性选择编码单元模式决策器所输入的编码单元特征信息的步骤包括：对当前编码单元层的编码单元尺寸进行计算和编码，选取当前编码单元相邻左边编码单元深度DL0和DL1的纹理信息、当前编码单元的预分析及上下文信息；选取当前编码单元相邻左边编码单元深度DL2和DL3的纹理信息、当前编码单元的预分析及上下文信息；对下一层的编码单元尺寸进行计算和编码，选取下一层的编码单元相邻左边编码单元深度DL0和DL1的纹理信息、当前编码单元的信息及上下文信息；选取下一层的编码单元相邻左边编码单元深度DL2和DL3的纹理信息、当前编码单元的信息及上下文信息。7.根据权利要求6所述的数据驱动的级联视频编码方法，其特征在于，所述根据编码单元模式决策器的决策复杂度和编码信息易获得性选择编码单元模式决策器所输入的编码单元特征信息的步骤包括：采用公式(1)或(2)计算纹理信息，公式(1)或(2)如下所示：其中，B是当前编码单元或亮度块的块，NB是块B中的像素数目，I(i,j)是像素位置(i,j)的亮度值；其中，V(B)...

【专利技术属性】
技术研发人员：张云，李娜，张欢，樊春玲，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：广东,44