多视点视频编码分层Ｂ帧预测结构的计算复杂度控制方法技术

本发明专利技术公开了一种多视点视频编码分层Ｂ帧预测结构的计算复杂度控制方法，包括以下步骤：（１）输入多视点视频数据；（２）对不同粒度编码单元进行计算量分配；（３）对宏块帧间模式估计进行计算量分配；（４）对帧间估计进行计算量分配。本发明专利技术方法适用于多视点视频编码分层Ｂ帧预测结构的计算复杂度控制，可以准确控制多视点编码的计算整体计算量，减少计算量的波动，同时保持编码率失真性能。

【技术实现步骤摘要】

本专利技术涉及数字视频信号编码领域，具体涉及一种多视点视频编码分层B帧预测 结构的计算复杂度控制方法。
技术介绍
随着视频采集和显示技术的飞速发展，已经有许多针对3D视频场景应用的设备 出现，比如3D电视和自由视点电视。3D视频由于可以为用户提供真实的视觉感受，正在逐 渐取代传统的2D视频。多视点视频(Multiview Video, MV)是利用不同位置的摄像头对 同一场景进行拍摄得到的视频数据，它包含了多个视角的视觉信息，是一种重要的3D视频 数据。由于多视点视频的数据量随着视点个数的增多而成倍增加，因此为了解决其传输和 存储的问题，多视点视频编码(Multiview Video Coding, MVC)对多视点视频数据进行高 效的压缩。联合视频工作组(Joint Video Team, JVT)从2006年开始对多视点视频编码 进行标准化工作，将其作为H. 264/AVC的第四个增修案。为了提高编码压缩效率，多视点 视频编码既采用了传统视频编码的时域预测来减少时间方向上的数据冗余，同时采用了视 点间预测来减少视点方向上的数据冗余。JVT发布的多视点视频编码校验模型中采用了 HHI提出的多视点视频编码分层B帧预测结构(Vetro A，Pandit P，Kimata H，Smolic A， Wang Y K. Joint multiview video model (JMVM)8. 0. Doc. AA207,2008,Geneva, JVT 27th meeting)，同时采用时域预测和视点间预测，有效提高编码效率。视频编码器的实际应用中，编码器可获得计算资源通常是有限的，并且会随着整 个系统资源的变化而有所调整，因此编码器需要具备计算复杂度可伸缩的能力，能够根据 实际情况准确控制整体计算量。另外，在视频编码的实际应用中，整个应用系统除了视频编 码器之外通常还会有其它相关任务在运行，如果编码器的计算量的波动过大，就可能会影 响其它任务的正常运行。因此编码器还需要对计算量波动进行控制。综上所述，计算复杂 度控制算法对视频编码的实际应用具有重要的意义。现有单视点视频编码的计算复杂度控制算法可以用于多视点视频编码中每个视 点的单独控制。多视点视频编码要求不同视点帧的编码顺序排列是按时刻优先的原则进 行，即同个时刻不同视点的帧要编码完之后才能开始其它时刻的帧进行编码，因此多视点 的计算复杂度控制方法需要对各个视点计算量的联合控制。为了提高编码压缩效率，多视 点的编码会选用比单视点编码更为复杂的编码预测结构，例如HHI提出的多视点视频编码 分层B帧预测结构，因此其计算复杂度控制算法还需要对多视点复杂编码预测结构的支 持。多视点视频编码的宏块模式估计采用同H. 264/AVC—样的模式率失真优化技 术，将具有最小模式率失真代价的宏块模式作为最佳宏块模式(Sullivan G J, Wiegand Τ. Rate-distortion optimization for video compression [J]. IEEE Signal Processing Magazine, 1998，15(6) =74-90.)。多视点视频编码的帧间估计采用同H. 264/AVC 一样的帧 间估计率失真优化技术，将具有最小帧间估计率失真代价的帧间匹配块作为划分块帧间估计的最佳中贞间匹配块(Wiegand T, Schwarz H, Joch A, et al. . Rate-constrained coder control and comparison of video coding standards. IEEE Transactions on Circuits and Systems for Video Technology,2003,13(7) :688_703.)。
技术实现思路
本专利技术提供了一种多视点视频编码分层B帧预测结构的计算复杂度控制方法，可 以准确控制编码的整体计算量，减少计算量的波动，并保持良好的编码率失真性能。—种多视点视频编码分层B帧预测结构的计算复杂度控制方法，包括以下步骤(1)输入多视点视频数据；(2)对不同粒度编码单元进行计算量分配；(3)对宏块帧间模式估计进行计算量分配；(4)对帧间估计进行计算量分配；所述的不同粒度编码单元包括GG0P、超帧(Super Frame, SF)、帧和宏块四个不同 粒度的编码单元。其中，GG0P(GroUp of G0P)为GOP组，是指不同视点在同一时间段的所 有图像组的组合，所述的图像组(G0P，GroUp of Picture)是指某一视点在某一时间段的图 像的组合；所述的超帧是指同一个时刻不同视点的所有帧的组合。其中，所述的步骤(2)为(2. 1)对GGOP进行计算量分配在每个GGOP开始编码之前，计算GGOP的目标计算量TCemp,如式(I)所示TCggop(r) = Nsf(r) X TargetAvgCSF+min (VBCggop (r), α X TargetAvgCsp) (I)式(I)中，r是当前GGOP编码索引，Nsf是当前GGOP中的超帧个数；TargetAVgCSF 是超帧的目标平均计算量；VBCerop是GGOP计算量虚拟缓冲区，为前一 GGOP实际计算量与其 目标计算量之间的偏差。VBCggop的初始值为0，其在每个GGOP编码结束后根据TCemp和GGOP 实际消耗计算量来更新；α为VBCemp的上限控制参数，通常根据经验来选取，设为0. 1 4. 0之间，本专利技术优选设为1. 0 ； α XTargetAvgCsp为VBCggop的上限值。(2. 2)对超帧进行计算量分配根据超帧中各帧的帧间预测参考帧个数和所处的时域层计算复杂度权重因子计 算每个超帧的计算复杂度权重值Wsf，如式(II')所示WSF(m) = ffLayer X RefNSF(m)(I Γ )式(II')中m是超帧编码索引；表超帧m所处时域层的计算复杂度权重 因子，初始值根据经验来设定，所处时域层的层数越低，WLayer初始值越大，WLayer的更新如式 (XV)所示；RefNspR表超帧m中各帧的帧间预测用到的参考帧个数；再根据超帧计算复杂度权重值Wsf和当前GGOP剩余计算量，分配当前编码超帧目 标计算量TCSF(k)，如式(II)所示rcSF (幻=(rcGGOP - cGGOP) X ^ ^p (m)^ ^ ^TweO1式(II)中，k是当前超帧在GGOP中的编码索引，C·是当前GGOP已消耗计算量， 当前GGOP剩余计算量为当前目标计算量TCerop与当前GGOP已消耗计算量Cemp的差值A16是当前GGOP中待编码超帧的索引集合；(2. 3)对帧进行计算量分配根据当前超帧剩余计算量和待编码帧的帧间预测参考帧个数分配当前编码帧目 标计算量TCf (i)，如式(III)所示 式(III)中，i是当前帧在当前超帧中的编码索弓丨，Csf为当前超帧已消耗计算量， 当前超帧剩余计算量为当前目标计算量TCsf与当前超帧已消耗计算量Csf的差值；RefNF(i) 是当前帧的参考帧个数，。2是当前超帧中待编码帧的索引集合，j是当前超帧中待编码帧 的索引；(本文档来自技高网...

【技术保护点】
一种多视点视频编码分层Ｂ帧预测结构的计算复杂度控制方法，其特征在于，包括以下步骤：（１）输入多视点视频数据；（２）对不同粒度编码单元进行计算量分配；（３）对宏块帧间模式估计进行计算量分配；（４）对帧间估计进行计算量分配；所述的不同粒度编码单元包括：ＧＧＯＰ、超帧、帧和宏块四个不同粒度的编码单元。

【技术特征摘要】
一种多视点视频编码分层B帧预测结构的计算复杂度控制方法，其特征在于，包括以下步骤(1)输入多视点视频数据；(2)对不同粒度编码单元进行计算量分配；(3)对宏块帧间模式估计进行计算量分配；(4)对帧间估计进行计算量分配；所述的不同粒度编码单元包括GGOP、超帧、帧和宏块四个不同粒度的编码单元。2.如权利要求1所述的多视点视频编码分层B帧预测结构的计算复杂度控制方法，其 特征在于，所述的步骤(2)中对不同粒度编码单元进行计算量分配的过程如下(2. 1)对GGOP进行计算量分配在每个GGOP开始编码之前，计算GGOP的目标计算量TCerop,如式(I)所示 TCggop (r) = Nsf (r) X TargetAvgCSF+min (VBCggop (r), α X TargetAvgCsp) (I) 式(I)中，r是当前GGOP编码索引，Nsf是当前GGOP中的超帧个数； 超帧的目标平均计算量；VBCerop是GGOP计算量虚拟缓冲区；α为VBCerop的上限控制参数， α XTargetAvgCsp 为 VBCggqp 的上限值； (2. 2)对超帧进行计算量分配根据超帧中各帧的帧间预测参考帧个数和超帧所处的时域层的计算复杂度权重因子 计算每个超帧的计算复杂度权重值Wsf，如式(II')所示 Wsf (m) =WLayer X RefNSF(m)(II')式(ΙΓ )中m是超帧编码索引；表超帧m所处时域层的计算复杂度权重因子； RefNsp代表超帧m中各帧的帧间预测用到的参考帧个数；再根据超帧计算复杂度权重值Wsf和当前GGOP剩余计算量，分配当前编码超帧目标计 算量TCsf (k)，如式(II)所示 其中，k是当前超帧在GGOP中的编码索引，是当前GGOP已消耗计算量，当前GGOP剩 余计算量为当前目标计算量TCemp与当前GGOP已消耗计算量Cemp的差值A1是当前GGOP 中待编码超帧的索引集合；(2. 3)对帧进行计算量分配根据当前超帧剩余计算量和待编码帧的帧间预测参考帧个数分配当前编码帧目标计 算量TCF(i)，如式(III)所示 其中，i是当前帧在当前超帧中的编码索引，Csf为当前超帧已消耗计算量，当前超帧剩 余计算量为当前目标计算量TCsf与当前超帧已消耗计算量Csf的差值；RefNF(i)是当前帧 的参考帧个数，Φ2是当前超帧中待编码帧的索引集合，j是当前超帧中待编码帧的索引； (2. 4)对宏块进行计算量分配(2. 4. 1)根据当前宏块与参考帧在零矢量处的差值绝对值和以及当前宏块的纹理强度 来计算当前宏块的预测计算复杂度MbComplexityPKED(n)，如式(IV)所示 (IV)式(IV)中，η是宏块索引，SADmvcici是当前宏块与前向第一个参考帧在零矢量处的像素 差值绝对值和，DEV16xl6是当前宏块的纹理强度，δ是纹理强度的归一化系数；(2. 4. 2)在得到每个宏块的预测计算复杂度之后，利用当前帧所有宏块的预测计算复 杂度的平均值AVgMbComplexi...

【专利技术属性】
技术研发人员：陈耀武，朱威，徐巍炜，
申请(专利权)人：浙江大学，
类型：发明
国别省市：86[中国|杭州]