一种基于视觉显著性的视频码率分配方法组成比例

本发明专利技术公布了一种基于视觉显著性的视频码率分配方法，建立时域相关性的视觉显著性模型；采用基于显著性的码率分配算法和基于显著性区域质量一致性的窗口权重平滑算法，得到调整后的显著性权重；再根据调整后的显著性权重指导CTU级码率分配算法，由此实现视频码率分配。本发明专利技术提供的技术方案充分考虑人眼视觉机制以及显着性区域的质量一致性，能够在视频中检测出人眼关注的区域并且加入了显著性区域的连续性，最终在码率分配上依照显著性权重分配码率使得有效地提升显著性区域质量和提升主观质量。

【技术实现步骤摘要】
一种基于视觉显著性的视频码率分配方法
本专利技术属于图像、视频编码
，涉及视频编码的码率分配技术，尤其涉及一种基于视觉显著性的视频码率分配方法。
技术介绍
码率控制是视频编码中的一项关键技术，主要负责工作为在有限的带宽下，尽可能的利用带宽大小去适应压缩视频质量，在传输压缩编码视频的时候，必须要考虑两个问题，视频质量和传输带宽，如果带宽大，需要尽可能传输质量更好的视频；如果带宽低，则需要提高压缩比，减小码流。与此同时，我们希望尽可能的得到高清晰的还原图像，所以在能接受的视频质量范围内对视频尽可能的压缩来提高带宽利用率。码率控制亦可细分为码率分配和码率控制；码率分配采用分层结构的方式依照GOP级、帧级、CTU级分配，其码率控制负责控制已分配完的码率，进行视频压缩，句柄率是否符合带宽的限制。目前主流的码率分配模型中对CTU级码率分配采用平均绝对差(MAD)的方法，是依照对于CTU中的原始像素和预测像素的残差决定MAD的大小，然而这种优化方法可能忽略了人类视觉感知的一些重要特征，比如视频中的背景树木、草地，并不是人眼所关注的内容，但这些背景区域往往会使得码率分配过高，导致人眼感兴趣区域的失真增加和主观质量下降等影响。文献[1]中记载的方法，藉由视觉显著性算法指导RDO求解帧级的拉格朗日乘子，从而控制帧级的码率分配，并在原有码率分配模型上建立显著性算法指导CTUs级目标码率分配。但是，该方法只考虑了当前帧的码率分配，并未考虑到帧间的相关性，建立在利用复杂度和显著性权重平均的码率分配算法上，并未能完全反映人眼视觉注意特征。参考文献：[1]L.Bai,L.Song,R.Xie,J.Xie,andM.Chen,“Saliencybasedratecontrolschemeforhighefficiencyvideocoding,”Asia-PacificSignalandInformationProcessingAssociationAnnualSummitandConference(APSIPA),Jeju,SouthKorea,pp.1–6,Dec.2016[2]D.Sun,S.Roth,andM.Black,“Secretsofopticalflowestimationandtheirprinciples,”IEEEConferenceonComputerVisionandPatternRecognition(CVPR),SanFrancisco,CA,USA,pp.2432-2439,Jun.2010.[3]L.Zhang,L.Zhang,X.Mou,andD.Zhang,“FSIM:afeaturesimilarityindexforimagequalityassessment,”IEEETransonImageProcessing(TIP),vol.20,no.8,pp.2378-2386,Jan.2011.[4]A.R.Robertson,“TheCIE1976color-differenceformulae,”ColorRes.Appl.,vol.2,no.1,pp.7–11,Spring1977.[5]B.Li,H.Li,L.Li,andJ.Zhang,“RatecontrolbyR-lambdamodelforHEVC”.Proceedingsofthe11thJCTVCMeeting[C].2012.
技术实现思路
为了克服上述现有技术的不足，本专利技术提供一种基于视觉显著性的码率分配方法，是一种反映人眼注意力特征的码率分配算法。首先提出一种改进的视觉显著性检测算法，将时域关联性引入二维视觉注意模型中。其次提出了一种基于视觉显著性的CTU级码率分配算法。同时考虑显著性区域间的质量一致性，提出了一种基于窗口的权重平滑模型，以获得更好的主观质量。本专利技术主要解决在码率分配有限带宽下，由于主流的码率分配模型是依照每个CTUs的MAD大小来分配码率，并未能反映人眼视觉特征，藉由本专利技术的码率分配算法能够在现有的码率资源下，分配于人眼所关注的区域，进而提升其主观质量。本专利技术包括的缩略语和关键术语定义如下：SAs:SaliencyAreas(显著性区域)MAD:MeanAbsoluteDifference(平均绝对差)CTU:CodingTreeUnit(编码树单元)，视频的每一帧包含了多个CTUGOP:Groundofpicture(图像组)HVS:HumanVisualSystem(人眼视觉系统)RDO:RateDistortionOptimization(率失真优化)。本专利技术方法针对待处理的视频，引入时域相关性的视觉显著性模型、基于显著性的码率分配算法和考虑显著性区域质量一致性的窗口权重平滑算法。视频序列输入后，通过建立视觉显著性模型提取显著性区域，利用显著性区域的权重采用质量平滑算法平滑调整后的显著性权重，最后由调整后的显著性权重指导CTU级码率分配算法。现有方法只提取色度及纹理信息，而本专利技术考虑了视频的特性，增加了动量特征，并使用光流算法提取得到动量特征。本专利技术提供的技术方案是：一种基于视觉显著性的视频码率分配方法，建立时域相关性的视觉显著性模型，采用基于显著性的码率分配算法和考虑显著性区域质量一致性的窗口权重平滑算法，采用调整后的显著性权重指导CTU级码率分配算法，由此进行基于视觉显著性的视频码率分配；包括如下步骤：1)建立视觉显著性模型，包括对于静态特征和动态特征的提取模型，得到视频的视觉显著值；HVS所关注的区域包括HVS对于静态的注意力特征和HVS的动态特征；本专利技术从这两种特征中提取视频中人眼所关注的区域，需要通过改进视觉显著性模型进而指导视频编码。基于传统的视觉显著性模型是建立于图像上的特征提取，对于纹理和色度对比来提取视觉显着区域，这些特征仅限于当前帧上，但应用于视频序列中，还需要考虑到当前帧和下一帧的关系。对于帧间特征信息，基于当前帧与下一帧的连续关系，本专利技术采用光流算法提取动量特征，通过公式(1)进行计算：Sfinal＝Scolor·ωcolor+Stex·ωtex+finter·g·ωinter(1)其中，Sfinal为得到的显著值；finter(u，v)表示当前帧与下一帧的光流特征值((动态特征))，其中u和v表示为当前帧fcur和下一帧fnext估计的水平和垂直光流场，i和j代表像素位置，λ是调节参数，ρD和ρS表示为数据和空间的惩罚函数，相关细节可参考文献[2]，Sfinal表示为最终像素显著值，Scolor和Stex为色度及纹理的显著值，相关细节可参考文献[3]-[4]，ωcolor、ωtex和ωinter代表色度、纹理、帧间的权重，g为滤波转换函数。2)采用显著性区域质量一致的窗口平滑算法，基于相邻帧之间的关联性，将步骤1)得到的当前帧的像素显著值依照CTU的尺寸大小转化为若干个CTU尺寸的显著值，再通过归本文档来自技高网...

【技术保护点】
1.一种基于视觉显著性的视频码率分配方法，其特征是，建立时域相关性的视觉显著性模型；采用基于显著性的码率分配算法和基于显著性区域质量一致性的窗口权重平滑算法，得到调整后的显著性权重；再根据调整后的显著性权重指导CTU级码率分配算法，由此实现视频码率分配；包括如下步骤：/n1)建立视觉显著性模型，包括：注意力静态特征提取模型和注意力动态特征提取模型，得到视频的视觉显著值；/n考虑视频序列中当前帧和下一帧的关联性，从注意力静态特征和注意力动态特征中提取出视频中人眼所关注的区域；/n对于帧间特征信息，采用光流算法提取动量特征，通过公式(1)进行计算：/nS

【技术特征摘要】
1.一种基于视觉显著性的视频码率分配方法，其特征是，建立时域相关性的视觉显著性模型；采用基于显著性的码率分配算法和基于显著性区域质量一致性的窗口权重平滑算法，得到调整后的显著性权重；再根据调整后的显著性权重指导CTU级码率分配算法，由此实现视频码率分配；包括如下步骤：
1)建立视觉显著性模型，包括：注意力静态特征提取模型和注意力动态特征提取模型，得到视频的视觉显著值；
考虑视频序列中当前帧和下一帧的关联性，从注意力静态特征和注意力动态特征中提取出视频中人眼所关注的区域；
对于帧间特征信息，采用光流算法提取动量特征，通过公式(1)进行计算：
Sfinal＝Scolor·ωcolor+Stex·ωtex+finter·g·ωinter(1)
finter(u,v)＝∑i,j{ρD(fcur(i,j)-fnext(i+ui,j,j+vi,j))+λ[ρS(ui,j-ui+1,j)+ρS(ui,j-ui,j+1)+ρS(vi,j-vi+1,j)+ρS(vi,j-vi,j+1)]}
其中，Sfinal为得到的显著值；finter为当前帧与下一帧的光流特征值，其中u和v表示为当前帧fcur和下一帧fnext估计的水平和垂直光流场；i和j代表像素位置；λ是调节参数；ρD和ρS分别为数据和空间的惩罚函数；Sfinal为最终像素显著值；Scolor和Stex为色度及纹理的显著值；ωcolor、ωtex和ωinter代表色度、纹理、帧间的权重；g为滤波转换函数；
2)将步骤1)得到的当前帧的像素显著值，依照CTU的尺寸大小转化为多个CTU尺寸的显著值，再通过归一化转换为显著性权重，基于相邻帧之间的关联性，建立基于窗口的权重平滑模型，通过平滑调整得到平滑后的显著性权重；
3)根据步骤2)得到的平滑后...

【专利技术属性】
技术研发人员：李源，贾惠柱，向国庆，古忠文，解晓东，高文，
申请(专利权)人：北京大学，
类型：发明
国别省市：北京;11