一种基于显著性的码率控制比特分配方法组成比例

本发明专利技术提供一种基于显著性的码率控制比特分配方法，其中：对每一帧图像计算得到每一帧图像的显著性图；根据每一帧图像的显著性图计算每一个最大编码单元的显著性加权平均值；根据每一个最大编码单元的加权平均值在未编码单元的显著性图所占比例，对各个编码单元进行目标比特的分配。通过引入原始图像和重构图像的近似显著性失真，得到基于显著性的拉格朗日乘子；根据基于显著性的拉格朗日乘子，对后续帧级比特分配进行调整，实现码率控制功能。本发明专利技术考虑了显著性图指导当前帧的比特分配和编码前后基于显著性的失真情况，从而对后续帧的帧级码率控制起到指导作用，因而能够在最大编码单元级和图像级实现基于显著性的码率控制。

【技术实现步骤摘要】

本专利技术涉及一种图像处理
的方法，具体是一种基于显著性的码率控制比特分配方法。
技术介绍
视频压缩在过去的几十年取得了长足的进展，从早期的H.261到今天的H.264和HEVC，视频编码技术通过一代一代的演进，大致确立了混合编码框架的编码结构。各种模块技术的演进则极大地提升了视频编码的性能，最新的HEVC已经实现了相比上一代编码器H.264提升50％性能的要求。在实时通信领域，比如视频会议，视频流会消耗大量的带宽，当带宽本身就有限时，视频的质量会受到严重影响。在解决有限带宽的问题上，精确的码率控制显得尤为重要，码率控制是一个非常有效的视频编码工具。具体来说，码率控制就是在一个给定的码率下，尽可能地提升视频的编码质量。对绝大多数码率控制方案，通常的做法就是给不同的帧和编码单元分配合适的目标比特。比如MPEG-2采用了TM5码率控制算法，MEPG-4采用了VM8算法，H.264/MPEG-4AdvancedVideoCoding(AVC)采用了R-Q算法，最新的HEVC则采用了R-lambda算法。与此同时，在过去几年，人类视觉系统的研究取得了极大的进展，比如显著性图，图像的显著性指的是人眼对于图像各区域的关注度，显著性更强的区域，相比其周围的区域,更能吸引眼球，更能抓住人的注意力。在这些传统的算法中，在编码单元层的码率控制均是根据其内容复杂度来确定的。尽管这种方法能够在一定程度上反映出其最终的编码比特，但是其忽略了图像内容间的关系，在带宽受限的情况下，不能保证图像中人们普遍关心的区域的质量得到保护。同时，如果只关注感兴趣区的质量而不考虑整幅图像的显著性失真，非感兴趣区质量的严重下降会导致人们的注意力转移到那些本该忽略的不重要区域。
技术实现思路
本专利技术针对现有视频编码技术的缺陷，提供一种基于显著性的码率控制比特分配方法，该方法通过考虑显著性图作为编码单元的比特分配权重，同时考虑编码前后显著性失真并以此指导下一帧的目标比特分配，从而获得更好的编码性能。为实现以上目的，本专利技术采用的技术方案是：本专利技术通过频率调节显著性区域的检测方法，对每一帧图像计算得到每一帧图像的显著性图；根据每一帧图像的显著性图计算每一个最大编码单元的显著性加权平均值；根据每一个最大编码单元的加权平均值在未编码单元的显著性图所占比例，对各个编码单元进行目标比特的分配。通过引入原始图像和重构图像的近似显著性失真，得到基于显著性的拉格朗日乘子；根据基于显著性的拉格朗日乘子，对后续帧级比特分配进行调整，实现码率控制功能。本专利技术在考虑了显著性图指导当前帧的比特分配的同时，还考虑了编码前后基于显著性的失真情况，从而对后续帧的帧级码率控制起到指导作用，因而能够在最大编码单元级和图像级实现基于显著性的码率控制。具体的，本专利技术所述的基于显著性的码率控制比特分配方法包括如下步骤：①读取当前编码帧，计算当前帧的显著性图；②根据当前帧的显著性图，计算各个最大编码单元的显著性值，其显著性值为对应的最大编码单元中显著性值的加权平均值；③根据每个最大编码单元的显著性值，计算每个最大编码单元在当前编码帧中的权重，其权重为对应的最大编码单元在当前编码帧中尚未编码的最大编码单元的显著性加权值中所占比例；④根据最大编码单元的显著性权重(即上一步骤中的最大编码单元在当前编码帧中的权重)，分配各个编码单元的目标比特；⑤根据当前编码帧的原始图像和重构图像，计算编码前后显著性失真；⑥通过引入显著性失真，在帧级码率分配引入基于显著性的拉格朗日乘子；⑦根据引入的基于显著性的拉格朗日乘子调整下一帧的码率，实现码率控制。优选地，所述第④步骤中，各个编码单元的目标比特不仅由编码单元的内容复杂度确定，还由编码单元在整幅图像上的显著性水平确定；设T’CTU表示由编码单元内容复杂度确定的目标比特，表示由显著性权重确定的目标比特，则编码单元最终的目标比特TCTU为TCTU=(1-ratio)×TCTU′+ratio×TCTU*]]>其中：ratio是权重因子，表明显著性权重比特分配方法应在整个比特分配中占多大的比重。所述第⑦步骤中，影响下一帧比特分配的拉格朗日乘子不仅由图像的内容复杂度确定，还由编码前后图像的显著性失真确定；设λavr表示由图像内容复杂度确定的拉格朗日乘子，λsal表示由编码前后显著性失真确定的拉格朗日乘子，则最终影响下一帧比特分配的拉格朗日乘子λfinal为：λfinal＝(1-ratio)×λavr+ratio×λsal其中：ratio是权重因子，表明基于显著性失真的拉格朗日乘子在最终决定下一帧比特分配的拉格朗日乘子中占多大的比重。本专利技术设计的基于显著性的码率控制比特分配方法，在给某个编码单元分配目标比特的时候，将其相对显著性的值考虑进来，具体地，当前编码单元的显著性值较未编码单元的显著性值的和的比例越大，则说明该编码单元被人们注意到的概率越大，其权重因此比较高，给其分配相对较多的比特，使其以一种较高质量的方式编码，这样就能够保证编码后的人们普遍感兴趣的区域的质量得到保证。同时，通过考虑编码前后显著性失真情况，调整后续帧的比特分配，可以保证整体显著性图的质量，进而确保非感兴趣区域的质量不会下降太过严重，确保人们的关注区域不会出现偏移。与现有技术相比，本专利技术具有如下的有益效果：本专利技术在考虑了感兴趣区域的质量以外，还考虑了整幅图像的显著性失真情况，从而在保证感兴趣区域质量的同时，确保了整体图像的质量。附图说明通过阅读参照以下附图对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显：图1是本专利技术一实施例基于显著性的码率控制比特分配方法的流程图；图2是本专利技术实施例中BlowingBubbles第600帧在两种方法下编码的结果；图3是本专利技术实施例中KristenAndSara第163帧在两种方法下的编码结果。具体实施方式下面结合具体实施例对本专利技术进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本专利技术，但不以任何形式限制本专利技术。应当指出的是，对本领域的普通技术人员来说，在不脱离本专利技术构思的前提下，还可以做出若干变形和改进。这些都属于本专利技术的保护范围。以下实施例将本专利技术方法应用到最新的HEVC编码框架的码率控制方法中，具体操作流程如图1所示：①读取当前编码帧，计算当前帧的显著性图；②根据当前帧的显著性图，计算各个最大编码单元的显著性值，该显著性值为对应的最大编码单元中显著性值的加权平均值；③根据每个最大编码单元的显著性值，计算每个最大编码单元在当前编码帧中的权重，该权重为对应的最大编码单元在当前编码帧中尚未编码的最大编码单元的显著性加权值中所占比例；④根据最大编码单元的显著性权重，分配各个编码单元的目标比特；⑤根据当前编码帧的原始图像和重构图像，计算编码前后显著性失真；⑥通过引入显著性失真，在帧级码率分配引入基于显著性的拉格朗日乘子；⑦根据引入的基于显著性的拉格朗日乘子调整下一帧的码率，实现码率控制。其中第①步到第④步是根据显著性图实现编码树单元或最大编码单元级的比特分配，第⑤步到第⑦步是根据编码前后显著性失真实现帧级的比特分配。下面先介绍最大编码单元级比特分配的过程，然后介绍帧级比特分配。1.最大编码单元级本文档来自技高网...

【技术保护点】
一种基于显著性的码率控制比特分配方法，其特征在于：所述方法包括如下步骤：①读取当前编码帧，计算当前帧的显著性图；②根据当前帧的显著性图，计算各个最大编码单元的显著性值，该显著性值为对应的最大编码单元中显著性值的加权平均值；③根据每个最大编码单元的显著性值，计算每个最大编码单元在当前编码帧中的权重，该权重为对应的最大编码单元在当前编码帧中尚未编码的最大编码单元的显著性加权值中所占比例；④根据最大编码单元的显著性权重，分配各个编码单元的目标比特；⑤根据当前编码帧的原始图像和重构图像，计算编码前后显著性失真；⑥通过引入显著性失真，在帧级码率分配引入基于显著性的拉格朗日乘子；⑦根据引入的基于显著性的拉格朗日乘子调整下一帧的码率，实现码率控制。

【技术特征摘要】
1.一种基于显著性的码率控制比特分配方法，其特征在于：所述方法包括如下步骤：①读取当前编码帧，计算当前帧的显著性图；②根据当前帧的显著性图，计算各个最大编码单元的显著性值，该显著性值为对应的最大编码单元中显著性值的加权平均值；③根据每个最大编码单元的显著性值，计算每个最大编码单元在当前编码帧中的权重，该权重为对应的最大编码单元在当前编码帧中尚未编码的最大编码单元的显著性加权值中所占比例；④根据最大编码单元的显著性权重，分配各个编码单元的目标比特；⑤根据当前编码帧的原始图像和重构图像，计算编码前后显著性失真；⑥通过引入显著性失真，在帧级码率分配引入基于显著性的拉格朗日乘子；⑦根据引入的基于显著性的拉格朗日乘子调整下一帧的码率，实现码率控制。2.根据权利要求1所述的一种基于显著性的码率控制比特分配方法，其特征在于：所述④中，各个编码单元的目标比特不仅由编码单元的内容复杂度确定，还由编码单元在整幅图像上的显著性水平确定；设T’CTU表示由编码单元内容复杂度确定的目标比特，表示由显著性权重确定的目标比特，则编码单元最终的目标比特TCTU为：TCTU=(1-ratio)×TCTU′+ratio×TCTU*]]>其中：ratio是权重因子，表明显著性权重比特分配方法应在整个比特分配中占多大的比重。3.根据权利要求2所述的一种基于显著性的码率控制比特分配方法，其特征在于：ratio是权重因子，取值范围为[0,1]。4.根据权利要求2所述的一种基于显著性的码率控制比特分配方法，其特征在于：由显著性权重确定的目标比特按照以下公式确定：TCTU*=TPic-CodedPicΣNotcodedCTUSWCTU×SWCurCTU]]>其中：TPic是当前编码帧的目标比特，CodedPic是当前编码帧的已编码部分消耗的比特，SWCTU是编码树单元的显著性权重，SWCurCTU表示当前编码树单元的显著性权重，表示当前帧内所有未编码树单元的显著性权重之和。5.根据权利要求4所述的一种基于显著性的码率控制比特分配方法，其特征在于：编码树单元的显著性权重SWCurCTU，设定为当前最大编码单元的加权平均值：SWCurCTU=vCurCTUSCurCTU...

【专利技术属性】
技术研发人员：宋利，白立勋，解蓉，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31