本发明专利技术公开了一种面向视频编码的背景建模方法，通过在图像块的基础上选择性地进行局部背景建模、局部背景更新、局部多重背景保持，以克服现有以帧为单位的背景建模方法中存在的背景更新的最佳时机难以确定、特定情况下背景建模困难、对周期性背景建模效率低下等问题，从而降低背景建模的开销，提高背景模型的预测质量，最终提高视频编码的总体压缩效率。
【技术实现步骤摘要】
本专利技术属于视频编码
，特别是涉及一种新的基于图像块的背景建模方法。
技术介绍
随着多媒体视频技术的广泛应用，需要存储或传输的视频数据量也越来越大。为了节省存储或传输代价，需要高效压缩这些视频数据。目前，视频编码标准主要是针对通用视频应用而设计的，没有针对固定摄像头的视频应用（如视频监控、视频会议等）作充分优化。因此，在编码这些视频数据时，可以充分利用摄像头固定这一特点，改进现有编码标准，进一步提高压缩效率。改进的方法之一是进行背景建模。通过把建模得到的背景图像用作长期参考帧，可以有效消除背景冗余，从而提高编码效率。因此，很多研究者在现有的视频编码标准中引入了背景建模方法，如【文献1】。但是，这些方法在提高了编码效率的同时，也存在一些需要改进的地方，主要体现在：1、对于被运动前景长期遮挡的背景区域，如拥挤的人流或车流、持续喷发的喷泉等，由于这些背景区域总是在运动或被遮挡，因此很难得到理想的建模结果。但以帧为单位的背景建模方法必须对这些区域进行建模以得到一个完整的背景帧，而对这些区域的建模结果往往是模糊的，在编码时也基本上不会被参考。因此，对该区域建模不但浪费了码率，也浪费了计算时间。2、由于多种原因，背景也会发生变化，因此背景建模一段时间后，需要及时更新，即建模新的背景以替代过时的背景。由于背景内容很多时候只是局部更新，因此现有的以帧为单位进行背景建模就会导致一个两难问题：如果频繁更新则用于表示背景的码率过高（没有变化的背景区域也要重新建模，而建模结果需要占用码率），降低了总体编码效率；如果降低更新频率则预测质量也会降低，同样也降低了总体编码效率。3、现有的背景建模方法同一时刻基本上只保存一个背景帧（若保存多个完整的背景帧则需要大量存储空间），因而不能有效地对周期性的背景进行建模（比如反复被车辆遮挡又重现的路面，一般需要建模多次，浪费了码率）因此，有必要提出一种新的技术方案来解决上述问题。【文献1】Xianguo Zhang. Background-Modeling-Based Adaptive Prediction for Surveillance Video Coding. IEEE Transaction on Image Processing. 2014.
技术实现思路
为了解决上述的技术问题，本专利技术提出了一种面向视频编码的高效的基于块的背景建模方法。本专利技术所采用的技术方案是：一种面向视频编码的背景建模方法，其特征在于，包括以下步骤：步骤1：针对来自固定摄像头的视频序列的编码，在图像块而不是帧的层次上进行背景建模；同时，为了便于解码，在重构图像序列上按显示顺序进行背景建模；重构图像序列中所有图像按BxB像素划分成图像块，因此一个视频序列可以看作是MxN个图像块序列，其中MxB=W，NxB=H，W为图像宽度，H为图像高度；步骤2：每个图像块序列各自独立地进行背景建模，图像块序列背景建模过程中用到的数据结构有背景块判断缓存和背景块缓存；所述的背景块判断缓存是长度为K块的队列，所述的背景块缓存是长度为L块的队列，二者初始时都为空；图像块序列背景建模过程包括以下子步骤：步骤2.1：将当前重构图像块加入到背景块判断缓存的队尾；步骤2.2：如果当前重构图像块与某些背景块相似，则先删除所有现存的与当前重构图像块相似的背景块，再把当前重构图像块加入到背景块缓存队列的队尾；本流程完毕；否则，则继续进行下述步骤2.3的判断；步骤2.3：如果背景块判断缓存中已有K块，则判断它们是否都相似？ 若是，则认为当前重构图像块是背景块，先删除所有现存的与当前重构图像块相似的背景块，再把当前重构图像块加入到背景块缓存队列的队尾；本流程完毕； 若否，则当前重构图像块不是背景块；步骤3：对于每一个采用帧间编码方式的待编码原始图像块，先进行标准的帧间搜索，再附加搜索对应位置的背景图像块缓存中的每一个背景块；如果某背景块是最佳参考块，则记录其在背景图像块缓存中的序号；在编码一帧原始图像时所有被实际参考的背景块在各自背景图像块缓存中的序号构成背景块选择位图，该位图用某种方式进行压缩后，保存在码流中传给解码端，解码时采用与编码时相同的背景建模算法，结合背景块选择位图，重构出相同的虚拟参考帧，以实现正确解码；步骤4：当前帧编码完毕后，同时也得到了重构图像。该重构图像先按步骤1所述方式划分为图像块，每一个图像块再按步骤2所述方式进行背景建模，如果是背景块，则在步骤3中作为附加的备选参考块。如此重复直到所有帧编码完毕。作为优选，步骤3中所述的最佳参考块即编码代价最小的块，现有编码标准中有一个代价函数专门计算编码代价，有多种计算方式备选，用户可在编码前通过编码配置文件指定，在此本专利技术沿用用户当前选择的计算方式。作为优选，步骤3中所述的位图用某种方式进行压缩，采用的是算术编码方式进行压缩。作为优选，步骤2中一帧图像编码完成后，重构帧中所有满足上述条件的背景块加入到相应的背景图像块缓存中，若空间溢出则可按某种规则淘汰。作为优选，所述的空间溢出则可按某种规则淘汰，采用的是先进先出规则。作为优选，步骤2中两个图像块是否相似的判断方法为： 步骤2.2.1：两图像块相减，得到残差； 步骤2.2.2：对残差进行变换、量化；步骤2.2.3：判断残差进行变换、量化后是否可用SKIP方式表示？若是，则认为两图像块相似； 若否，则认为两图像块不相似。本专利技术提供的一种背景建模方法，通过在图像块的基础上选择性地进行局部背景建模、局部背景更新、局部多重背景保持，以克服现有以帧为单位的背景建模方法中存在的上述问题，从而降低背景建模的开销，提高背景模型的预测质量，最终提高视频编码的总体压缩效率。附图说明图1：本专利技术实施例的流程图；图2：本专利技术实施例的扩展的帧间搜索流程图。具体实施方式为了便于本领域普通技术人员理解和实施本专利技术，下面结合附图及实施例对本专利技术作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本专利技术，并不用于限定本专利技术。请见图1和图2，本专利技术提供的一种面向视频编码的背景建模方法，包括以下步骤：步骤1：针对来自固定摄像头的视频序列的编码，在图像块而不是帧的层次上进行背景建模；同时，为了便于解码，在重构图像序列上按显示顺序进行背景建模；重构图像序列中所有图像按BxB像素划分成图像块（如16x16像素的宏块，或其它尺寸），因此一个视频序列可以看作是MxN个图像块序列，其中MxB=W，NxB=H，W为图像宽度，H为图像高度；步骤2：每个图像块序列各自独立地进行背景建模，图像块序列背景建模过程中用到的数据结构有背景块判断缓存和背景块缓存；所述的背景块判断缓存是长度为K块的队列，如果溢出，可淘汰队首元素；所述的背景块缓存是长度本文档来自技高网...
【技术保护点】
一种面向视频编码的背景建模方法，其特征在于，包括以下步骤：步骤1：针对来自固定摄像头的视频序列的编码，在图像块而不是帧的层次上进行背景建模；同时，为了便于解码，在重构图像序列上按显示顺序进行背景建模；重构图像序列中所有图像按BxB像素划分成图像块，因此一个视频序列可以看作是MxN个图像块序列，其中MxB=W，NxB=H，W为图像宽度，H为图像高度；步骤2：每个图像块序列各自独立地进行背景建模，图像块序列背景建模过程中用到的数据结构有背景块判断缓存和背景块缓存；所述的背景块判断缓存是长度为K块的队列，所述的背景块缓存是长度为L块的队列，二者初始时都为空；图像块序列背景建模过程包括以下子步骤：步骤2.1：将当前重构图像块加入到背景块判断缓存的队尾；步骤2.2：如果当前重构图像块与某些背景块相似，则先删除所有现存的与当前重构图像块相似的背景块，再把当前重构图像块加入到背景块缓存队列的队尾；本流程完毕；否则，则继续进行下述步骤2.3的判断；步骤2.3：如果背景块判断缓存中已有K块，则判断它们是否都相似？ 若是，则认为当前重构图像块是背景块，先删除所有现存的与当前重构图像块相似的背景块，再把当前重构图像块加入到背景块缓存队列的队尾；本流程完毕； 若否，则当前重构图像块不是背景块；步骤3：对于每一个采用帧间编码方式的待编码原始图像块，先进行标准的帧间搜索，再附加搜索对应位置的背景图像块缓存中的每一个背景块；如果某背景块是最佳参考块，则记录其在背景图像块缓存中的序号；在编码一帧原始图像时所有被实际参考的背景块在各自背景图像块缓存中的序号构成背景块选择位图，该位图用某种方式进行压缩后，保存在码流中传给解码端，解码时采用与编码时相同的背景建模算法，结合背景块选择位图，重构出相同的虚拟参考帧，以实现正确解码；步骤4：当前帧编码完毕后，同时也得到了重构图像；该重构图像先按步骤1所述方式划分为图像块，每一个图像块再按步骤2所述方式进行背景建模，如果是背景块，则在步骤3中作为附加的备选参考块；如此重复直到所有帧编码完毕。...
【技术特征摘要】
1.一种面向视频编码的背景建模方法，其特征在于，包括以下步骤：
步骤1：针对来自固定摄像头的视频序列的编码，在图像块而不是帧的层次上进行背景建模；同时，为了便于解码，在重构图像序列上按显示顺序进行背景建模；重构图像序列中所有图像按BxB像素划分成图像块，因此一个视频序列可以看作是MxN个图像块序列，其中MxB=W，NxB=H，W为图像宽度，H为图像高度；
步骤2：每个图像块序列各自独立地进行背景建模，图像块序列背景建模过程中用到的数据结构有背景块判断缓存和背景块缓存；所述的背景块判断缓存是长度为K块的队列，所述的背景块缓存是长度为L块的队列，二者初始时都为空；图像块序列背景建模过程包括以下子步骤：
步骤2.1：将当前重构图像块加入到背景块判断缓存的队尾；
步骤2.2：如果当前重构图像块与某些背景块相似，则先删除所有现存的与当前重构图像块相似的背景块，再把当前重构图像块加入到背景块缓存队列的队尾；本流程完毕；
否则，则继续进行下述步骤2.3的判断；
步骤2.3：如果背景块判断缓存中已有K块，则判断它们是否都相似？
若是，则认为当前重构图像块是背景块，先删除所有现存的与当前重构图像块相似的背景块，再把当前重构图像块加入到背景块缓存队列的队尾；本流程完毕；
若否，则当前重构图像块不是背景块；
步骤3：对于每一个采用帧间编码方式的待编码原始图像块，先进行标准的帧间搜索，再附加搜索对应位置的背景图像块缓存中的每一个背景块；如果某背景块是最佳参考块，则记录其在背景图像块缓存中的序号；在编码一帧原始图...
【专利技术属性】
技术研发人员：胡瑞敏，尹黎明，肖晶，胡金晖，马民生，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北;42
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。