一种基于光流和块匹配的DVC边信息融合方法技术

本发明专利技术提供了一种基于光流和块匹配的DVC边信息融合方法，主要涉及解码端WZ帧边信息生成方案。由于传统的块匹配边信息生成方案对于运动较为平缓的视频序列来说可以获得较好的编码质量，但当视频图像运动较为剧烈或视频图像组较大时，块匹配算法难以获得一个较高的边信息质量，而光流可以很好的表示视频序列之间的运动信息，因此本发明专利技术方法提出了一种基于光流和块匹配的边信息融合算法，实验结果表明，本发明专利技术的方法可以获得较传统的块匹配算法更高的边信息质量，提升了系统的整体率失真性能。

【技术实现步骤摘要】
一种基于光流和块匹配的DVC边信息融合方法
本专利技术涉及图像通信领域中的视频编码技术问题，尤其是涉及一种分布式视频编码(DVC)中的边信息质量提升技术。
技术介绍
近年来，随着数字通信、多媒体技术和无线通信等高科技技术的快速发展，人们对视频质量的要求也越来越高，如：无线传感器网络、视频会议、无线监控视频、智能手机等。相比较于单一的音频及文本信息，视频图像可以提供更为直观丰富的视觉信息，但是拥有庞大数据量的视频图像对视频压缩编码系统也带来了一定的挑战。对于新型的移动设备终端而言，其普遍特点是在计算能力、存储容量和功耗等方面受限。分布式视频编码(DistributedVideoCoding，DVC)具有编码复杂度低，抗误码性高等特点，它采用独立编码、联合解码的方式，在解码端挖掘帧间以及多信源间的相关性，从而将复杂的运动补偿和运动估计从编码端移到了解码端，降低了编码端的复杂度，这些特点为编码端低计算能力、无线传输可靠性差的视频应用提供了新的有效解决方案。在DVC中，视频序列被交替分为Wyner-Ziv帧(WZ帧)和关键帧(K帧)，K帧采用的是传统的帧内独立编解码方式，可以用来辅助WZ帧边信息的生成。生成的边信息质量好坏对于整个系统的率失真性能起着决定性的作用。传统的边信息生成方法有如下几种：关键帧复制法、关键帧平均法、运动补偿外推法和运动补偿内插法。这些传统的边信息生成方案对于运动较为平缓的视频序列来说可以获得较好的编码质量，但当视频图像运动较为剧烈或视频图像组(GroupofPicture,GOP)较大时，这些方法都难以获得一个较高的边信息质量。本专利技术使用的DVC编码框架为基于运动学习的Wyner-Ziv视频编码框架(MotionLearning-basedtransformdomainWyner-Ziv,MLWZ)，MLWZ方案是在斯坦福大学提出的基于DCT域的Wyner-Ziv编码方案基础上，对相应的模块进行了优化处理，其思想是通过逐个频带的解码信息以及当前块邻域的运动矢量来逐步更新学习，因此可以在一定程度上可以得到更高质量的边信息。然而基于运动学习的MLWZ框架的初始边信息生成方案采用的是基于块匹配的运动补偿内插算法，当视频序列运动较为剧烈或GOP较大时，该方法难以获得一个理想的边信息质量，另一方面，边信息的逐步更新和优化是在初始边信息的基础上进行的，系统的初始边信息质量越高，整个系统最终的编码性能将越好。因此本专利技术在MLWZ框架的基础上，利用视频帧间生成的光流信息，提升MLWZ解码端初始边信息的质量，以此进一步的提高DVC系统的整体率失真性能。
技术实现思路
在DVC中，WZ帧的边信息可以被认为是解码端获得的对当前待解码WZ帧的一种预测，边信息与原始的WZ帧越相似，编码端需要发送到解码端的校验比特位就越少，系统的码率就越低，编码性能就越高。因此，在DVC中，边信息对于整个编码系统的性能来说具有决定性的作用。为了方便说明，首先引入光流概念：在计算机视觉及图像处理领域，常用光流来表达图像之间的变化及运动情况，光流的概念是由JamesJ.Gibson在20世纪40年代首次提出的，对于一个视频序列而言，光流代表的就是视频中每张图像的各个像素的运动速度和运动方向，如图1所示为根据视频序列Foreman中第1帧和第2帧生成的光流示意图。当视频序列运动剧烈时，光流也可以很好的表示出图像之间的运动信息，可以有效弥补块匹配算法在视频序列运动较为剧烈时边信息质量下降的问题。目前常用的光流算法已经比较成熟，本专利技术使用基于深度卷积神经网络的FlowNet2.0框架来生成光流信息，一种基于光流和块匹配的DVC边信息融合方法具体步骤如下：A.基于前、后向光流的边信息生成考虑到初始边信息质量的好坏对于整个系统率失真性能的重要性，本专利技术利用待解码帧的前、后向光流信息来内插生成光流边信息。设置GOP＝2，当前待解码的WZ帧记为It，It-1与It+1分别表示It的前向和后向已解码关键帧，与分别表示It的前向和后向光流边信息内插帧，具体的计算过程如下：A1.使用光流算法获得It-1帧到It-1帧的前向光流Vf；A2.计算前向关键帧It-1到当前帧It的光流Vf′：Vf′(x,y)＝1/2Vf(x,y)，其中的x和y分别表示光流信息中的横、纵坐标，说明需要对每个点进行逐一处理；A3.计算得到WZ帧的前向光流边信息，其中round()函数表示四舍五入操作，x和y分别表示光流信息中的横、纵坐标：A4.使用光流算法获得It+1帧到It-1帧的后向光流Vb；A5.计算后向关键帧It+1到当前帧It的光流Vb′：Vb′(x,y)＝1/2Vb(x,y)，其中的x和y分别表示光流信息中的横、纵坐标，说明需要对每个点进行逐一处理；A6.计算得到WZ帧的后向光流边信息，x和y分别表示光流信息中的横、纵坐标：B.基于光流和块匹配的边信息融合B1.利用WZ帧的前后相邻已解码帧It-1与It+1通过块匹配方法得到该WZ帧的边信息B2.将步骤A3计算的前向光流边信息步骤A6计算的后向光流边信息以及块匹配获得的边信息融合得到最终的边信息：本专利技术最关键的是利用视频序列之间的前、后向光流信息，生成当前待解码WZ帧的光流边信息，然后和基于块匹配算法生成的边信息进行融合，最终得到一个WZ帧边信息，该方法在视频序列运动较为剧烈或GOP较大时，也能得到一个质量较高的边信息，因此，本专利技术方法可以有效地提升DVC中边信息的质量，同时提高了DVC系统的整体编码性能。为使本专利技术的上述内容、特征和优点能更加明显易懂，下面配合所附附图，作详细说明如下。附图说明图1为本专利技术的视频序列Foreman的光流示意图，图1(c)表示根据图1(a)和图1(b)中的视频帧生成的光流信息；图2为本专利技术基于光流和块匹配的DVC边信息融合方法系统框图；图3为本专利技术的基于邻域搜索的空洞点填充方案；图4为本专利技术方法与原始运动学习方案以及运动补偿内插法边信息方案的实验对比结果，其中，图4(a)为视频序列Foreman的实验结果曲线，图4(b)为视频序列Soccer的实验结果曲线。具体实施方式下面结合附图及实施例对本专利技术作进一步的详细说明，有必要指出的是，以下的实施例只用于对本专利技术做进一步的说明，不能理解为对本专利技术保护范围的限制，所属领域技术熟悉人员根据上述
技术实现思路
，对本专利技术做出一些非本质的改进和调整进行具体实施，应仍属于本专利技术的保护范围。如图2所示为本专利技术方法的系统框图，具体实施方法为：(1)在DVC编码端，原始视频序列被交替分为WZ帧和K帧，K帧采用传统的H.264/AVC帧内编码方式编码，WZ帧经过DCT变换、量化、比特面提取之后，采用LDPCA信道编码方式进行编码；(2)在DVC解码端，利用传统帧内解码方式解码K帧。对于WZ帧的解码，首先根据以下步骤生成当前WZ帧的前、后向光流边信息：设置GOP＝2，当前待解码的WZ帧记为It，It-1与It+1分别表示It的前向和后向已解码关键帧，与分别表示It的前向和后向光流边信息内插帧，具体的计算过程如下：A1.使用光流算法获得It-1帧到It-1帧的前向光流Vf；A2.计算前向关键帧It-1到当前帧It的光流Vf′：Vf′(x,y)＝1/2Vf(x,y)，本文档来自技高网...

【技术保护点】
1.一种基于光流和块匹配的DVC边信息融合方法，其特征在于主要包括以下过程步骤：A.基于前、后向光流的边信息生成考虑到初始边信息质量的好坏对于整个系统率失真性能的重要性，本专利技术利用待解码帧的前、后向光流信息来内插生成光流边信息。设置GOP＝2，当前待解码的WZ帧记为It，It‑1与It+1分别表示It的前向和后向已解码关键帧，

【技术特征摘要】
1.一种基于光流和块匹配的DVC边信息融合方法，其特征在于主要包括以下过程步骤：A.基于前、后向光流的边信息生成考虑到初始边信息质量的好坏对于整个系统率失真性能的重要性，本发明利用待解码帧的前、后向光流信息来内插生成光流边信息。设置GOP＝2，当前待解码的WZ帧记为It，It-1与It+1分别表示It的前向和后向已解码关键帧，与分别表示It的前向和后向光流边信息内插帧，具体的计算过程如下：A1.使用光流算法获得It-1帧到It-1帧的前向光流Vf；A2.计算前向关键帧It-1到当前帧It的光流V′f：V′f(x,y)＝1/2Vf(x,y)，其中的x和y分别表示光流信息中的横、纵坐标，说明需要对每个点进行逐一处理；A3.计算得到WZ帧的前向光流边信息，其中round()函数表示四舍五入操作，x和y分别表示光流信息中的横、纵坐标：A4.使用光流算法获得It+1帧到It-1帧的后向光流Vb；A5.计算后向关键帧I...

【专利技术属性】
技术研发人员：卿粼波，熊珊珊，何小海，王正勇，荣松，滕奇志，熊淑华，
申请(专利权)人：四川大学，
类型：发明
国别省市：四川,51