一种基于HEVC的3D视频快速编码方法技术

本发明专利技术公开了一种基于HEVC的3D视频快速编码方法，编码深度图序列时基于纹理平坦性在率失真优化过程中进行快速虚拟视点合成，属于视频编码领域。包括：从纹理图视频序列中提取编码信息，基于统计学方法分析平坦的纹理区域中像素亮度值之间的规律，然后基于该规律，在编码深度图序列进行率失真优化时的虚拟视点合成过程中，提前分离出深度图序列中的像素平坦区域，终止该区域像素的虚拟视点合成过程，降低原始的穷尽式的像素处理过程带来的巨大编码复杂度。与传统的全像素合成方法相比，本发明专利技术方法能够在保证编码质量的同时减少大量编码时间。

【技术实现步骤摘要】
一种基于HEVC的3D视频快速编码方法
本专利技术涉及视频编码技术，具体涉及一种3D视频深度图编码中基于纹理平坦性的快速率失真优化编码方法。
技术介绍
3D(threedimensional)视频由于使得人的左右眼能够分别看到3D场景中存在轻微视角差异的不同场景信息，因此相比普通的2D视频能够提供具有深度感知的观看体验。目前较为常见的立体显示设备是双目立体显示器，提供两个视点的视频数据，而随着目前多媒体技术的发展，多视点立体显示器由于能提供裸眼的3D视觉感受而越来越受到多媒体信息产业的关注。然而，视点数的增多会带来视频数据量的成倍增长，对传输和存储造成极大负担，因此亟需一种有效的编码方法来解决这一问题。目前最新的2D视频国际编码标准为HEVC(HighEfficiencyVideoCoding)标准，该标准于2013年被正式批准。基于HEVC对2D视频优秀的编码效果，基于HEVC的3D视频国际编码标准也应运而生，称为3D-HEVC。多视点加深度(Multi-viewplusDepth,MVD)视频格式被3D-HEVC所采用。这种视频格式包含2个或3个纹理视频及其对应的深度图序列，如图1所示。深度图序列可以看作一组灰度图像序列，用亮度分量表示深度值，因此深度图序列可以有效地表征物体在三维空间中的位置。深度值的引入，使得可以利用DIBR(DepthImageBasedRendering)技术在原本的2或3个视点之间合成虚拟视点，有效地解决由于视点数增加造成的数据量激增的问题。传统的视频编码方法采用率失真优化技术来进行运动矢量选择和模式决策过程，通过选择率失真代价最小的作为最终决策。率失真代价的计算公式为J＝D+λ·R，其中J是率失真代价，D为原始数据与重建数据之间的失真值，λ是拉格朗日乘数，R是编码所需比特数。D的常规计算方法是计算当前视频序列中原始数据与重建数据之间的差值平方和或绝对差之和。然而深度图序列仅用来合成虚拟视点，而并不会直接提供给用户观看，仍采用常规的视频编码技术来编码深度图序列不能获得最优的编码效果。因此在深度图序列编码模式决策的过程中，失真值D的计算需要基于合成视点的失真情况而非深度图序列本身的失真情况。在3D-HEVC中，用于深度图序列编码中率失真代价计算的失真值D被称为SVDC(SynthesizedViewDistortionChange)。SVDC值表示的是两个合成的虚拟视点的纹理图失真之差，如图2所示。其中，S′T,Ref表示由原始纹理图和原始深度图合成的参考虚拟视点纹理图；ST′表示由深度图SD合成的纹理图，该深度图包含已编码块的已编码深度数据，和其他块中的原始深度数据；表示由深度图合成的纹理图，该深度图与SD的区别在于还包含当前编码块的编码后深度数据；SSD表示差值平方和。因此，在3D-HEVC中对深度图序列进行编码采用的率失真优化过程中包含了虚拟视点合成过程。由于原有的SVDC计算过程，需要对当前深度图序列中的每个像素进行变换、插值、融合等虚拟视点合成处理的步骤以最终得到虚拟视点，然后编码器通过比较由原始深度图序列合成的虚拟视点，和由编码后的深度图序列合成的虚拟视点，最终计算每个像素点的合成视点像素亮度值差之和，如图3所示的对由深度图SD合成的纹理图ST′计算失真值D。这种全像素遍历的方法会随着视频分辨率的提高带来巨大的编码复杂度，增加3D视频的编码时间。本专利技术基于HEVC标准，提出一种基于纹理平坦性的快速率失真优化编码方法，降低由于穷尽式的像素处理过程带来的巨大编码复杂度，同时保证合成的虚拟视点质量。附：参考文献[1]Muller.K.,Schwarz.H.,Marpe.D.,Bartnik.C.,Bosse.S.,Brust.H.,Hinz.T.,Lakshman.H.,Merkle.P.,Rhee.F.H.,Tech.G.,Winken.M.,Wiegand.T.,"3DHigh-EfficiencyVideoCodingforMulti-ViewVideoandDepthData,"IEEETransactionsonImageProcessing,vol.22,no.9,pp.3366-3378,2013.[2]Smolic.A,Muller.K.,Dix.K.,Merkle.P.,Kauff.P.,Wiegand.T.,"Intermediateviewinterpolationbasedonmultiviewvideoplusdepthforadvanced3Dvideosystems,"15thIEEEInternationalConferenceonImageProcessing,SanDiego,USA,pp.2448-2451,Oct.2008.[3]Tech.G.,Schwarz.H.,Muller.K.,Wiegand.T.,"3Dvideocodingusingthesynthesizedviewdistortionchange,"2012PictureCodingSymposium(PCS),pp.25-28,May2012.
技术实现思路
本专利技术的目的在于，通过提供一种基于HEVC的3D视频快速编码方法，利用平坦纹理区域中的像素亮度值规律设定阈值，判定深度图视频序列中的平坦部分并分离该部分的像素处理过程，加速率失真优化过程中虚拟视点合成过程，降低3D视频的编码复杂度。为解决上述技术问题，本专利技术采取的技术方案为：一种基于HEVC的3D视频快速编码方法，首先从已编码的纹理图视频序列中提取编码信息，基于统计学方法分析平坦的纹理区域中像素亮度值之间的规律；然后基于该规律，在编码深度图序列进行率失真优化时的虚拟视点合成过程中，提前分离出平坦的深度图像素区域，终止该区域像素的虚拟视点合成过程，减少需要进行虚拟视点合成过程的像素个数，降低原始的穷尽式的像素处理过程带来的巨大编码复杂度，具体步骤如下：1.1、从已编码的纹理图视频序列中提取编码信息，包括：编码块的划分尺寸n×n、编码块所使用的编码模式Mode、重建块中各像素的亮度值Y；1.2、分析平坦的纹理区域中像素亮度值之间的规律，利用从步骤1.1中获得的编码信息，选取Mode为IntraDC模式的编码块作为处于纹理平坦区域的编码块，记录此类编码块的尺寸n×n和块中各像素的亮度值，基于统计学的方法分析此类编码块中像素亮度值之间的规律，设定阈值T；1.3、在编码深度图序列进行率失真优化时的虚拟视点合成过程中，利用经过步骤1.2获得的阈值T，将当前深度图序列中的编码块按行划分成l个平坦行和m个非平坦行；1.4、利用经过步骤1.3得到平坦行和非平坦行划分结果，终止l个平坦行中像素的虚拟视点合成处理过程，降低全像素合成虚拟视点处理过程带来的高复杂度。在本专利技术所提供的基于HEVC的3D视频快速编码方法中，所述的基于统计学方法分析纹理平坦编码块中像素亮度值之间规律并设定阈值T的过程，包括下述步骤：2.1、计算纹理平坦编码块中每个像素的平均亮度值，计算公式为其中是平均亮度值，i和j是像素的横坐标和纵坐标，n表示当前编码块的长和宽，Y表示像素亮度值；2.2、计算纹理平坦编码块中每个像素的亮度平均差值，计算公式为其中本文档来自技高网...

【技术保护点】
一种基于HEVC的3D视频快速编码方法，其特征在于包含以下步骤：1.1、从已编码的纹理图视频序列中提取编码信息，包括：编码块的划分尺寸n×n、编码块所使用的编码模式Mode、重建块中各像素的亮度值Y；1.2、分析平坦的纹理区域中像素亮度值之间的规律，利用从步骤1.1中获得的编码信息，选取Mode为Intra DC模式的编码块作为处于纹理平坦区域的编码块，记录此类编码块的尺寸n×n和块中各像素的亮度值，基于统计学的方法分析此类编码块中像素亮度值之间的规律，设定阈值T；1.3、在编码深度图序列进行率失真优化时的虚拟视点合成过程中，利用经过步骤1.2获得的阈值T，将当前深度图序列中的编码块按行划分成l个平坦行和m个非平坦行；1.4、利用经过步骤1.3得到平坦行和非平坦行划分结果，终止l个平坦行中像素的虚拟视点合成处理过程，降低全像素合成虚拟视点处理过程带来的高复杂度；所述的基于统计学方法分析纹理平坦编码块中像素亮度值之间规律并设定阈值T的过程，包括下述步骤：2.1、计算纹理平坦编码块中每个像素的平均亮度值，计算公式为其中是平均亮度值，i和j是像素的横坐标和纵坐标，n表示当前编码块的长和宽，Y表示像素亮度值；2.2、计算纹理平坦编码块中每个像素的亮度平均差值，计算公式为其中A是亮度的平均差值，i和j是像素的横坐标和纵坐标，n表示当前编码块的长和宽，Y表示像素亮度值，是平均亮度值；2.3、利用步骤2.2的计算方法对标准测试序列{newspaper,balloons,kendo,gtfly,undodancer,poznanstreet}中的纹理平坦编码块，计算像素的亮度平均差值，对各个平均差值计算平均值，并对此平均值进行下取整，将其作为阈值T；所述的平坦行和非平坦行的划分过程，包括下述步骤：3.1、对当前深度图序列中编码块按行进行处理，计算当前行中相邻像素亮度值之差的绝对值ΔY＝|Yp‑Yq|，其中ΔY表示像素亮度值之差的绝对值，Y表示像素的亮度值，p和q表示当前行中相邻的两个像素值横坐标；3.2、如果当前行中所有相邻像素的像素亮度值之差绝对值ΔY都小于阈值T，则认为当前行平坦，否则认为当前行不平坦。...

【技术特征摘要】
1.一种基于HEVC的3D视频快速编码方法，其特征在于包含以下步骤：1.1、从已编码的纹理图视频序列中提取编码信息，包括：编码块的划分尺寸n×n、编码块所使用的编码模式Mode、重建块中各像素的亮度值Y；1.2、分析平坦的纹理区域中像素亮度值之间的规律，利用从步骤1.1中获得的编码信息，选取Mode为IntraDC模式的编码块作为处于纹理平坦区域的编码块，记录此类编码块的尺寸n×n和块中各像素的亮度值，基于统计学的方法分析此类编码块中像素亮度值之间的规律，设定阈值T；1.3、在编码深度图序列进行率失真优化时的虚拟视点合成过程中，利用经过步骤1.2获得的阈值T，将当前深度图序列中的编码块按行划分成l个平坦行和m个非平坦行，其中0≤l,m≤n；1.4、利用经过步骤1.3得到平坦行和非平坦行划分结果，终止l个平坦行中像素的虚拟视点合成处理过程，降低全像素合成虚拟视点处理过程带来的高复杂度；所述的基于统计学方法分析纹理平坦编码块中像素亮度值之间规律并设定阈值T的过程，包括下述步骤：2.1、计算纹理平坦编码块中每个像素...

【专利技术属性】
技术研发人员：贾克斌，窦环，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京;11