自由视点视频深度图失真预测方法和编码方法技术

一种自由视点视频深度图失真预测方法及编码方法，包括：对于多视点立体视频序列给定视点的给定帧的用作空洞填补合成的待编码图块，输入已完成编码的纹理图块、采用预选的编码模式试编码的深度图块、相应原始纹理图块及原始深度图块；输入待编码图块的合并权重矩阵，其标记了利用左右视点纹理图获得合成视点纹理时的合并权重；计算利用深度图块中的像素点完成映射、空洞填补合成后得到的合成纹理的失真，将其作为合成视点失真的预测值；将待编码图块各像素的失真预测值求和，得到编码待编码图块造成的合成视点失真预测值。该方法能够准确预测深度图块的编码失真，同时避免反复执行合成视图算法，极大地降低计算复杂度。

Free viewpoint video depth map distortion prediction method and coding method

A prediction method and encoding method, distortion free viewpoint video depth map includes: for a given frame of multi view stereo video sequence given the viewpoint to fill a hole to block the synthesis of encoding, the encoding input has been completed, the texture block encoding mode pre trial code block, the corresponding depth map original texture map the original block and block depth map; input to merge the weight matrix encoding block, which marked by left and right view texture map combined with weight gain when the view synthesis texture; texture synthesis using pixel distortion calculation depth map in the block to complete the mapping, get empty hole fill after synthesis, will predict the as synthesized view the distortion of value; sum value distortion prediction will be encoding blocks of each pixel, the synthesized view to block encoding encoding distortion caused by the predictive value. This method can accurately predict the coding distortion of depth map block, and avoid the repeated execution of the synthesized view algorithm, which greatly reduces the computational complexity.

【技术实现步骤摘要】
自由视点视频深度图失真预测方法和编码方法
本专利技术涉及计算机视觉技术和视频编码领域，特别是涉及一种自由视点视频深度图失真预测方法和编码方法。
技术介绍
传统的3D视频系统只能为用户提供单一视点的左右眼视频，其视觉体验十分有限。而自由视点视频系统，则可以通过采集和传输有限视点的视频信息，在终端利用合成算法为用户提供任意视点的场景视频。因而自由视点视频系统能够极大地增强用户的视觉体验效果，具有广阔的发展前景。为了发展用于自由视点视频编码的技术，MPEG（MovingPicturesExpertsGroup）和VCEG（VideoCodingExpertsGroup）在联合视频项目HEVC（HighEfficiencyVideoCoding）的基础上，提出了拓展项目3D-HEVC。3D-HEVC中通过采集有限多个视点纹理视频及对应视点的深度图视频(表征场景中物体到相机间的距离)来表示3D场景信息，称为“多视点视频+深度图”格式。“多视点视频+深度图”数据通过编码压缩、传输、解码，在终端通过合成算法可以合成任意视点的视频，并投放给用户观看。在视点合成算法中，深度图数据表征的场景几何信息被用作将被编码视点的纹理像素映射到合成视点中，从而完成合成视点纹理的插值、空洞填补等处理。因此，解码后的深度图质量对合成视点的图像质量至关重要。在深度图编码过程中，采用率失真优化的方法来选择编码模式和参数，从而获得优化的深度图编码压缩性能。率失真优化问题是一个拉格朗日优化问题，即选择能够使D+λ·R最小的编码参数或编码模式；D表示不同编码参数或模式下，待编码深度图块经编码、解码及视点合成后，造成的合成视图失真，R表示不同编码模式或参数下编码当前块产生的比特数；λ是拉格朗日乘子。传统失真计算方法，例如SSD（SumofSquaredDifferences）和SAD(SumofAbsoluteDifferences)，最先被用于深度视频编码的失真预测；该方法原理简单，算法复杂性低，易于硬件实现，广泛用于2D视频编码，但由于只计算深度图块本身的失真，而未考虑其对视点合成的影响，因而不能有效保证合成视图的质量。因此，提出了利用简易合成算法计算编码深度图造成的合成视图失真的方法，例如SVDC（SynthesizedViewDistortionChange）等；该方法可以整体上优化合成视图的质量及压缩性能，但需要在编码过程中反复执行视点合成算法，计算量极大，尤其不利于实时系统的应用。为了进一步降低计算复杂度，基于合成视图失真预测的深度图编码失真预测方法被提了出来，例如VSD（ViewSynthesisDistortion）等；该类方法通过估算编码深度图造成的合成视图的失真，来预测编码深度图的失真，从而恰当地平衡了编码复杂度、压缩性能和合成视图质量。然而，现有的基于合成视图失真预测的深度图编码失真预测方法的准确性都十分有限，并不能提供很好的合成视图的质量。
技术实现思路
本专利技术的主要目的在于克服现有技术的不足，提供一种自由视点视频深度图失真预测方法和编码方法，能够准确地预测自由视点视频中基于空洞填补合成的深度图块有损编码造成的合成视图失真，用于编码模式和参数的选择，可以在保证合成视图质量及编码压缩性能的同时，大幅降低自由视点深度视频编码的计算复杂度。为实现上述目的，本专利技术采用以下技术方案：一种自由视点视频深度图失真预测方法，所述方法包括：A1:对于多视点立体视频序列给定视点的给定帧的用作空洞填补合成的待编码图块，输入已完成编码的纹理图块Tc、采用预选的编码模式试编码的深度图块dc、相应原始纹理图块To及原始深度图块do；A2:输入所述待编码图块的合并权重矩阵W，合并权重矩阵W标记了分别利用左右视点纹理图获得合成视点纹理时的合并权重；A3:计算利用深度图块dc中的像素点dc，n完成映射、空洞填补合成后得到的合成纹理的失真Dvs，n，将所述失真Dvs，n作为像素点dc，n造成的合成视点失真的预测值；A4:将所述待编码图块各像素的失真预测值求和，得到编码所述待编码图块造成的合成视点失真预测值。优选地：所述步骤A1中的用作空洞填补合成的待编码图块为自由视点纹理及深度图视频经编码、传输、解码后，用作空洞填补合成的待编码深度图块。通过以下方法识别所述待编码图块：在编码当前深度图前，利用相邻两视点纹理图和深度图，执行视点合成算法，合成中间视点，即分别利用左、右视点采用变换、插值、空洞填补获得合成视点视图Vr和Vl，再采用融合模块，合并Vr及Vl，从而获得合成的中间视点；在此过程中对待编码深度图中用于空洞填补合成的区域进行标记。所述步骤A2中的合并权重矩阵W可通过以下方法获得：执行视点合成算法，分别利用左、右视点获得合成视点视图Vr和Vl，再采用融合模块，合并Vr及Vl，从而获得合成的中间视点；在此过程中记录合并权重矩阵W。所述合成算法可采用基于深度图像绘制算法。所述步骤A2中获得合并权重矩阵W的过程与所述步骤A1中识别用作空洞填补合成的待编码图块的过程在同一个过程中完成，或是分别处理。所述步骤A3中，对于步骤A1获取的dc中的像素点dc，n及其相邻像素点dc，n+1，计算利用像素点dc，n及dc，n+1进行空洞填补的合成视点纹理失真预测值Dvs，n，计算方式如下，Dvs，n＝(Dvs，n，bastc+Dvs，n，left+Dvs，n，rtght)Wn2(4)其中，Dvs，n，bastc为由于纹理失真造成的空洞填补合成纹理失真，Dvs，n，left为由于do，n编码为dc，n造成的空洞填补合成纹理失真，Dvs，n，left为由于do，n+1编码为dc，n+1造成的空洞填补合成纹理失真，do，n及do，n+1分别为dc，n及dc，n+1在原始深度图块中的对应像素,xo，n及xo，n+1为图块中深度图像素n及相邻像素n+1的对应纹理根据未编码的深度图块do，n映射到合成视点中的位置，xc，n及xc，n+1为待编码视点深度图像素n及相邻像素n+1的对应纹理根据试编码的深度图dc，n映射到合成视点中的位置，To，n及To，n+1为待编码视点深度图像素n及相邻像素n+1对应在To中的纹理值，Tc，n及Tc，n+1为待编码视点深度图像素n及相邻像素n+1对应在Tc中的纹理值,Wn为合并权重,和分别为xc，n+1和xc，n的上取整,和分别为xo，n+1和xo，n的上取整。一种自由视点视频深度图编码方法，采用所述的失真预测方法获得当前深度图的编码块的合成视点总失真预测值，并基于该总失真预测值，选择最佳编码模式和编码参数进行编码。本专利技术的有益效果：本专利技术针对多视点立体视频序列单视点单帧的用作空洞填补合成的某一深度图块，提出的一种编码失真预测方法。对于图块中的像素点，利用合并权重矩阵，计算利用编码后该像素点的值做投影、空洞填补合成得到的纹理值的失真的预测值，作为编码该深度图像素点造成的合成视点失真预测。该方法有效地简化了空洞填补合成的模型，从而能够快速预测基于空洞填补合成的深度图块的编码造成的合成视点失真。该方法能够准确预测基于空洞填补的深度图块的编码失真，从而能够在率失真优化中有效保证合成视点质量和编码压缩性能，同时避免了反复执行合成视图算法，极大地降低计算复杂度。附本文档来自技高网...

【技术保护点】
一种自由视点视频深度图失真预测方法，其特征在于，所述方法包括：A1:对于多视点立体视频序列给定视点的给定帧的用作空洞填补合成的待编码图块，输入已完成编码的纹理图块T

【技术特征摘要】
1.一种自由视点视频深度图失真预测方法，其特征在于，所述方法包括：A1:对于多视点立体视频序列给定视点的给定帧的用作空洞填补合成的待编码图块，输入已完成编码的纹理图块Tc、采用预选的编码模式试编码的深度图块dc、相应原始纹理图块To及原始深度图块do；A2:输入所述待编码图块的合并权重矩阵W，合并权重矩阵W标记了分别利用左右视点纹理图获得合成视点纹理时的合并权重；A3:计算利用深度图块dc中的像素点dc，n完成映射、空洞填补合成后得到的合成纹理的失真Dvs，n，将所述失真Dvs，n作为像素点dc，n造成的合成视点失真的预测值；A4:将待编码图块各像素的失真预测值求和，得到编码所述待编码图块造成的合成视点失真预测值；所述步骤A3中，对于步骤A1获取的dc中的像素点dc，n及其相邻像素点dc，n+1，计算利用像素点dc，n及dc，n+1进行空洞填补的合成视点纹理失真预测值Dvs，n，计算方式如下，Dvs，n＝(Dvs，n，basic+Dvs，nleft+Dvs，n，right)Wn2(4)其中，Dvs，n，basic为由于纹理失真造成的空洞填补合成纹理失真，Dvs，n，left为由于do，n编码为dc，n造成的空洞填补合成纹理失真，Dvs，n，left为由于do，n+1编码为dc，n+1造成的空洞填补合成纹理失真，do，n及do，n+1分别为dc，n及dc，n+1在原始深度图块中的对应像素,xo，n及xo，n+1为图块中深度图像素n及相邻像素n+1的对应纹理根据未编码的深度图块do，n映射到合成视点中的位置，xc，n及xc，n+1为待编码视点深度图像素n及相邻像素n+1的对应纹理根据试编码的深度图dc，n映射到合成视点中的位置，To...

【专利技术属性】
技术研发人员：金欣，李晨阳，戴琼海，
申请(专利权)人：清华大学深圳研究生院，
类型：发明
国别省市：广东,44