一种使用纹理平滑信息的3D视频残差编码模式选择方法技术

本发明专利技术提出了一种使用纹理平滑信息的3D视频残差编码模式选择方法。该方法使用纹理图像信息对预测单元即PU分类，不同类别PU的残差编码模式的选择方式不同，步骤如下：在残差编码部分引入分类器对PU进行分类，收集统计数据，计算分类器阈值T；判断当前PU水平方向像素梯度和是否小于分类器阈值T：如果小于，则计算模式列表里所有模式采用SDC残差编码时的率失真代价，采用SDC残差编码对当前PU编码；否则，分别计算模式列表里所有模式采用non‑SDC以及SDC残差编码时的率失真代价，比较该两种率失真代价，选出最优的残差编码方式对当前PU块编码。本发明专利技术在保证合成视频质量不下降的同时，有效地降低了深度图像残差编码复杂度，减少了帧内预测所需的编码时间。

【技术实现步骤摘要】
一种使用纹理平滑信息的3D视频残差编码模式选择方法
本专利技术属于视频编解码
，具体涉及一种3D视频深度图像残差编码模式选择方法。
技术介绍
随着3D电影和电视的发展，3D视频技术成为近年研究的热点。H.265是联合视频开发组在2013年发布的新一代的国际视频编码标准。其主体架构与H.264相似，但H.265能在有限带宽下传输更高质量的视频，即H.265只需H.264的一半的带宽就可以传输相同质量的视频。同时H.265使用多种方式降低码率。H.265相较于H.264最重要的发展就是扩展了3D-HEVC标准。3D视频采用多视点加深度图格式(MVD)，这种格式对捕获的视点图像和与其相关联的深度图进行编码，并将得到的比特流一起作为3D视频的比特流。在视频和深度图解码后，通过使用渲染技术(DIBR)加入适合3D内容显示的中间视点实现自动立体的显示效果的合成。多视点加深度图像的编码的一个重要的组成部分就是深度图像的压缩编码。深度图像以锐利的物体边界和大部分的平坦区域为特征，其像素值代表物体与摄像镜头的距离。深度图像不是用来直接观看的，而是用来合成虚拟视点。传统意义上的多视点图像是用紧密排列的摄像机同时录像，通过将所有摄像机录制的视频合成产生3D效果。采用这种方式得到的3D视频基线固定，长时间观看会令人产生眩晕感。H.265使用多视点加深度图像得到的3D视频是纹理图像和深度图像合成的虚拟视点，其基线可调，在保证3D视频质量的同时，节省设备开支。但深度图像的引入增加了编解码的复杂度，在帧内编码阶段不仅要对纹理图像编码还要对深度图像进行压缩编码。和纹理图像的编码不同，深度图像需要保留高频率的物体边界，而对于平坦区域可进行压缩。深度图像帧内模式选择由四个步骤组成：1)roughmod选择；2)DMM模式选择；3)残差编码模式选择SDC(segment-wiseDCcoding)或non-SDC；4)实际编码。粗糙模式选择根据低复杂度的率失真代价计算为当前PU选出几个常用的HEVC帧内模式(CHIMs)并加入候选模式列表。然后，在大量候选模式中选出最优的楔形分割模式并加入候选模式列表。在步骤3)中，通过基于VSO的率失真函数为每个由粗糙模式选择选出的候选模式选择残差编码模式。在这个过程中，步骤2)DMM模式选择和步骤3)残差模式选择因为有大量的模式候选项因此会消耗大部分的时间。
技术实现思路
本专利技术的目的在于提供一种使用纹理平滑信息的3D视频残差编码模式选择方法，在保证合成视角中视频质量的前提下，通过使用纹理图像平坦信息加快对深度图像帧内编码残差模式的选择，并降低深度图像帧内残差模式选择的计算复杂度。实现本专利技术目的的技术解决方案为：一种使用纹理平滑信息的3D视频残差编码模式选择方法，使用纹理图像信息对预测单元即PU分类，不同类别PU的残差编码模式的选择方式不同，包括如下步骤：步骤1：在残差编码部分引入分类器对PU进行分类，收集统计数据，计算分类器阈值T；步骤2：判断当前PU水平方向像素梯度和是否小于分类器阈值T，如果小于阈值T直接跳到步骤4，否则继续步骤3；步骤3：计算模式列表里所有模式采用non-SDC残差编码时的率失真代价；步骤4：计算模式列表里所有模式采用SDC残差编码时的率失真代价；步骤5：比较步骤3和步骤4计算出来的率失真代价，选出最优的残差编码方式对当前PU块编码；如果在步骤2中跳过步骤3，则不作比较直接采用SDC残差编码对当前PU编码。进一步地，步骤1所述在残差编码部分引入分类器对PU进行分类，其中分类器为特征分类器，所选用特征为PU的水平像素梯度和Grad，定义为p(x,y)表示当前块在位置(x,y)处的纹理像素值，S为当前PU块单行或单列包含的像素数。进一步地，步骤1所述分类器阈值T通过贝叶斯决策得到：残差模式的选择看成一个二分类问题ΨR：W＝{ωsdc,ωnon-sdc}，ΨR是分类器，W是包含两个元素的集合，ωsdc表示SDC是最优的残差模式，non-SDC残差验证需要跳过；ωnon-sdc表示按照HTM-13.0原来顺序检验SDC和non-SDC；根据贝叶斯决策，ω的后验概率p(ωi|x)定义为前验概率p(x|ωi)与似然函数p(ωi)乘积再与概率密度函数p(x)的商：ωi为样本类别的第i类，i为样本类别序号，x为指定条件；所以，分类器ΨR表示为：实验表明，p(x|ωi)服从高斯分布，用高斯分布描述p(x|ωi)：其中，参数μ和σ用最大似然估计得到，μ、σ的最大似然估计为：其中，n是视频序列前8帧图像即第一个GOP的样本总数，k为视频序列前8帧图像的样本编号，这些图像使用HTM-13.0编码方式编码；xk是样本的水平像素梯度和Grad；所以，分类器阈值T定义为：本专利技术与现有技术相比，其显著优点在于：(1)利用纹理图像平滑信息，使用PU块水平像素梯度和作为特征对当前PU进行分类；(2)根据PU的类别分别进行不同的残差编码模式选择，若当前PU的水平像素梯度和小于阈值则跳过non-SDC率失真代价计算直接进行SDC率失真代价计算，在提高了编码的速度的同时，可以有效保留边界，从而保证了合成视角的视频质量。附图说明图1是本专利技术使用纹理平滑信息的3D视频残差编码模式选择方法的结构图。图2是本专利技术使用纹理平滑信息的3D视频残差编码模式选择方法的整体框架图。图3是水平像素梯度和类条件密度图。图4是每个基准视频深度图和纹理图，其中(a1)～(g1)为基准视频纹理图，(a2)～(g2)为基准视频纹理图(a1)～(g1)对应的深度图。图5是RCM算法在不同QP下节省的编码时间比例图。具体实施方式本专利技术提出的使用纹理平滑信息的3D视频残差编码模式选择方法，使用纹理图像信息对预测单元即PU分类，不同类别PU的残差编码模式的选择方式不同，对特征值小于阈值的PU块直接跳过non-SDC率失真代价计算，进而减少计算率失真代价时间和复杂度。如图1～2所示，本专利技术使用纹理平滑信息的3D视频残差编码模式选择方法，包括如下步骤：步骤201：在残差编码部分引入分类器对PU进行分类，收集统计数据，计算分类器阈值T；所述在残差编码部分引入分类器对PU进行分类，其中分类器为特征分类器，所选用特征为PU的水平像素梯度和Grad，定义为px,y表示当前块在位置x,y处的纹理像素值，S为当前PU块单行或单列包含的像素数。所述分类器阈值T通过贝叶斯决策得到：残差模式的选择看成一个二分类问题ΨR：W＝{ωsdc,ωnon-sdc}，ΨR是分类器，W是包含两个元素的集合，ωsdc表示SDC是最优的残差模式，non-SDC残差验证需要跳过；ωnon-sdc表示按照原来顺序检验SDC和non-SDC；根据贝叶斯决策，ω的后验概率p(ωi|x)定义为前验概率p(x|ωi)与似然函数p(ωi)乘积再与概率密度函数p(x)的商：ωi为样本类别的第i类，i为样本类别序号，x为指定条件；所以，分类器ΨR表示为：实验表明，p(x|ωi)服从高斯分布，用高斯分布描述p(x|ωi)：其中，参数μ和σ用最大似然估计得到，μ、σ的最大似然估计为：其中，n是视频序列前8帧图像即第一个GOP的样本总数，k为视频序列前8帧图像的样本编号，这些图像使用HTM-13.0编码方式本文档来自技高网...

【技术保护点】
一种使用纹理平滑信息的3D视频残差编码模式选择方法，其特征在于，使用纹理图像信息对预测单元即PU分类，不同类别PU的残差编码模式的选择方式不同，包括如下步骤：步骤1：在残差编码部分引入分类器对PU进行分类，收集统计数据，计算分类器阈值T；步骤2：判断当前PU水平方向像素梯度和是否小于分类器阈值T，如果小于阈值T直接跳到步骤4，否则继续步骤3；步骤3：计算模式列表里所有模式采用non‑SDC残差编码时的率失真代价；步骤4：计算模式列表里所有模式采用SDC残差编码时的率失真代价；步骤5：比较步骤3和步骤4计算出来的率失真代价，选出最优的残差编码方式对当前PU块编码；如果在步骤2中跳过步骤3，则不作比较直接采用SDC残差编码对当前PU编码。

【技术特征摘要】
1.一种使用纹理平滑信息的3D视频残差编码模式选择方法，其特征在于，使用纹理图像信息对预测单元即PU分类，不同类别PU的残差编码模式的选择方式不同，包括如下步骤：步骤1：在残差编码部分引入分类器对PU进行分类，收集统计数据，计算分类器阈值T；步骤2：判断当前PU水平方向像素梯度和是否小于分类器阈值T，如果小于阈值T直接跳到步骤4，否则继续步骤3；步骤3：计算模式列表里所有模式采用non-SDC残差编码时的率失真代价；步骤4：计算模式列表里所有模式采用SDC残差编码时的率失真代价；步骤5：比较步骤3和步骤4计算出来的率失真代价，选出最优的残差编码方式对当前PU块编码；如果在步骤2中跳过步骤3，则不作比较直接采用SDC残差编码对当前PU编码。2.如权利要求1所述的使用纹理平滑信息的3D视频残差编码模式选择方法，其特征在于，步骤1所述在残差编码部分引入分类器对PU进行分类，其中分类器为特征分类器，所选用特征为PU的水平像素梯度和Grad，定义为p(x,y)表示当前块在位置(x,y)处的纹理像素值，S为当前PU块单行或单列包含的像素数。3.如权利要求1所述的使用纹理平滑信息的3D视频残差编码模式选择方法，其特征在于，步骤1所述分类器阈值T通过贝叶斯决策得...

【专利技术属性】
技术研发人员：伏长虹，赵亚文，张洪彬，陈浩，杨梦梦，汪海燕，王瑾，高梽强，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：江苏,32