用于帧内编码深度图多层表示的系统和方法技术方案

本发明专利技术涉及对深度图进行处理的系统和方法，特别是涉及用于帧内编码深度图多层表示的系统和方法。本发明专利技术采用将深度图数据分块；对分块的深度图数据，设置渐进量化及其停止条件；对停止迭代的多层深度图进行数据封装；输出封装后的比特流至解码器端的手段，通过将相同平滑区域内的像素减少为简单的代表值，同时在记录像素分组中投入资源，来实现深度图的平滑度。质量目标可以使该方法的重建输出更好地服务于视频编码器的整体质量和比特率控制。本发明专利技术的一个直接应用是用于在线视频广播的3D视频内容压缩。另一个应用是3D视频格式转换。

【技术实现步骤摘要】
用于帧内编码深度图多层表示的系统和方法
本专利技术涉及对深度图进行处理的系统和方法，特别是涉及用于帧内编码深度图多层表示的系统和方法。
技术介绍
随着对图像传输要求的不断提高，为了获得图像和视频的高效存储和传输，需要对图像和视频的有效压缩方法。深度图是记录可观察场景点距摄像机光点的距离的图像或视频。它通过在场景中指定其深度，为彩色图像或在相同位置拍摄的视频中的相关颜色像素提供附加信息。因此，深度图是3D多媒体体验的关键组成部分。显示设备具有从中恢复具有深度图的图像或视频中描绘的场景的3D结构信息。深度图的压缩和编码是减少深度图数据量的过程，并为网络的不同终端的设备提供标准以理解传输的数据。深度图编码也可以被视为整个3D视频数据的压缩过程的一部分。最常见的深度图编码或一般视频编码方案遵循相同的“混合”视频编码框架。帧被分成块，利用相邻块和帧之间的空间依赖性。数据由先前编码的块和帧预测并编码。帧内编码是深度图编码的基础步骤。它是编码过程的一部分，其中数据仅由来自同一帧的先前数据预测。帧内编码方法仅相对于当前帧内包括的信息执行操作，而相对于视频序列中的任何其他帧中包括的信息不执行操作。现有技术的最先进标准3D高效率视频编码(“3D－HighEfficiencyVideoCoding”)采用下列帧内编码方法，包括：1.直流(DC)和平面预测；2.基于楔形(“wedgelet”)的深度建模；3.轮廓段深度建模。通过方向预测仅能够处理平滑数据。基于楔形的深度建模和轮廓段深度建模可以处理急剧的变化，但是帧所分成的块中仅有两层。此外，轮廓线段深度建模经常从相应的纹理视频中获得急剧的变化。这些方法的局限性在于分割仅执行一次。因此，如果分割质量差，则必须依赖其他编码方法来提高重建质量。因此现有技术中需要提高压缩效率并更好地提高重建质量的压缩深度图的系统和方法。
技术实现思路
本专利技术自适应地量化图像并将图像分成恒定值的层的方式，提供了一种在相对复杂的场景中压缩深度图数据的系统和方法。本专利技术提供一种帧内编码深度图多层表示的系统，包括下列装置：分块模块，将深度图数据分块；渐进量化模块，对分块的深度图数据设置渐进量化及其停止条件。本专利技术的一个方面，还包括如下装置：数据封装模块，对停止迭代的多层深度图进行数据封装；数据输出模块，输出封装后的比特流至解码器端。本专利技术的一个方面，其中：对分块的深度图数据设置渐进量化及其停止条件的渐进量化模块还包括：分层模块，将深度块被分解为多个层，每个层包含深度块中与其他层互斥的像素子集；多层表示模块，以非参数方式表示所述多个层，其中一个层可以表示深度块中所有像素的任何子集；迭代模块，采用迭代方法对所述多个层进行编码，并持续监控重建残差和优先级高的剩余区域。本专利技术的一个方面，对分块的深度图数据设置渐进量化及其停止条件的渐进量化模块包括：新图层创建模块，利用编码器初始化一个空的图层列表，在所述图层列表中创建一个新图层，然后将块中的所有像素分类为唯一的图层；编码器重复执行下列模块直到迭代过程结束：计算模块，对于图层列表中的每个图层，利用加密器计算图层内所有像素的深度值的均值和方差，并将每个平均值都附加到相应的图层；深度值重建模块，编码器找到计算出的所有方差中的最大值，识别具有最大方差的层，将其调用为最大方差层；并通过使用每个像素所属层的平均值为每个像素分配深度值来创建重建块；计算重建块与原始深度块之间的平方误差之和；新图层创建模块，利用编码器在图层列表的尾部创建一个新图层，选取最大方差层内并且深度值大于最大方差层平均值的所有像素，从最大方差层中删除这些像素并将它们分配给新图层；在所述平方误差之和小于预设阈值时，结束迭代过程。本专利技术的另一个方面，其中，所述预定阈值为在平方误差之和方面所需的重建质量。本专利技术的另一个方面，其中所述数据封装模块，还包括：平均值附加模块，利用编码器为其图层列表中的所有图层计算图层内所有像素的深度值的均值和方差；将每个平均值都附加到相应的图层；图层处理模块，编码器通过按降序对每个层的区域或像素数进行排序来重新排序图层，从而首先处理具有最多像素的图层；二进制映射模块，编码器利用尚未编码且具有最大像素数的层，形成二进制映射，将该层中的所有像素标记为“1”，将其他像素标记为“0”，并使用上下文自适应二进制算术编码方法来编码这个二进制映射；完成该映射后，编码器继续进行下一个最大层并重复直到剩下一个层；最后一层不需要二进制映射，因为其会自动填充所有剩余像素。本专利技术的另一个方面，其中数据封装模块中的最终输出数据由下列内容组成：表示深度块中的层数的整数；包含所有层的二进制映射的一系列位；体现每层的深度值的一系列整数。本专利技术还提供一种帧内编码深度图多层表示的方法，包括如下步骤：将深度图数据分块；对分块的深度图数据，设置渐进量化及其停止条件。本专利技术还提供一种实现本专利技术所述方法的编码器，对分块的深度图数据设置渐进量化及其停止条件的，其包括：新图层创建模块，利用编码器初始化一个空的图层列表，在所述图层列表中创建一个新图层，然后将块中的所有像素分类为唯一的图层；所述编码器重复执行下列模块直到迭代过程结束：计算模块，对于图层列表中的每个图层，利用加密器计算图层内所有像素的深度值的均值和方差，并将每个平均值都附加到相应的图层；深度值重建模块，编码器找到计算出的所有方差中的最大值，识别具有最大方差的层，将其调用为最大方差层；并通过使用每个像素所属层的平均值为每个像素分配深度值来创建重建块；计算重建块与原始深度块之间的平方误差之和；新图层创建模块，利用编码器在图层列表的尾部创建一个新图层，选取最大方差层内并且深度值大于最大方差层平均值的所有像素，从最大方差层中删除这些像素并将它们分配给新图层；在所述平方误差之和小于预设阈值时，结束迭代过程。本专利技术中描述的方法，以模仿深度数据的性质的方式处理深度图数据。深度图通常包含大而平滑的区域，两者之间有明显清晰的边界。本专利技术通过将相同平滑区域内的像素减少为简单的代表值，同时在记录像素分组中投入资源，来实现深度图的平滑度。质量目标可以使该方法的重建输出更好地服务于视频编码器的整体质量和比特率控制。本专利技术的一个直接应用是用于在线视频广播的3D视频内容压缩。另一个应用是3D视频格式转换。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本专利技术的一些实例，对于本领域普通技术人员来讲，在不付出创新性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术所述的用于帧内编码深度图多层表示的方法示意图。图2a-图2e为本专利技术所述的用于帧内编码深度图多层表示的方法中设置渐进量化及其停止条件步骤的示例。图3示意性地示出了用于执行根据本专利技术的方法的服务器的框图；以及图4示意性地示出了用于保持或者携带实现根据本专利技术的方法的程序代码的存储单元。具体实施方式以下阐本文档来自技高网...

【技术保护点】
1.一种帧内编码深度图多层表示的方法，包括如下步骤：/n将深度图数据分块；/n对分块的深度图数据，设置渐进量化及其停止条件。/n

【技术特征摘要】
1.一种帧内编码深度图多层表示的方法，包括如下步骤：
将深度图数据分块；
对分块的深度图数据，设置渐进量化及其停止条件。


2.如权利要求1所述的方法，还包括如下步骤：
对停止迭代的多层深度图进行数据封装；
输出封装后的比特流至解码器端。


3.如权利要求1－2所述的方法，其中：
对分块的深度图数据，设置渐进量化及其停止条件的步骤包括：
将深度块被分解为多个层，每个层包含深度块中与其他层互斥的像素子集；
以非参数方式表示所述多个层，其中一个层可以表示深度块中所有像素的任何子集；
采用迭代方法对所述多个层进行编码，并持续监控重建残差和优先级高的剩余区域。


4.如权利要求1－2所述的方法，对分块的深度图数据，设置渐进量化及其停止条件的步骤包括：
利用编码器初始化一个空的图层列表，在所述图层列表中创建一个新图层，然后将块中的所有像素分类为唯一的图层；
编码器重复进行下列步骤直到迭代过程结束：
对于图层列表中的每个图层，利用加密器计算图层内所有像素的深度值的均值和方差，并将每个平均值都附加到相应的图层；
编码器找到计算出的所有方差中的最大值，识别具有最大方差的层，将其调用为最大方差层；并通过使用每个像素所属层的平均值为每个像素分配深度值来创建重建块；计算重建块与原始深度块之间的平方误差之和；
利用编码器在图层列表的尾部创建一个新图层，选取最大方差层内并且深度值大于最大方差层平均值的所有像素，从最大方差层中删除这些像素并将它们分配给新图层；
在所述平方误差之和小于预设阈值时，结束迭代过程。


5.如权利要求4所述的方法，其中，所述预定阈值为在平方误差之和方面所需的重建质量。


6.如权利要求2所述的方法，其中所述对停止迭代的多层深度图进行数据封装的步骤，包括如下步骤：
利用编码器为其图层列表中的所有图层计算图层内所有像素的深度值的均值和方差；将每个平均值都附加到相应的图层；
编码器通过按降序对每个层的区域或像素数进行排序来重新排序图层，从而首先处理具有最多像素的图层；
编码器利用尚未编码且具有最大像素数的层，形成二进制映射，将该层中的所有像素标记为“1”，将其他像素标记为“0”，并使用上下文自适应二进制算术编码方法来编码这个二进制映射；
完成该映射后，编码器继续进行下一个最大层并重复直到剩下一个层；
最后一层不需要二进制映射，因为其会自动填充所有剩余像素。


7.如权利要求2或6中所述的方法，其中输出封装后的比特流的步骤中的最终输出数据由下列内容组成：
表示深度块中的层数的整数；
包含所有层的二进制映射的一系列位；
体现每层的深度值的一系列整数。


8.一种帧内编码深度图多层表示的系统，包括下列装置：
分块模块，将深度图数据分块；
渐进量化模块，对分块的深度图数据设置渐进量化及其停止条件。


9.如权利要求1所述的系统，还包括如下装置：
数据封装模块，对停止迭代的多层深度图进行数据封装；
数据输出模块，输出封装后的比特流至解码器端。


10.如权利要求8－9所述的系统，其中：
对分块的深度图数据设置渐进量化及其停止条件的渐进量化模块还包括：
分层模块，将深度块被分解为多个层，每个层包含深度块中与其他层互斥的像素子集；
多层表示模块，以非参数方式表示所述多个层，其中一个层可以表示深度块中所有像素的任何子集；
迭代模块，采用迭代方法对所述多个层进行编码，并持续监控重建残差和优先级高的剩余区域。


11.如权利要求8－9所述的系统，对分块的深度图数据设置渐进量化及其停止条件的...

【专利技术属性】
技术研发人员：陈成就，覃泓胨，
申请(专利权)人：万维数码有限公司，
类型：发明
国别省市：中国香港;81