使用低分辨率深度图的视图合成制造技术

基于获得的纹理数据和深度图，执行视图合成。深度图的分辨率在x方向上低至纹理数据的分辨率的dw分之一，并且在y方向上低至dh分之一。通过执行除法x/dw和y/dh，将纹理像素位置x、y变换成非整数深度图像素位置，并且将这些非整数深度图像素位置舍入到整数深度图像素位置，以及至少基于在整数深度图像素位置和/或相邻位置的获得的纹理数据和深度图值，合成视图。

【技术实现步骤摘要】
【国外来华专利技术】使用低分辨率深度图的视图合成
本公开内容涉及3D视频的编码，3D视频除一个或多个视频视图外，还包含一个或多个相关联的深度图。
技术介绍
视图合成VS描述在虚拟摄像头位置使用在参考摄像头位置的视频视图/纹理数据和相关联深度图合成视频视图的过程。VS能够用作3D视频压缩方案的一部分，并且随后示为视图合成预测VSP。在如在运动图像专家组MPEG的工作中考虑的一些3D视频压缩方案中，以降低的分辨率，即，比相关联视频数据更低的分辨率将深度图编码。工作当前在有关ITU-TSG16WP3和ISO/IECJTC1/SC29/WG11的3D视频编码扩展开发的联合工作组(jointcollaborativeteam)内继续进行。然而，常规VS及因此VSP算法要求在与视频数据相同分辨率的深度信息。问题是如何使用低分辨率深度图数据执行VSP。VSP可以是3D视频编码器和解码器的一部分，但也可在外部执行。例如，可在3D视频解码后为图像再现应用它。操作可在诸如移动电话、平板、膝上型计算机、PC、机顶盒或电视机等装置中执行。稍微更详细地说，3D视频的编码和压缩涉及降低在例如立体（双摄像头）或多视图（几个摄像头）图像序列的图像序列中的数据量，图像序列除包含纹理数据的一个或多个视频视图外，还包含一个或多个相关联深度图。也就是说，对于一个或几个视频视图，相关联深度图可用，从与相关联视频视图相同的摄像头位置描述场景的深度。借助于深度图，包含的视频视图能够用于生成用于例如在包含的视频视图之间的位置或者在用于包含的视频视图的位置外的位置的另外视频视图。图1中示出通过视图合成生成另外视图的过程。图1示出带有第一摄像头位置和第二摄像头位置的两个原摄像头位置的示例。对于这些位置，视频视图102、106和相关联深度图104、108均存在。通过使用单个视频视图和深度图，能够如图1中在虚拟摄像头位置0的视频视图112所示，使用视图合成110生成在虚拟摄像头位置的另外视图。备选，两对或更多对视频视图和深度图能够如图1中虚拟摄像头位置0.5所示，用于生成在第一与第二摄像头位置之间虚拟摄像头位置的另外视图114。一般情况下，在视图合成过程中，对于视频视图中的每个像素，存在相关联深度图像素。使用已知技术，能够将深度图像素变换成差异值。差异值能够视为映射在原位置与合成位置之间像素的值，例如，在创建合成图像时原图像中的图像点在水平方向上“移动”多少个像素。差异值能够用于确定相对于虚拟摄像头位置，相关联视频像素的目标位置。因此，通过再使用在相应目标位置的相关联视频像素，可形成合成视图。传统“单一”（一个摄像头）视频序列能够通过使用以前图像预测用于图像的像素值而进行有效压缩，并且只将预测后的差别编码（帧间视频编码）。对于带有多个视图和视频与深度图的3D视频的情况，借助于视图合成，能够生成另外的预测参考。例如，在压缩带有相关联深度图的两个视频视图时，能够将用于第一摄像头位置的视频视图和相关联深度图用于生成另外的预测参考以便用于第二视频视图的编码。此过程是在图2中示出的视频合成预测。在图2中，在第一摄像头位置的视频视图202和相关联深度图204用于使用视图合成210合成在虚拟第二摄像头位置的虚拟视图214形式的参考图片。随后，将虚拟视图214形式的合成参考图片用作预测参考以便将在第二摄像头位置的视频视图216和深度图218编码。要注意的是，此预测在概念上类似于常规（单一）视频编码中的“帧间”预测。如在常规视频编码中一样，预测是在编码器和解码器侧均执行的规范（标准化）过程。在MPEG标准化中的“3DV”活动中，VSP被视为潜在编码工具。另外，考虑了深度图以降低的分辨率的编码。也就是说，深度图具有比相关联视频视图更低的分辨率。这是要降低要编码和传送的数据量，以及降低解码的复杂性，即，降低解码时间。另一方面，视频合成算法一般依赖视频视图和深度图具有相同分辨率的事实。因此，在MPEG中的当前测试模型/参考软件（基于H.264/AVC的MPEG3D的视频编码/解码算法，在开发中）中，在VSP中使用深度图前将深度图上采样到完全（视频视图）分辨率。执行深度图上采样的一种方案是使用“双线性”过滤。另外，几种算法已在MPEG中提议用于改进上采样的深度图的质量，并且因此改进VSP操作的准确度，旨在获得更佳的3D视频编码效率。在MPEG中的当前测试模型中，以降低的分辨率将深度图编码。借助于帧间预测将深度图本身编码。也就是说，低分辨率深度需要存储为用于将来预测的参考帧。另外，深度图被上采样到完全（视频视图）分辨率以便用于VSP。这意味着在给定时刻，低分辨率深度图和上采样的深度图均需要存储（在编码器和解码器中）。例如，假设有8比特深度表示、W*H的视频分辨率和W*H/4的深度图分辨率，要为低分辨率深度图存储的数据量为W*H/4字节（对于完全HD分辨率大约为500千字节），并且要为完全分辨率深度图（要用于VSP）存储的另外数据量为W*H字节（对于完全HD大约为2M字节）。此类方案的一个缺陷是对上采样的深度图的另外存储要求。第二个缺陷是与深度图上采样相关联的计算要求。这两个缺陷对利用此类方案的3D视频编码系统的压缩效率有影响。也就是说，3D视频编码受在VSP中使用的VS过程的质量影响，并且因此受用于VS的深度图影响。
技术实现思路
一个目的是减轻至少一些上述缺点并且因此根据第一方面提供了一种执行视图合成的方法。方法包括：-获得包括沿x方向布置和沿y方向布置的像素的纹理数据，-获得深度图，深度图与所述获得的纹理数据相关联，并且其中，深度图的分辨率在x方向上低至纹理数据的分辨率的dw分之一，并且在y方向上低至dh分之一，-通过执行除法x/dw和y/dh，将纹理像素位置x、y变换成非整数深度图像素位置，-将非整数深度图像素位置舍入到整数深度图像素位置，以及-至少基于获得的纹理数据和在整数深度图像素位置的深度图值，合成视图。在一些实施例中，合成的步骤转而至少基于获得的纹理数据和与整数深度图像素位置相邻的深度图值。也使用在整数深度图像素位置的深度图值，执行此类实施例的变化。这些实施例包括其中使用随在整数深度图像素位置的深度图值、在与整数深度图像素位置相邻的位置的深度图值以及在非整数深度图像素位置到整数深度图像素位置的舍入中获得的舍入误差而变化的深度图值，执行视图的合成的那些实施例。换而言之，概括而言，这些方面避免在现有技术中要求的深度图上采样，并且因此避免与另外的存储器和计算复杂性要求有关的问题。也就是说，由于不要求（存储/传送）高分辨率深度图，因此，本文中所述实施例具有降低的存储器消耗的优点。实施例也涉及降低的计算复杂性和良好的编码效率。根据第二方面，提供一种装置，包括配置成如上所概述处理纹理数据和深度图数据的数字处理部件、存储器部件和通信部件。根据第三方面，提供了一种包括软件指令的非短暂性计算机程序产品，软件指令在处理器中执行时，执行如上所概述的方法。其它方面提供能够在硬件装置中及在软件中实现的视频编码器和视频解码器。这些其它方面的效果和优点对应于如上结合第一方面概述的效果和优点。附图说明图1是以示意图方式示出视图合成的图，图2是以示意图方式示出视图合成预测的图，图3a以示意图方式示出舍入过程，图3本文档来自技高网...

【技术保护点】
一种执行视图合成的方法，包括：‑获得(302)包括沿x方向布置和沿y方向布置的像素的纹理数据，‑获得(304)深度图，所述深度图与所述获得的纹理数据相关联，并且其中所述深度图的分辨率在x方向上低至所述纹理数据的分辨率的dw分之一，并且在y方向上低至dh分之一，‑通过执行除法x/dw和y/dh，将纹理像素位置x、y变换(306)成非整数深度图像素位置，‑将所述非整数深度图像素位置(308)舍入到整数深度图像素位置，以及‑至少基于在所述整数深度图像素位置的所述获得的纹理数据和深度图值，合成(310)视图。

【技术特征摘要】
【国外来华专利技术】2012.04.19 US 61/6354841.一种执行视图合成的方法，包括：-获得（402，502）包括沿x方向布置和沿y方向布置的像素的纹理数据，-获得（404，504）深度图，所述深度图与所述获得的纹理数据相关联，并且其中所述深度图的分辨率在x方向上低至所述纹理数据的分辨率的dw分之一，并且在y方向上低至dh分之一，-通过执行除法x/dw和y/dh，将纹理像素位置x、y变换（406，506）成非整数深度图像素位置，-将所述非整数深度图像素位置舍入（408，508）到整数深度图像素位置，以及-至少基于所述获得的纹理数据和与所述整数深度图像素位置相邻的较低分辨率的深度图值以及在所述整数深度图像素位置的较低分辨率的深度图值，合成（410，510）视图，其中借助于膨胀运算，组合在所述整数深度图像素位置和相邻位置的所述深度图值。2.如权利要求1所述的方法，其中使用随在所述整数深度图像素位置的所述深度图值、在与所述整数深度图像素位置相邻的位置的深度图值以及在所述非整数深度图像素位置到整数深度图像素位置的所述舍入中获得的舍入误差...

【专利技术属性】
技术研发人员：B乔汉斯森，T鲁塞特，
申请(专利权)人：瑞典爱立信有限公司，
类型：发明
国别省市：瑞典;SE