联合深度估计制造技术

描述了多种实现方式。几种实现方式涉及对于多深度图的联合深度估计。在一种实现方式中，估计用于第一视图中的位置的第一视图深度指示值，并估计用于第二视图中的对应位置的第二视图深度指示值。基于约束来进行第一视图深度指示值和第二视图深度指示值中的一个或多个的估计。该约束提供了用于对应位置的第一视图深度指示值和第二视图深度指示值之间的关系。

【技术实现步骤摘要】
【国外来华专利技术】
描述涉及编码系统的实现方式。多种具体的实现方式涉及联合深度估计。
技术介绍
三维视频(3DV)是针对在接收器侧产生高质量3D呈现的框架。这使能了利用自动立体显示器、自由视点应用、和立体显示器进行3D视觉体验。在3DV应用中，由于在传输带宽中的限制和/或存储约束而传送或存储降低数量的视频视图和对应的深度图(典型地被称为多视图加深度(MVD))。在接收器侧，使用可用的视图和深度图来呈现附加的视图。
技术实现思路
根据总的方面，估计用于第一视图中的位置的第一视图深度指示值，以及估计用于第二视图中的对应位置的第二视图深度指示值。基于约束来进行第一视图深度指示值和第二视图深度指示值中的一个或多个的估计。该约束提供了用于对应位置的第一视图深度指示值和第二视图深度指示值之间的关系。在附图和以下描述中提出了一种或多种实现方式的细节。即使以一种特定方式描述，也应清楚可以以多种方式来配置或体现多种实现方式。例如，可以将实现方式执行为方法、或者可以将其体现为装置(诸如，例如被配置为执行一组操作的装置、或存储用于执行一组操作的指令的装置)、或者可以将其体现在信号中。结合附图和权利要求书来考虑以下描述，其它方面和特征将变得明显。附图说明图1是来自左参考视图的左深度图的示例。图2是来自右参考视图的右深度图的示例。图3是深度估计器的实现方式的图。图4是视频传输系统的实现方式的图。图5是视频接收系统的实现方式的图。图6是视频处理设备的实现方式的图。图7是第一深度估计处理的实现方式的图。图8是第二深度估计处理的实现方式的图。具体实施方式在许多3DV应用中，可以产生中间视图(虚拟视图)，并且这样的产生典型地被称为呈现。可以使用例如基于深度图像的呈现(DIBR)技术来执行呈现，所述基于深度图像的呈现(DIBR)技术采用所传送/所存储的视图(参考视图)和相关联的每像素深度图作为输入。这样的输入例如可以由MVD格式来提供。可以使用多种技术中的任一种来捕获深度。 然而，经常仅提供视频，而估计深度。为了获得深度图，经常使用深度估计技术来找到各不同视图之间的对应性。尤其在使用深度估计来获得输入深度图时，生成虚拟视图可能是有挑战的任务。 即，由于所估计的深度图可能是有噪声的(不准确的)，并且可能没有其它的场景信息(诸如，场景的3D表面属性)可用。有噪声的深度图可能是不准确的，这是因为它们不具有正确的深度值。另外，有噪声的深度图的序列可能具有不是一致性地(consistently)不准确的不准确值。例如，处于恒定实际深度处的对象可能在第一画面中利用低深度被不准确地估计，而在第二画面中利用高深度被不准确地估计。如果更多参考视图可用于DIBR，则典型地可以实现较佳的视图呈现质量。例如，可以使用两个参考视图来呈现中间视图。在多参考视图的情况下，如果不是已经知道每个参考视图的深度图，则估计每个参考视图的深度图。然而，不同视图的多深度图典型地是被彼此独立地估计的。如所提及的，DIBR方法的挑战之一在于以下事实在各视图间所估计的深度图经常不一致。在利用两个或多个不一致的深度图来呈现虚拟视图时，这可能导致差的呈现质量。在至少一种实现方式中，我们提出利用联合深度估计来估计参考视图的深度图。 联合深度估计在联合处理中而不是独立地执行对于多参考视图的深度估计。联合深度估计获得更一致的不同视图的深度图，导致了在DIBR呈现的视图中较佳的质量。在至少一种实现方式中，基于中间视图产生两个深度图。该实现方式发展了以下约束提供两个深度图中对应位置之间的关系。可以以多种方式使用该约束来提供两个深度图之间的一致性。在至少一种实现方式中，联合深度估计涉及对用于两个或多个视图中对应像素位置之间的视差的各视差估计成本(失真)执行的求和操作。在至少一种实现方式中，联合深度估计涉及使用基于照相机距离的求和操作。在至少一种实现方式中，基于照相机距离来对求和操作进行加权。图1示出了根据本原理实施例的为与被已知为“Leavingjaptop”的MPEG测试序列对应的左参考视图产生的示例的左深度图，可以向其应用本原理。图2示出了根据本原理实施例的为与被已知为“Leavingjaptop”的MPEG测试序列对应的右参考视图产生的示例的右深度图，可以向其应用本原理。尽管依据所述图不是显而易见的，但是可以观察到 对于一些具体区域，深度图对中的深度级可能有很大区别。具体地，在图1和2的示例中，区别可能大于40。在这些情况下，理想的区别是零，但是所观察到的区别为例如大于40。这是不具有一致的深度图的视图的示例。关于估计一个深度图所需的输入视图的数量，可以典型地将深度估计算法划分为以下种类单视图；立体视图；以及多视图。所有这三种种类都假设深度图是未知的，并且都使用来自一个或多个视图的视频来产生深度图。在典型实现方式中，在仅一个单视图作为输入的情况下，照相机焦距被考虑为深度估计的平均。可以使用被称为“依据焦距的深度(cbpth from focus)”的方法，基于散焦或模糊的量来估计深度。该方法可能不是非常可靠，这是因为例如焦距估计经常不会提供很好的结果。立体视图方法可以使用一对视图作为输入来估计用于所述视图之一的深度图。对于基于区域的立体匹配方法，这样的方法典型地在两个图像之间匹配一窗口内的相邻像素值。选择适当的窗口大小典型地是关键的。在一些应用中，可以基于局部亮度变化和当前深度估计来迭代地改变窗口大小和形状。可以应用一些全局约束来产生稠密深度图，即，具有唯一值并且几乎在任何位置都连续的深度图。随着出现多视图内容，已经探索使用多视图作为输入来进行深度估计。一种可能的方法是使用三个视图作为输入(左视图、中间视图、和右视图)来估计用于中间视图的深度。在本领域的典型方法中，目标是产生单个稠密深度图序列。当需要估计多于一个深度图序列时，无论深度估计算法是什么种类，都独立地对每个目标视图执行深度估计。因此，很有可能出现各视图间的不一致性。图3示出了依据本原理实施例的可以向其应用本原理的示例性深度估计器300。 深度估计器300接收目标视图1、目标视图2、以及一个或多个参考视图作为输入。深度估计器300提供目标视图1的估计深度和目标视图2的估计深度作为输出。下面将更详细地描述深度估计器300的操作。更一般地，深度估计器300提供用于目标视图1的估计深度指示值和用于目标视图2的估计深度指示值。深度指示值可以是深度值、或整个深度图。但是深度指示值可以替代地是例如视差值、或整个视差图。在接下来的实现方式和描述中对深度的引用意图包括其它深度指示值，诸如例如视差。深度指示值可以提供用于例如整个目标视图或目标视图中一位置的深度指示。该位置可以是例如具体像素、部分、子宏块、宏块、码片或场。图4示出了依据本专利技术实现方式的可以向其应用本原理的示例视频传输系统 400。视频传输系统400可以是例如用于使用多种介质(诸如例如卫星、电缆、电话线、或地面广播)中任一种来传送信号的前端或传输系统。可以在因特网或某些其它网络上提供传输。视频传输系统400能够产生并传递具有深度的压缩视频。这通过产生包括深度信息或能够被用来在(可能例如具有解码器的)接收器端合成深度信息的信息的(多个)编码信号来实现。视频传输系统400包括编码器410和能够传送编本文档来自技高网...

【技术保护点】
１．一种方法，包括：估计用于第一视图中的位置的第一视图深度指示值、以及用于第二视图中的对应位置的第二视图深度指示值，基于提供了用于对应位置的第一视图深度指示值和第二视图深度指示值之间的关系的约束来进行第一视图深度指示值和第二视图深度指示值中的一个或多个的估计。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：田栋，
申请(专利权)人：汤姆森特许公司，
类型：发明
国别省市：FR