用于处理多视图视频数据的方法和设备技术

本发明专利技术涉及一种用于处理多视图视频数据的方法，在所述方法中，对于在表示多视图视频的编码数据流中编码的视图的图像的至少一个块，获得至少一个信息项。所述信息项从第一获得模式和第二获得模式中指定用于获得至少一个合成数据项的模式，所述合成数据项用于合成多视图视频的中间视图的至少一个图像，所述中间视图没有被编码在所述编码数据流中。第一获得模式涉及从所述编码数据流解码出表示所述至少一个合成数据项的至少一个信息项，第二获得模式涉及从至少所述重构的编码图像获得所述至少一个合成数据项。根据指定的获得方法，从至少所述重构的编码图像和获得的所述至少一个合成数据项合成所述中间视图的图像的至少一部分。少一部分。少一部分。

【技术实现步骤摘要】
【国外来华专利技术】用于处理多视图视频数据的方法和设备


[0001]本专利技术涉及表示由一个或多个相机捕获的场景的沉浸式视频，包括用于虚拟现实和自由导航的视频。更具体地，本专利技术涉及来自这样的视频的数据的处理(编码、解码、中间视图的合成)。

技术介绍

[0002]沉浸式视频允许观看者从任何视点，甚至从相机还没有捕获的视点，观看场景。典型的采集系统是一组捕获场景的相机，其中，几个相机位于场景之外，或者分散的相机构建在球形平台上。视频通常经由虚拟现实耳机(也称为头戴式设备，或HMD)显示，但也可以使用附加系统在2D屏幕上显示，以便与用户交互。
[0003]场景中的自由导航要求用户的每个动作被正确管理，以避免晕动病(motion sickness)。该运动通常被显示设备(例如，HMD耳机)正确地捕获。然而，不管用户的移动(旋转或平移)来提供正确的像素用于显示目前是有问题的。这需要多个捕获的视图和生成额外的虚拟(合成)视图的能力，这是根据解码的捕获的视图和关联深度计算的。要传输的视图的数量根据使用情况而不同。然而，要传输的视图的数量和相关联的数据量通常很高。因此，视图的传输是沉浸式视频应用的必要方面。从而必须在不损害中间视图的合成质量的情况下，尽可能地降低要传输的信息的比特率。
[0004]在典型的沉浸式视频处理方案中，视图是由计算机物理地捕获或生成的。在一些情况下，深度也是使用专用传感器捕获的。然而，这种深度信息的质量通常很差，并且妨碍了中间视点的有效合成。
[0005]也可以从捕获的视频的纹理图像计算深度图。现有技术中存在并使用许多深度估计算法
[0006]如图1中所示，纹理图像和估计的深度信息被编码并发送到用户的显示设备。图1示出了包括例如分别具有纹理信息T
x0y0
和T
x1y0
的两个捕获的视图的沉浸式视频处理方案。与每个视图T
x0y0
和T
x1y0
相关联的深度信息D
x0y0
和D
x1y0
由估计模块FE估计。例如，通过深度估计软件(深度估计参考软件或DERS)获得深度信息D
x0y0
和D
x1y0
，然后例如使用MV
‑
HEVC编码器对视图T
x0y0
和T
x1y0
以及获得的深度信息D
x0y0
和D
x1y0
进行编码(CODEC)。在客户端，视图T*
x0y0
和T*
x1y0
以及每个视图的相关联的深度D*
x0y0
和D*
x1y0
被解码并被合成算法(SYNTHESIS)用来计算中间视图，例如，这里的中间视图S
x0y0
和S
x1y0
。例如，VSRS(视图合成参考软件)软件可以用作视图合成算法。
[0007]当在对沉浸式视频的编码数据进行编码和传输之前计算深度图时，会遇到各种问题。具体地，与各种视图的传输相关联的速率很高。特别地，虽然深度图通常比纹理便宜，但是深度图仍然占据比特流的很大比重(占总数的15％到30％)。
[0008]此外，完整的深度图被生成和发送，然而在客户端，并非所有深度图的所有部分都一定有用。事实上，视图可以具有冗余信息，这使得深度图的一些部分是不必要的。此外，在一些情况下，观众可能只要求特定的视点。在客户端和提供编码的沉浸式视频的服务器之
间没有反馈信道的情况下，位于服务器侧的深度估计器不知道这些特定的视点。
[0009]在服务器端计算深度信息避免了深度估计器和合成算法之间的任何交互。例如，如果深度估计器想要通知合成算法它不能正确地找到特定区域的深度，它必须在二进制流中传输该信息，最有可能是以二进制图的形式。
[0010]此外，为了获得合成质量和深度图传输的编码成本之间的最佳折衷、而对深度图进行编码的编码器的配置并不明显。
[0011]最后，当纹理和深度图被编码、传输和解码时，解码器要处理的像素数量很高。这可能会减缓沉浸式视频处理方案在诸如智能手机的终端上的部署。
[0012]因此，需要改进现有技术。

技术实现思路

[0013]本专利技术改进了现有技术。为此目的，本专利技术涉及一种用于处理多视图视频数据的方法，所述方法包括：
[0014]‑
对于在表示多视图视频的编码数据流中编码的视图的图像的至少一个块，获得指定第一获得模式和第二获得模式之中的、用于获得至少一个合成数据项的模式的至少一个信息项，
[0015]所述至少一个合成数据项用于合成所述多视图视频的中间视图的至少一个图像，所述中间视图没有在所述编码数据流中编码，
[0016]所述第一获得模式对应于从所述编码数据流解码出表示所述至少一个合成数据项的至少一个信息项，所述第二获得模式对应于从至少所述重构的编码图像获得所述至少一个合成数据项，
[0017]‑
根据由所述至少一个信息项指定的获得模式，获得所述至少一个合成数据项，
[0018]‑
从至少所述重构的编码图像和获得的所述至少一个合成数据项，合成所述中间视图的图像的至少一部分。
[0019]通过允许选择用于获得每个合成数据项的最佳模式，例如按照合成数据项的编码成本/质量或取决于解码器侧和/或编码器侧可用的工具，本专利技术以灵活的方式利用用于获得合成数据的各种模式。这种选择是灵活的，因为它可以在块、图像、视图或视频级别完成。因此，可以取决于例如多视图视频的内容或者客户端/解码器侧可用的工具，来调整用于获得合成数据的模式的粒度级别。
[0020]根据第一获得模式，合成数据项在编码器侧被确定，在数据流中被编码并被发送到解码器。根据该第一获得模式，合成数据项的质量可以是优先的，因为它是从例如未编码的原始图像确定的。合成数据项在其估计期间不受解码纹理的编码伪像的影响。
[0021]根据第二获得模式，在解码器侧确定合成数据项。根据该第二获得模式，合成中间视图所必需的数据从已被发送到解码器的解码和重构的视图获得。这样的合成数据可以在解码器处获得，或者由独立于解码器的模块获得，该模块将由解码器解码和重构的视图作为输入。该第二获得模式降低了多视图视频数据的编码成本，并且使得多视图视频的解码更容易，因为解码器不再必须对用于中间视图合成的数据进行解码。
[0022]本专利技术还改进了中间视图合成的质量。实际上，在一些情况下，在解码器处估计的合成数据项可能比编码的合成数据项更适合于视图的合成，例如，当不同的估计器在客户
端侧和服务器侧可用时。在其他情况下，在编码器处确定合成数据项可能更合适，例如当解码的纹理具有压缩伪影时，或者当纹理不包括用于在客户端侧估计合成数据的足够的冗余信息时。
[0023]根据本专利技术的特定实施例，所述至少一个合成数据项对应于深度图的至少一部分。
[0024]根据本专利技术的另一特定实施例，通过对语法元素进行解码来获本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于处理多视图视频数据的方法，所述处理方法包括：
‑
对于在表示多视图视频的编码数据流中编码的视图的图像的至少一个块，获得指定第一获得模式和第二获得模式之中的、用于获得至少一个合成数据项的模式的至少一个信息项，所述至少一个合成数据项用于合成所述多视图视频的中间视图的至少一个图像，所述中间视图没有在所述编码数据流中编码，所述第一获得模式对应于从所述编码数据流解码出表示所述至少一个合成数据项的至少一个信息项，所述第二获得模式对应于从至少所述重构的编码图像获得所述至少一个合成数据项，
‑
根据由所述至少一个信息项指定的获得模式，获得所述至少一个合成数据项，
‑
从至少所述重构的编码图像和获得的所述至少一个合成数据项，合成所述中间视图的图像的至少一部分。2.根据权利要求1所述的用于处理多视图视频数据的方法，其中，所述至少一个合成数据项对应于深度图的至少一部分。3.根据权利要求1或权利要求2所述的用于处理多视图视频数据的方法，其中，指定用于获得合成数据项的模式的所述至少一个信息项是通过对语法元素进行解码获得的。4.根据权利要求1或权利要求2所述的用于处理多视图视频数据的方法，其中，指定用于获得合成数据项的模式的所述至少一个信息项是从针对重构的编码图像编码的至少一个数据项获得的。5.根据权利要求4所述的用于处理多视图视频数据的方法，其中，基于用于对至少所述块进行编码的量化参数的值，从第一获得模式和第二获得模式中选择所述获得模式。6.根据权利要求1至5中任一项所述的用于处理多视图视频数据的方法，还包括，当所述至少一个信息项指定根据所述第二获得模式获得所述合成数据项时：
‑
从编码数据流中解码出至少一个控制参数，
‑
当根据所述第二获得模式获得所述合成数据项时，应用所述控制参数。7.一种用于处理多视图视频数据的设备，包括：处理器，所述处理器被配置为：
‑
对于在表示多视图视频的编码数据流中编码的视图的图像的至少一个块，获得指定第一获得模式和第二获得模式之中的、用于获得至少一个合成数据项的模式的至少一个信息项，所述至少一个合成数据项用于合成所述多视图视频的中间视图的至少一个图像，所述中间视图没有在所述编码数据流中编码，所述第一获得模式对应于从所述编码数据流解码出表示所述至少一个合成数据项的至少一个信息项，所述第二获得模式对应于从至少所述重构的编码图像获得所述至少一个合成数据项...

【专利技术属性】
技术研发人员：J琼格，P尼基丁，P加鲁斯，
申请(专利权)人：奥兰治，
类型：发明
国别省市：