体积式视频格式的方法，装置和流制造方法及图纸

编码/解码表示3D场景的数据可以涉及表示纹理的第一数据被编码在第一轨道中并且布置在第一帧的第一图块中，3D场景的一部分与每个第一图块相关联；表示深度的第二数据被编码在一个或多个第二轨道中并且布置第二帧的第二图块中，第二图块的数量大于第一图块的数量，第二图块被分配给每个第一图块，并且补片被布置在第二图块的集合中，其对应于与每个第一图块相关联的3D场景的部分的3D点的组的2D参数化并且包括表示与组的3D点相关联的深度的第二数据；以及指令被编码到第三轨道以提取第一数据和第二数据的部分。

【技术实现步骤摘要】
【国外来华专利技术】体积式视频格式的方法，装置和流
本公开涉及体积式视频内容的领域。还可以在表示体积式内容的数据的编码和/或格式化的背景下，例如用于在诸如移动设备或头戴式显示器的最终用户设备上呈现，理解本公开。
技术介绍
本部分旨在向读者介绍本领域的各个方面，其可能与以下描述和/或要求保护的本公开的各个方面有关。认为该讨论有助于向读者提供背景信息，以有助于更好地理解本专利技术的各个方面。因此，应鉴于此地阅读这些陈述，而不是作为对现有技术的承认。近来，可用的大视场内容(高达360°)已经增长。用户在诸如头戴式显示器，智能眼镜，PC屏幕，平板电脑，智能手机等之类的沉浸式显示设备上观看内容时，可能无法完全看到这种内容。这意味着在给定的时刻，用户可能只在观看内容的一部分。然而，用户典型可以通过诸如头部移动，鼠标移动，触摸屏，语音等之类的各种方式在内容内导航。一般期望编码和解码该内容。沉浸式视频(也称为360°平面视频)允许用户通过围绕静止视点旋转其头部来观看自己周围的一切。旋转仅允许3自由度(3DoF)体验。即使3DoF视频足以满足首次全向视频体验(例如使用头戴式显示设备(HMD))，对于例如通过体验视差希望获得更大自由度的观看者来说，3DoF视频也可能很快变得令人沮丧。另外，3DoF也可能引起头晕，因为用户不仅旋转其头部，而且还在三个方向上平移其头部，这些平移在3DoF视频体验中不被再现。大视场内容尤其可以是三维计算机图形图像场景(3DCGI场景)，点云或沉浸式视频。可以使用许多术语来设计这种沉浸式视频：例如，虚拟现实(VR)，360，全景，4π球面弧度，沉浸式，全向或大视场。体积式视频(也称为6自由度(6DoF)视频)是3DoF视频的替代。当观看6DoF视频时，除了旋转之外，用户还可以在观看的内容内平移其头部甚至身体，并体验视差甚至体积(volume)。这种视频通过在头部平移期间提供一致的视觉反馈，大大增加了沉浸感觉和景深感知，并防止眩晕。借助专用传感器创建内容，以允许同时记录感兴趣场景的颜色和深度。一套彩色摄像机与摄像测量技术结合使用是执行这种记录的常用方法。虽然3DoF视频包含从纹理图像的非映射中得到的图像序列(例如根据纬度/经度投影映射或等矩形投影映射编码的球形图像)，但6DoF视频帧嵌入来自若干个视点的信息。可以将它们视为从三维捕获产生的点云的时间序列。取决于观看条件，可以考虑两种体积式视频。第一种(即，完全的6DoF)允许在视频内容内的完全自由的导航，而第二种(也称为3DoF+)将用户的观看空间限制为有限的体积，允许头部的有限平移和视差体验。该第二种的背景是自由导航和就座观众的被动观看条件之间的有价值权衡。3DoF视频可以在流中被编码为根据选择的投影映射(例如，立方投影映射，金字塔形投影映射或等矩形投影映射)生成的矩形彩色图像序列。这种编码具有利用标准图像和视频处理标准的优点。3DoF+和6DoF视频要求附加数据来编码点云的彩色点的深度。当在流中编码场景时，用于体积式场景的呈现类型(即3DoF或体积式呈现)预先无法知道。迄今为止，对流进行编码用于一种呈现或另一种呈现。缺少这样的流以及相关联的方法和设备：其可以承载表示可以作为3DoF视频或作为体积式视频(3DoF+或6DoF)被立即编码并解码的体积式场景的数据。此外，例如要传输用于最终用户设备上的呈现的数据量可能非常重要，大大增加了网络带宽的需求。
技术实现思路
说明书中对“一个实施例”，“实施例”，“示例实施例”，“特定实施例”的引用指示描述的实施例可以包括特定的特征，结构或特性，但是每个实施例不一定都包括特定特征，结构或特征。而且，这种短语不一定指相同的实施例。此外，当结合实施例描述特定的特征，结构或特性时，可以认为，无论是否明确描述，结合其他实施例来影响这种特征，结构或特性在本领域技术人员的知识范围内。本公开涉及一种编码表示3D场景的数据的方法，该方法包括：-将表示根据第一视点可见的3D场景的纹理的第一数据编码到至少第一轨道中，第一数据布置在第一帧的多个第一图块中，3D场景的一部分与多个第一图块中的每个第一图块相关联；-将表示与3D场景的点相关联的深度的第二数据编码到至少第二轨道中，第二数据布置在第二帧的多个第二图块中，其中，第二帧的第二图块的总数量大于第一帧的第一图块的总数量，其中，对于多个第一图块的至少一部分中的每个第一图块：·将包括多个第二图块中的至少一个第二图块的第二图块的集合分配给多个第一图块的至少一部分中的每个第一图块；·至少补片的集合被布置在第二图块的集合中，每个补片对应于被包含在与每个第一图块相关联的3D场景的该部分中的3D点的组的二维参数化，并且包括表示与该组的3D点相关联的深度的第二数据；-将至少一指令编码到至少第三轨道中以便从至少第一轨道和至少第二轨道的至少一部分中提取第一数据和第二数据的至少一部分。本公开涉及一种被配置为编码表示3D场景的数据的设备，该设备包括与至少一个处理器相关联的存储器，该至少一个处理器被配置为：-将表示根据第一视点可见的3D场景的纹理的第一数据编码到至少第一轨道中，第一数据布置在第一帧的多个第一图块中，3D场景的一部分与多个第一图块中的每个第一图块相关联；-将表示与3D场景的点相关联的深度的第二数据编码到至少第二轨道中，第二数据布置在第二帧的多个第二图块中，其中，第二帧的第二图块的总数量大于第一帧的第一图块的总数量，其中，对于多个第一图块的至少一部分中的每个第一图块：·将包括多个第二图块中的至少一个第二图块的第二图块的集合分配给多个第一图块的至少一部分中的每个第一图块；·至少补片的集合被布置在第二图块的集合中，每个补片对应于被包含在与每个第一图块相关联的3D场景的该部分中的3D点的组的二维参数化，并且包括表示与该组的3D点相关联的深度的第二数据；-将至少一指令编码到至少第三轨道中以便从至少第一轨道和至少第二轨道的至少一部分中提取第一数据和第二数据的至少一部分。本公开涉及一种配置为编码表示3D场景的数据的设备，该设备包括：-编码器，被配置为将表示根据第一视点可见的3D场景的纹理的第一数据编码到至少第一轨道中，第一数据布置在第一帧的多个第一图块中，3D场景的一部分与多个第一图块中的每个第一图块相关联；-编码器，被配置为将表示与3D场景的点相关联的深度的第二数据编码到至少第二轨道中，第二数据布置在第二帧的多个第二图块中，其中，第二帧的第二图块的总数量大于第一帧的第一图块的总数量，其中，对于多个第一图块的至少一部分中的每个第一图块：·将包括多个第二图块中的至少一个第二图块的第二图块的集合分配给多个第一图块的至少一部分中的每个第一图块；·至少补片的集合被布置在第二图块的集合中，每个补片对应于被包含在与每个第一图块相关联的3D场景的该部分中的3D点的组的二维参数化，并且包括表示与该组的3D点相关联的深度的第二数据；-编码器，被配置为将至少一指令编码到至少第三轨道中以便从本文档来自技高网...

【技术保护点】
1.一种编码表示3D场景(10)的数据的方法，该方法包括：/n-将表示根据第一视点(20)可见的3D场景的纹理的第一数据编码(201)到至少第一轨道中，第一数据被布置在第一帧(40)的多个第一图块(81至88)中，3D场景的一部分与多个第一图块中的每个第一图块相关联；/n-将表示与3D场景的点相关联的深度的第二数据编码到至少第二轨道中，第二数据被布置在第二帧(151、152)的多个第二图块中，其中，第二帧的第二图块的总数量大于第一帧的第一图块的总数量，其中，对于多个第一图块的至少一部分中的每个第一图块：/n·将包括多个第二图块中的至少一个第二图块的第二图块的集合分配给多个第一图块的至少一部分中的每个第一图块；/n·将至少一补片(904)的集合(S

【技术特征摘要】
【国外来华专利技术】20180330 EP 18305372.71.一种编码表示3D场景(10)的数据的方法，该方法包括：
-将表示根据第一视点(20)可见的3D场景的纹理的第一数据编码(201)到至少第一轨道中，第一数据被布置在第一帧(40)的多个第一图块(81至88)中，3D场景的一部分与多个第一图块中的每个第一图块相关联；
-将表示与3D场景的点相关联的深度的第二数据编码到至少第二轨道中，第二数据被布置在第二帧(151、152)的多个第二图块中，其中，第二帧的第二图块的总数量大于第一帧的第一图块的总数量，其中，对于多个第一图块的至少一部分中的每个第一图块：
·将包括多个第二图块中的至少一个第二图块的第二图块的集合分配给多个第一图块的至少一部分中的每个第一图块；
·将至少一补片(904)的集合(S1到S8)布置在第二图块的集合中，每个补片对应于被包含在与每个第一图块相关联的3D场景的该部分中的3D点的组(94)的二维参数化并且包括表示与该组的3D点相关联的深度的第二数据；
-将至少一指令编码到至少第三轨道中以便从所述至少第一轨道和至少第二轨道的至少一部分中提取所述第一数据和第二数据的至少一部分。


2.一种设备(19)，被配置为编码表示3D场景(10)的数据，该设备包括与至少一个处理器(192)相关联的存储器(194)，该处理器被配置为：
-将表示根据第一视点(20)可见的3D场景的纹理的第一数据编码到至少第一轨道中，第一数据被布置在第一帧(40)的多个第一图块(81至88)中，3D场景的一部分与多个第一图块中的每个第一图块相关联；
-将表示与3D场景的点相关联的深度的第二数据编码到至少第二轨道中，第二数据被布置在第二帧(151、152)的多个第二图块中，其中，第二帧的第二图块的总数量大于第一帧的第一图块的总数量，其中，对于多个第一图块的至少一部分中的每个第一图块：
·将包括多个第二图块中的至少一个第二图块的第二图块的集合分配给多个第一图块的至少一部分中的每个第一图块；
·将至少一补片(904)的集合(S1到S8)布置在第二图块的集合中，每个补片对应于被包含在与每个第一图块相关联的3D场景的该部分中的3D点的组(94)的二维参数化并且包括表示与该组的3D点相关联的深度的第二数据；
-将至少一指令编码到至少第三轨道中以便从所述至少第一轨道和至少第二轨道的至少一部分中提取所述第一数据和第二数据的至少一部分。


3.根据权利要求1所述的方法或权利要求2所述的设备，其中，所述每个补片还包括表示与组的3D点相关联的纹理的第三数据，第三数据被编码到所述至少第二轨道中。


4.根据权利要求1所述的方法或权利要求2所述的设备，其中，将包括至少一个第三图块的第三帧的第三图块的集合分配给所述每个第一图块，并且将包括表示与组的3D点相关联的纹理的第三数据的至少一补片的集合布置在第三图块的所述集合中，所述至少一补片对应于3D点的组的二维参数化，所述第三数据被编码到至少第三轨道中。


5.根据权利要求1、3和4中一项所述的方法或者根据权利要求2至4中一项所述的设备，其中，当集合的补片的大小大于将要布置所述补片的第二图块的大小时，将补片分区为多个子补片，每个子补片的大小小于第二图块的大小。


6.根据权利要求1、3、4和5中一项所述的方法或者根据权利要求2至5中一项所述的设备，其中，以取决于补片的视觉重要性的优先级顺序排列集合的补片，视觉重要性取决于与补片相关联的第二数据。


7.根据权利要求1和3至6中一项所述的方法或者根据权利要求2至6中一项所述的设备，其中，所述第二图块具有对于时间上连续的多个第二帧固定的相同大小。<...

【专利技术属性】
技术研发人员：J弗勒罗，B丘珀，T塔皮，F图多尔，
申请(专利权)人：交互数字VC控股公司，
类型：发明
国别省市：美国;US