用于体积视频传输的方法和装置制造方法及图纸

提供了一种方法和设备，其用于在用体积视频内容的集合表示的3D场景中发送表示视点的信息；接收集合的第一体积视频内容，所述第一体积视频内容是根据包括所述视点的视点范围，所述第一体积视频内容由第一补丁的集合表示，每个第一补丁对应于对与第一体积视频内容相关联的3D场景的3D部分中的第一组点的二维参数化，并且至少一个第一补丁参照第二补丁的区域，第二补丁对应于对与所述体积视频内容的集合的第二体积视频内容相关联的3D场景的另一3D部分中的第二组点的二维参数化。3D部分中的第二组点的二维参数化。3D部分中的第二组点的二维参数化。

【技术实现步骤摘要】
【国外来华专利技术】用于体积视频传输的方法和装置


[0001]本文档涉及树维(3D)场景和体积视频内容的领域。还可以在对表示3D场景深度的数据进行编码和/或格式化的上下文中理解本文档，例如用于在诸如移动设备或头戴式显示器的终端用户设备上呈现(render)体积内容。

技术介绍

[0002]本部分旨在向读者介绍本领域的各个方面，这些方面可能与以下描述和/或要求保护的各个方面有关。相信该讨论有助于向读者提供背景信息以促进对本说明书的更好理解。因此，应从这个角度来阅读这些陈述，而不是作为对现有技术的承认。
[0003]近来，可用的大视场内容(高达360
°
)不断增长。用户在诸如头戴式显示器、智能眼镜、PC屏幕、平板电脑、智能手机等沉浸式显示设备上观看内容时，可能无法完全看到此类内容。这意味着在给定的时刻，用户可能只观看到内容的一部分。然而，用户通常可以通过诸如头部移动、鼠标移动、触摸屏、语音等之类的各种方式在内容内导航。通常期望编码和解码该内容。
[0004]沉浸式视频(也称为360
°
平面视频)允许用户通过围绕静止视点旋转其头部来观看自己周围的一切。旋转仅允许3自由度(3Degrees of Freedom，3DoF)的体验。即使3DoF视频足以满足首次全向视频体验(例如使用头戴式显示设备(Head-Mounted Display device，HMD))，对于期望更大自由度的观看者来说，3DoF视频也会很快变得令人沮丧(例如通过体验视差)。另外，3DoF也可能引起头晕，因为用户不仅旋转其头部，而且还在三个方向上平移头部，这些平移在3DoF视频体验中是无法再现的。
[0005]体积视频(也称为6自由度(6Degrees of Freedom，6DoF)视频)是3DoF视频的替代。当观看6DoF视频时，除了旋转之外，用户还可以在观看的内容内平移其头部甚至身体，并体验视差甚至体积。这样的视频通过在头部平移过程中提供一致的视觉反馈，大大增加了沉浸感和景深感，并防止了头晕。通过专用传感器创建内容，该专用传感器允许同时记录感兴趣场景的颜色和深度。一组彩色相机与摄影测量技术结合使用是执行此类记录的常用方法。
[0006]这种体积视频内容的数据量很重要，并且需要大的存储容量，并且需要高比特率来传输这种数据。

技术实现思路

[0007]说明书中对“一个实施例”、“实施例”、“示例实施例”、“特定实施例”的引用表示所描述的实施例可以包括特定的特征、结构或特性，但是每个实施例不一定都包括特定特征、结构或特性。而且，这样的短语不一定指相同的实施例。此外，当结合实施例描述特定的特征、结构或特性时，可以认为无论是否有明确的描述，结合其他实施例来影响这种特征、结构或特性都在本领域技术人员的知识范围内。
[0008]根据一个实施例，一种方法包括：
[0009]-接收表示3D场景中的视点的信息，所述3D场景用体积视频内容的集合表示；
[0010]-发送所述集合的第一体积视频内容，所述第一体积视频内容是根据包括所述视点的视点范围，所述第一体积视频内容用第一补丁(patch)的集合表示，所述集合的每个第一补丁对应于对包括在与第一体积视频内容相关联的3D场景的3D部分中的第一组点的二维参数化，所述集合的至少一第一补丁参照至少一第二补丁的至少一区域，第二补丁对应于对包括在与所述体积视频内容的集合的第二体积视频内容相关联的3D场景的另一3D部分中的第二组点的二维参数化。
[0011]根据另一实施例，一种设备被配置为：
[0012]-接收表示3D场景中的视点的信息，所述3D场景用体积视频内容的集合表示；
[0013]-发送所述集合的第一体积视频内容，所述第一体积视频内容是根据包括所述视点的视点范围，所述第一体积视频内容用第一补丁的集合表示，所述集合的每个第一补丁对应于对包括在与第一体积视频内容相关联的3D场景的3D部分中的第一组点的二维参数化，所述集合的至少一第一补丁参照至少一第二补丁的至少一区域，第二补丁对应于对包括在与所述体积视频内容的集合的第二体积视频内容相关联的3D场景的另一3D部分中的第二组点的二维参数化。
[0014]根据另一实施例，一种方法包括：
[0015]-发送表示3D场景中的视点的信息，所述3D场景用体积视频内容的集合表示；
[0016]-接收所述集合的第一体积视频内容，所述第一体积视频内容是根据包括所述视点的视点范围，所述第一体积视频内容用第一补丁的集合表示，所述集合的每个第一补丁对应于对包括在与第一体积视频内容相关联的3D场景的3D部分中的第一组点的二维参数化，所述集合的至少一第一补丁参照至少一第二补丁的至少一区域，第二补丁对应于对包括在与所述体积视频内容的集合的第二体积视频内容相关联的3D场景的另一3D部分中的第二组点的二维参数化。
[0017]根据另一实施例，一种设备被配置为：
[0018]-发送表示3D场景中的视点的信息，所述3D场景用体积视频内容的集合表示；
[0019]-接收所述集合的第一体积视频内容，所述第一体积视频内容是根据包括所述视点的视点范围，所述第一体积视频内容用第一补丁的集合表示，所述集合的每个第一补丁对应于对包括在与第一体积视频内容相关联的3D场景的3D部分中的第一组点的二维参数化，所述集合的至少一第一补丁参照至少一第二补丁的至少一区域，第二补丁对应于对包括在与所述体积视频内容的集合的第二体积视频内容相关联的3D场景的另一3D部分中的第二组点的二维参数化。
[0020]根据另一实施例，一种计算机程序产品，包括当在计算机上执行程序时用于执行上述(多个)方法的步骤的程序代码指令。
[0021]根据另一实施例，一种(例如，非暂时性的)处理器可读介质，在其中存储用于使处理器执行上述(多个)方法的步骤的指令。
附图说明
[0022]通过阅读以下描述，将更好地理解本说明书，并且将显现出其他具体特征和优点，该描述参考了附图，其中：
[0023]-图1示出了根据非限制性实施例的表示三维(3D)场景的图像；
[0024]-图2示出了根据非限制性实施例的图1的3D场景的对象的三维(3D)模型以及与该3D模型相对应的点云的点；
[0025]-图3示出了根据非限制性实施例的包括图1的3D场景的点的纹理信息的画面；
[0026]-图4示出了根据非限制性实施例的包括图1的3D场景的点的深度信息的画面；
[0027]-图5示出了根据非限制性实施例的图1的3D场景的至少一部分的2D参数化；
[0028]-图6示出了根据非限制性实施例的表示3D场景的数据的编码、发送、接收和解码的示例；
[0029]-图7和图8示出了根据非限制性实施例的对于对应于图1的3D场景的体积视频内容的存储和流传输以用于该体积内容的6DoF呈现；
[0030]-图9和图10示出了对于对应于图1的3D场景的体积内容的存储和流传输以用于该体积内容的6DoF呈现的本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：接收表示3D场景中的视点的信息，所述3D场景用体积视频内容的集合表示；发送所述集合的第一体积视频内容，所述第一体积视频内容是根据包括所述视点的视点范围确定的，所述第一体积视频内容用第一补丁的集合表示，所述集合的第一补丁对应于对包括在与所述第一体积视频内容相关联的3D场景的3D部分中的第一组点的二维参数化，所述集合的至少一第一补丁参照至少一第二补丁的至少一区域，所述第二补丁对应于对包括在与所述体积视频内容的集合中的第二体积视频内容相关联的3D场景的另一3D部分中的第二组点的二维参数化。2.根据权利要求1所述的方法，其中，发送所述至少一第二补丁。3.根据权利要求1或2所述的方法，其中，接收用于发送所述至少一第二补丁的请求。4.根据权利要求1至3中的一项所述的方法，其中，与至少第一组点中的点相关联的属性包括在所述至少一第二补丁的所述至少一区域中，所述第一组点与参照所述至少一第二补丁的所述至少一区域的所述至少一第一补丁相关联，所述至少一第一补丁包括标识所述至少一第二补丁的所述至少一区域的信息。5.根据权利要求1至3中的一项所述的方法，其中，与至少第一组点中的点相关联的属性包括在所述至少一第二补丁中，所述第一组点与参照所述至少一第二补丁的所述至少一区域的所述至少一第一补丁相关联，表示所述至少一第一补丁对所述至少一第二补丁的所述至少一区域的参照的映射信息与所述第一体积视频内容相关联。6.根据权利要求5所述的方法，其中，所述映射信息包括在与所述第一体积视频内容相关联的表中。7.一种设备，包括：接收器，配置为接收表示3D场景中的视点的信息，所述3D场景用体积视频内容的集合表示；发送器，配置为发送所述集合的第一体积视频内容，所述第一体积视频内容是根据包括所述视点的视点范围确定的，所述第一体积视频内容用第一补丁的集合表示，所述集合的第一补丁对应于对包括在与第一体积视频内容相关联的3D场景的3D部分中的第一组点的二维参数化，所述集合的至少一第一补丁参照至少一第二补丁的至少一区域，所述第二补丁对应于对包括在与所述体积视频内容的集合的第二体积视频内容相关联的3D场景的另一3D部分中的第二组点的二维参数化。8.根据权利要求7所述的设备，其中，发送所述至少一第二补丁。9.根据权利要求7或8所述的设备，其中，接收用于发送所述至少一第二补丁的请求。10.根据权利要求7至9中的一项所述的设备，其中，与至少第一组点中的点相关联的属性包括在所述至少一第二补丁的所述至少一区域中，第一组点与参照所述至少一第二补丁的所述至少一区域的所述至少一第一补丁相关联，所述至少一第一补丁包括标识所述至少一第二补丁的所述至少一区域的信息。11.根据权利要求7至9中的一项所述的设备，其中，与至少第一组点中的点相关联的属性包括在所述至少一第二补丁中，第一组点与参照所述至少一第二补丁的所述至少一区域的所述至少一第一补丁相关联，表示所述至少一第一补丁对所述至少一第二补丁的至少一区域的参照的映射信息与所述第一体积视频内容相关联。
12.根据权利要求11所述的设备，其中，所述映射信息包括在与所述第一体积视频内容相关联的表中。13.一种方法，包括：发送表示3D场景中的视点的信息，所述3D场景用体积视频内容...

【专利技术属性】
技术研发人员：J弗勒罗，R多尔，C萨尔蒙勒加尼厄，R霍达勒，
申请(专利权)人：交互数字VC控股公司，
类型：发明
国别省市：