用于定制虚拟现实数据的方法和系统技术方案

示例性虚拟现实系统(“系统”)生成体验选择数据结构，所述体验选择数据结构被配置为：在媒体播放器设备通过处理与所述媒体播放器设备选择的不同条目对应的不同虚拟现实数据集向用户提供不同虚拟现实体验时，有助于所述媒体播放器设备从所述体验选择数据结构内包括的多个条目动态选择不同条目。所述系统将所述体验选择数据结构提供给所述媒体播放器设备并且检测到所述媒体播放器设备通过所述体验选择数据结构选择了条目。所述条目与针对特定虚拟现实体验定制的特定虚拟现实数据集对应。响应于对所述条目的选择，所述系统将针对所述特定虚拟现实体验定制的所述特定虚拟现实数据集提供给所述媒体播放器设备。

Methods and systems for customizing virtual reality data

【技术实现步骤摘要】
【国外来华专利技术】用于定制虚拟现实数据的方法和系统相关申请本申请要求2017年5月31日提交的标题为“METHODSANDSYSTEMSFORCUSTOMIZINGVIRTUALREALITYDATA(用于定制虚拟现实数据的方法和系统)”的第15/610,593号美国专利申请的优先权，其以引用的方式全部并入本文。
技术介绍
虚拟现实媒体提供者可以向处理虚拟现实数据的媒体播放器设备提供虚拟现实数据，以便向媒体播放器设备的用户提供虚拟现实体验。例如，通过特定虚拟现实体验，通过同时将用户的注意力引向虚拟现实世界中呈现的各种事物中的任何事物，可以使用户沉浸在用户可以体验的交互式虚拟现实世界中。例如，用户可以在任何方向上环顾虚拟现实世界，从而使用户感觉到他或她实际上存在于虚拟现实世界中并从虚拟现实世界内的特定位置和视角(例如角度、视点等)体验虚拟现实世界。附图说明附图示出了各种实施例，并且是说明书的一部分。示出的实施例仅是示例，并且不限制本公开的范围。在所有附图中，相同或相似的附图标记表示相同或相似的元件。图1示出了根据本文描述的原理的用于定制虚拟现实数据的示例性虚拟现实系统。图2示出了根据本文描述的原理的呈现给用户的虚拟现实体验可以与其相关联的示例性三维(“3D”)场景。图3A示出了根据本文描述的原理的图2所示3D场景的多个示例性区域，这些示例性区域分别与可提供给用户的不同虚拟现实体验相关联。图3B示出了根据本文描述的原理的描述示例性虚拟现实体验的示例性体验参数集合。图4示出了根据本文描述的原理的可由不同捕获设备捕获的图2所示3D场景的多个视图。图5A示出了根据本文描述的原理的示例性捕获设备，该示例性捕获设备捕获要包括在表示图2所示3D场景可基于的现实世界场景的表面数据帧序列内的颜色和深度帧。图5B示出了根据本文描述的原理的在由图5A所示捕获设备捕获的颜色帧中表示的颜色数据的示例性图形描绘。图5C示出了根据本文描述的原理的在由图5A所示捕获设备捕获的深度帧中表示的深度数据的示例性图形描绘。图6A和图6B示出了根据本文描述的原理的表示图2所示3D场景且由图5A所示捕获设备生成的示例性表面数据帧序列的不同表示。图7示出了根据本文描述的原理的图2所示3D场景的多个视图，这些视图包括图4的视图并且进一步包括与虚拟化表面数据帧序列对应的附加示例性视图。图8示出了根据本文描述的原理的与体验选择数据结构中的不同条目对应的不同虚拟现实数据集所基于的示例性帧序列子集。图9示出了根据本文描述的原理的示例性体验选择数据结构，该示例性体验选择数据结构被配置为有助于从体验选择数据结构内包括的多个条目动态选择不同条目。图10和图11示出了根据本文描述的原理的示例性虚拟现实媒体提供者系统定制虚拟现实数据的示例性配置。图12示出了根据本文描述的原理的通过单独传输流发送的表面数据帧序列。图13示出了根据本文描述的原理的示例性时间线，该示例性时间线描绘了关守(gatekeeper)服务器接收颜色和深度帧的时间帧和指定用于该关守服务器同步发送颜色和深度帧的时间帧。图14示出了根据本文描述的原理的示例性虚拟现实数据集，该示例性虚拟现实数据集被实施为传输流，该传输流包括多个视频数据流并且被配置为流传输到媒体播放器设备。图15示出了根据本文描述的原理的可由用户用来体验虚拟现实媒体内容的各种示例性类型的媒体播放器设备。图16示出了根据本文描述的原理的示例性虚拟现实体验，在该示例性虚拟现实体验中，向用户呈现基于如从与相对于3D场景的示例性任意位置对应的动态可选择虚拟视点体验到的3D场景的示例性虚拟现实媒体内容。图17至图19示出了根据本文描述的原理的用于定制虚拟现实数据的示例性方法。图20示出了根据本文描述的原理的示例性计算设备。具体实施方式在某些虚拟现实体验中，与多个不同媒体播放器设备相关联的多个用户可能希望同时体验相同的虚拟现实世界。例如，虚拟现实媒体提供者可以提供表示多个不同用户可能希望使用相应媒体播放器设备来体验的特定虚拟现实世界的特定三维(“3D”)场景的虚拟现实数据。因此，虚拟现实媒体提供者可以向请求虚拟现实数据的每个媒体播放器设备提供相同的虚拟现实数据，从而允许所有媒体播放器设备处理虚拟现实数据并将相应虚拟现实体验提供给相应用户。为此，本文描述了用于定制虚拟现实数据的方法和系统。例如，如将在下面更详细地描述的，示例性虚拟现实系统可以访问描述分别描绘三维(“3D”)场景的不同视图的多个表面数据帧序列(例如，颜色帧和深度帧的序列)的元数据。如元数据中描述的，例如，较大数量的表面数据帧序列可以包括表示从相对于3D场景的较大数量的不同位置、角度、视野等捕获的3D场景的数据。虚拟现实系统还可以标识描述与3D场景相关联的多种虚拟现实体验内包括的特定虚拟现实体验的体验参数集合。媒体播放器设备可以向用户提供多种虚拟现实体验中的每一种(即，包括特定虚拟现实体验)。例如，多种可提供的虚拟现实体验中的不同虚拟现实体验可以分别与3D场景的可以从其将虚拟现实体验提供给相应用户的不同区域相关联，或者与可以为虚拟现实体验定义的各种其他参数相关联，如下文所描述的。这样，媒体播放器设备可以被配置为：通过处理针对多种虚拟现实体验中的相应虚拟现实体验定制的相应虚拟现实数据集(例如，包括针对特定虚拟现实体验定制的特定虚拟现实数据集)，来向用户提供虚拟现实体验。例如，与在针对与3D场景的其他区域相关联的虚拟现实体验定制的虚拟现实数据集内可以包括的细节相比，针对与3D场景的某些区域相关联的虚拟现实体验定制的虚拟现实数据集可以包括有关3D场景的某些方面的更多细节以及有关3D场景的其他方面的更少细节。基于标识出来的体验参数集合以及与多个数据帧序列相关联的元数据，虚拟现实系统可以从多个表面数据帧序列选择用于包括在特定虚拟现实数据集所基于的(例如，当生成虚拟现实数据集时，特定虚拟现实数据集所基于的)帧序列子集中的表面数据帧序列。例如，可以从多个表面数据帧序列中较大数量的可用表面数据帧序列选择包括较少数量的表面数据帧序列的帧序列子集，以允许针对特定虚拟现实体验定制基于该帧序列子集的特定虚拟现实数据集(例如，以便在排除其他不那么相关的细节的同时，包括与特定虚拟现实体验相关的3D场景的某些细节)。基于选择用于包括在帧序列子集中的表面数据帧序列，虚拟现实系统可以包括体验选择数据结构内与特定虚拟现实数据集相对应的条目。更具体地，虚拟现实系统可以生成体验选择数据结构，该体验选择数据结构被配置为：在媒体播放器设备处理不同虚拟现实数据集以向用户提供不同虚拟现实体验时，有助于媒体播放器设备(例如，从体验选择数据结构内包括的多个条目)动态选择不同条目，并且可以包括与在所生成的体验选择数据结构内的特定虚拟现实数据集对应的条目。正如条目对应于针对特定虚拟现实体验定制的特定虚拟现实数据集一样，体验选择数据结构内的多个条目中的每个条目都可以对应于针对多种可提供本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n通过虚拟显示系统生成体验选择数据结构，所述体验选择数据结构被配置为：在媒体播放器设备通过处理不同虚拟现实数据集向用户提供不同虚拟现实体验时，有助于所述媒体播放器设备从所述体验选择数据结构内包括的多个条目动态选择不同条目，所述多个条目分别与不同虚拟现实数据集对应，所述虚拟现实数据集是针对与三维(3D)场景相关联的多种虚拟现实体验内包括的不同虚拟现实体验定制的；/n通过所述虚拟现实系统将所述体验选择数据结构提供给所述媒体播放器设备；/n通过所述虚拟现实系统检测所述媒体播放器设备通过所述体验选择数据结构的方式从所述多个条目选择了条目，所述条目对应于针对特定虚拟现实体验定制的特定虚拟现实数据集；以及/n通过所述虚拟现实系统，响应于检测到所述媒体播放器设备选择了所述条目，将针对所述特定虚拟现实体验定制的所述特定虚拟现实数据集提供给所述媒体播放器设备。/n

【技术特征摘要】
【国外来华专利技术】20170531 US 15/610,5931.一种方法，包括：
通过虚拟显示系统生成体验选择数据结构，所述体验选择数据结构被配置为：在媒体播放器设备通过处理不同虚拟现实数据集向用户提供不同虚拟现实体验时，有助于所述媒体播放器设备从所述体验选择数据结构内包括的多个条目动态选择不同条目，所述多个条目分别与不同虚拟现实数据集对应，所述虚拟现实数据集是针对与三维(3D)场景相关联的多种虚拟现实体验内包括的不同虚拟现实体验定制的；
通过所述虚拟现实系统将所述体验选择数据结构提供给所述媒体播放器设备；
通过所述虚拟现实系统检测所述媒体播放器设备通过所述体验选择数据结构的方式从所述多个条目选择了条目，所述条目对应于针对特定虚拟现实体验定制的特定虚拟现实数据集；以及
通过所述虚拟现实系统，响应于检测到所述媒体播放器设备选择了所述条目，将针对所述特定虚拟现实体验定制的所述特定虚拟现实数据集提供给所述媒体播放器设备。


2.根据权利要求1所述的方法，还包括：
通过所述虚拟现实系统，在所述虚拟现实系统正将针对所述特定虚拟现实体验定制的所述特定虚拟现实数据集提供给所述媒体播放器设备时，检测所述媒体播放器设备通过所述体验选择数据结构的方式从所述多个条目选择了不同条目，所述不同条目对应于针对不同特定虚拟现实体验定制的不同特定虚拟现实数据集；以及
通过所述虚拟现实系统，响应于检测到所述媒体播放器设备选择了所述不同条目，将针对所述不同特定虚拟现实体验定制的所述不同特定虚拟现实数据集提供给所述媒体播放器设备。


3.根据权利要求2所述的方法，其中：
所述特定虚拟现实体验与所述3D场景的第一区域相关联；
所述不同特定虚拟现实体验与所述3D场景的与所述第一区域不同的第二区域相关联；以及
响应于接收到指示所述用户的虚拟视点从所述3D场景的所述第一区域内的第一位置移动到所述3D场景的所述第二区域内的第二位置的用户输入，所述媒体播放器设备选择与针对所述不同特定虚拟现实体验定制的所述不同特定虚拟现实数据集对应的所述不同条目。


4.根据权利要求1所述的方法，其中：
所述3D场景包括由相对于现实世界场景布置在不同位置处以便捕获所述现实世界场景的不同视图的多个捕获设备捕获的所述现实世界场景的元素，所述不同视图分别由所述多个捕获设备中的不同捕获设备捕获并且分别被描绘在多个表面数据帧序列中包括的不同表面数据帧序列内；
所述多个表面数据帧序列包括虚拟化表面数据帧序列，所述虚拟化表面数据帧序列描绘所述现实世界场景的视图，所述视图与由所述多个捕获设备捕获的所述现实世界场景的所述不同视图未对齐；并且
所述方法还包括：
通过所述虚拟现实系统，标识描述所述特定虚拟现实体验的体验参数集合，以及
通过所述虚拟现实系统，基于标识的所述体验参数集合，从所述多个表面数据帧序列选择用于包括在所述特定虚拟现实数据集所基于的帧序列子集中的表面数据帧序列，所述帧序列子集包括所述虚拟化表面数据帧序列；以及
生成所述体验选择数据结构包括：基于选择所述表面数据帧序列用于包括在所述特定虚拟现实数据集所基于的所述帧序列子集中，将与所述特定虚拟现实数据集对应的所述条目包括在所述体验选择数据结构内。


5.根据权利要求1所述的方法，还包括：
通过所述虚拟现实系统内包括的第一服务器，访问多个表面数据帧序列内包括的第一表面数据帧序列，所述表面数据帧序列分别包括描绘所述3D场景的不同视图的颜色和深度帧；
通过与所述第一服务器分开且进一步被包括在所述虚拟现实系统内的第二服务器，访问所述多个表面数据帧序列内包括的第二表面数据帧序列；
通过所述第一服务器，响应于从管理服务器发送的请求，通过第一单独传输流的方式将所述第一表面数据帧序列内包括的颜色和深度帧发送给所述虚拟现实系统内包括的且通过网络通信地耦合至所述第一服务器和所述第二服务器的所述管理服务器；以及
通过所述第二服务器，响应于所述请求，与所述第一服务器进行的所述发送同步地，通过第二单独传输流的方式将所述第二表面数据帧序列内包括的颜色和深度帧发送给所述管理服务器。


6.根据权利要求5所述的方法，还包括：
通过所述管理服务器，从所述多个表面数据帧序列选择用于包括在所述特定虚拟现实数据集所基于的帧序列子集中的表面数据帧序列，被选择用于包括在所述帧序列子集中的所述表面数据帧序列包括所述第一表面数据帧序列和所述第二表面数据帧序列；
通过所述管理服务器，响应于选择用于包括在所述帧序列子集中的所述表面数据帧序列，将所述请求发送给所述第一服务器和所述第二服务器，响应于所述请求，所述第一服务器和所述第二服务器分别同步地发送所述第一表面数据帧序列和所述第二表面数据帧序列内包括的所述颜色和深度帧；
通过所述管理服务器，通过所述网络的方式，从所述第一服务器接收所述第一表面数据帧序列内包括的所述颜色和深度帧；
通过所述管理服务器，通过所述网络的方式，与所述的从所述第一服务器接收所述颜色和深度帧同步地，从所述第二服务器接收所述第二表面数据帧序列内包括的所述颜色和深度帧；以及
通过所述管理服务器，封装从所述第一服务器和所述第二服务器同步接收的所述颜色和深度帧以形成附加传输流，所述附加传输流包括与被选择用于包括在所述帧序列子集中的所述表面数据帧序列对应的视频数据流；
其中：
所述附加传输流被配置为流传输到所述媒体播放器设备，并且
针对所述特定虚拟现实体验定制的且被提供给所述媒体播放器设备的所述特定虚拟现实数据集包括所述附加传输流。


7.根据权利要求5所述的方法，其中，分别通过所述第一单独传输流和所述第二单独传输流同步发送所述第一表面数据帧序列和所述第二表面数据帧序列内包括的所述颜色和深度帧包括：
通过所述第一服务器，将指示所述第一服务器已经接收到所述第一表面数据帧序列内包括的第一颜色和深度帧的数据发送给同步服务器；
通过所述第二服务器，将指示所述第二服务器已经接收到所述第二表面数据帧序列内包括的且对应于所述第一颜色和深度帧的第二颜色和深度帧的数据发送给所述同步服务器；
通过所述第一服务器和所述第二服务器，响应于发送指示已经接收到所述第一颜色和深度帧和所述第二颜色和深度帧的所述数据，从所述同步服务器接收指示要在其中同步发送所述第一颜色和深度帧和所述第二颜色和深度帧的指定时间帧的数据；以及
通过所述第一服务器和所述第二服务器，在所述指定时间帧内分别将所述第一颜色和深度帧和所述第二颜色和深度帧发送给所述管理服务器。


8.根据权利要求1所述的方法，体现为在至少一种非暂时性计算机可读介质上的计算机可读指令。


9.一种方法，包括：
通过媒体播放器设备，从虚拟现实系统访问体验选择数据结构，所述体验选择数据结构由所述虚拟现实系统生成以在媒体播放器设备通过处理不同虚拟现实数据集向用户提供不同虚拟现实体验时，有助于所述媒体播放器设备从所述体验选择数据结构内包括的多个条目动态选择不同条目，所述多个条目分别与不同虚拟现实数据集对应，所述虚拟现实数据集是针对与三维(3D)场景相关联的多种虚拟现实体验内包括的不同虚拟现实体验定制的；
通过所述媒体播放器设备，通过所述体验选择数据结构的方式，从所述多个条目选择条目，所述条目对应于针对特定虚拟现实体验定制的特定虚拟现实数据集；以及
通过所述媒体播放器设备，将表示通过所述体验选择数据结构的方式选择的所述条目的数据提供给所述虚拟现实系统；
通过所述媒体播放器设备，响应于提供表示所述条目的所述数据，从所述虚拟现实系统接收针对所述特定虚拟现实体验定制的所述特定虚拟现实数据集；以及
通过所述媒体播放器设备，处理针对所述特定虚拟现实体验定制的所述特定虚拟现实数据集，以向所述用户提供所述特定虚拟现实体验。


10.根据权利要求9所述的方法，其中，接收针对所述特定虚拟现实体验定制的所述特定虚拟现实数据集包括：通过将所述媒体播放器设备通信地耦合至所述虚拟现实系统的网络的方式，接收传输流，所述传输流包括多个视频数据流，所述视频...

【专利技术属性】
技术研发人员：丹尼·布赖滕费尔德，勒内·塞普尔韦达，迈克尔·洛达托，派·穆德拉吉里，
申请(专利权)人：维里逊专利及许可公司，
类型：发明
国别省市：美国;US