用于提供增强的媒体的系统和方法技术方案

本公开部分涉及包括属于真实世界空间的三维（3D）空间信息的空间意识媒体。空间意识媒体可以将该3D空间信息映射到诸如图像之类的媒体，例如，以为媒体提供3D空间上下文。这可以允许用户更灵活且高效地与真实世界空间中与他们相关的虚拟内容进行交互。根据一个实施例，空间意识媒体被增强以提供覆盖有相对于真实世界空间的3D空间特征定义的3D模型的渲染的真实世界空间的图像。在增强空间意识媒体之前，可以基于3D模型和/或空间意识媒体来确定3D模型相对于真实世界空间的3D空间特征的推荐位置。荐位置。荐位置。

【技术实现步骤摘要】
用于提供增强的媒体的系统和方法


[0001]本申请涉及增强的媒体，并且在特定实施例中，涉及提供增强的媒体。

技术介绍

[0002]AR涉及使用计算机生成的或虚拟的内容来增强真实世界体验。在一些情况下，AR涉及将虚拟内容叠加在物理真实世界内容之上。这种叠加可以是建设性的或破坏性的。建设性的AR向真实世界体验添加了内容，而破坏性的AR掩盖了真实世界体验中的内容。AR不同于虚拟现实（VR）。VR涉及完全虚拟体验的创建，而AR至少保留了一部分真实世界体验，但是使用虚拟内容更改了对真实世界体验的感知。

技术实现思路

[0003]传统AR体验的一个限制是，用户通常需要物理地存在于真实世界空间中，以便用虚拟内容来增强该真实世界空间。然而，在一些情况下，当用户没有存在于该真实世界空间中时，用户可能希望增强和查看真实世界空间。传统AR体验的另一个限制是，它们通常一次仅可以从一个视角查看，但是用户可以从同时从多个不同视角查看AR体验中受益。传统AR体验的进一步限制是，一旦结束，AR体验可能就需要通过例如扫描真实世界空间来重新初始化。
[0004]本公开的一些方面涉及生成和存储“空间意识媒体”，其包括例如对应于真实世界空间的视觉、音频和/或触觉内容以及标识真实世界空间的三维（3D）空间特征的信息。在一些情况下，可以用虚拟内容来增强空间意识媒体，以创建虚拟用户体验。增强的空间意识媒体，其在本文中也被称为增强的媒体，可以被实现来帮助克服传统AR体验的上述限制。
[0005]在一些实施例中，对应于特定真实世界空间的空间意识媒体可以存储在服务器上，并由来自世界任何地方的设备访问。空间意识媒体可以包括真实世界空间的图像和标识真实世界空间的3D空间特征的信息。标识真实世界空间的3D空间特征可以允许以逼真的方式生成虚拟内容并将其覆盖在图像上，使得虚拟内容可以看起来物理地存在于真实世界空间中。因为空间意识媒体可以被远程访问，所以当增强空间意识媒体时，设备不需要物理地存在于真实世界空间中。空间意识媒体还可以允许设备同时从多个不同的视角查看增强的真实世界空间。另外，并且与AR体验相比，设备可以在不同时间增强相同的空间意识媒体，而不需要任何重新初始化。
[0006]根据本公开的一个方面，提供了一种计算机实现的方法，包括获得搜索查询的结果。搜索查询可以源自与用户相关联的设备处的用户输入，并且结果可以包括多个3D模型。例如，多个3D模型中的每一个可以对应于不同的产品。该方法还可以包括从存储器获得所存储的媒体，该所存储的媒体包括真实世界空间的图像和标识真实世界空间的3D空间特征的信息。可选地，所存储的媒体还包括真实世界空间的照明信息。该方法可以进一步包括基于所存储的媒体和多个3D模型中的至少一些模型来提供增强的媒体。所提供的增强的媒体可以包括增强的媒体的多个不同实例，每个增强的媒体的多个不同实例包括覆盖有相对于
3D空间特征定义的多个3D模型中的至少一些中的相应一个的渲染的真实世界空间的图像的至少一部分。可选地，输出增强的媒体的多个不同实例以用于在设备上同时显示。
[0007]在一些实施例中，图像是从第一视角与用户相关联的真实世界空间的第一图像，所存储的媒体进一步包括从第二视角与用户相关联的真实世界空间的第二图像，并且所提供的增强的媒体进一步包括增强的媒体的不同实例，每个实例包括用相对于3D空间特征定义的多个3D模型中的至少一些中的相应一个的渲染覆盖的真实世界空间的第二图像的至少一部分。
[0008]在一些实施例中，提供增强的媒体包括基于第一视角来渲染3D模型中的至少一些和/或基于第二视角来渲染3D模型中的至少一些。
[0009]在一些实施例中，该方法进一步包括当设备正在显示增强的媒体的多个不同实例的增强的媒体的第一实例时，从设备接收相对于真实世界空间的3D空间特征虚拟地重新定位多个3D模型中的至少一些中的特定3D模型的指令。增强的媒体的第一实例可以包括覆盖有相对于3D空间特征定义的特定3D模型的渲染的真实世界空间的第一图像的至少一部分。该方法然后可以包括基于该指令相对于真实世界空间的3D空间特征重新定义特定的3D模型，并且提供增强的媒体的更新的第一实例。增强的媒体的更新的第一实例可以包括覆盖有相对于真实世界空间的3D空间特征重新定义的特定3D模型的第一更新渲染的第一图像的至少一部分。此外，该方法可以包括从设备接收基于第二图像显示增强的媒体的更新的第二实例的指令，并且提供增强的媒体的更新的第二实例，该更新的第二实例包括覆盖有相对于真实世界空间的3D空间特征重新定义的特定3D模型的第二更新渲染的第二图像的至少一部分。
[0010]在一些实施例中，所存储的媒体包括真实世界空间的视频，对应于视频的第一帧的第一图像以及对应于视频的第二帧的第二图像。
[0011]在一些实施例中，该方法进一步包括生成所存储的媒体，这可以在多个不同的会话中完成。例如，生成所存储的媒体可以包括基于真实世界空间的3D扫描来标识3D空间特征；捕获真实世界空间的第一图像；在捕获第一图像之后，在真实世界空间的3D扫描内重新初始化设备；以及在重新初始化该设备之后，使用该设备来捕获真实世界空间的第二图像。在真实世界空间的3D扫描内重新初始化设备可以包括确定设备相对于3D空间特征的位置。
[0012]在一些实施例中，图像由进一步的设备捕获，该进一步的设备可以与关联于搜索查询的设备相同或不同。然后，所存储的媒体进一步可以包括当捕获进一步的设备的第一图像和相机参数时该进一步的设备相对于3D空间特征的位置。
[0013]在一些实施例中，真实世界空间的3D空间特征包括真实世界空间内的表面。对于增强的媒体的多个不同实例中的每一个，相对于表面定义多个3D模型中的至少一些中的相应一个，使得多个3D模型中的至少一些中的相应一个的渲染描绘搁置在表面上的对应对象。
[0014]本公开的一些方面涉及自动确定3D模型相对于由空间意识媒体定义的真实世界空间的3D空间特征的合适位置。然后，可以基于所确定的3D模型的位置来增强空间意识媒体，以便在真实世界空间中的该位置处描绘由3D模型表示的对象。这可以使得系统能够在没有任何用户输入的情况下，在真实世界空间内的上下文相关位置中示出虚拟对象。
[0015]根据本公开的另一个方面，提供了一种计算机实现的方法，包括从与用户相关联
的用户设备接收对资源的请求，以及回复或响应于该请求。回复可以包括获得包括与用户相关联的真实世界空间的图像和标识真实世界空间的3D空间特征的信息的媒体，获得对象的3D模型，和/或基于媒体和3D模型中的至少一个，确定3D模型相对于真实世界空间的3D空间特征的推荐位置。回复可以进一步包括指令用户设备显示资源，该资源包括增强的媒体，其中图像的至少一部分覆盖有在相对于3D空间特征的位置处定义的3D模型的渲染。
[0016]在一些实施例中，真实世界空间的3D空间特征包括真实世界空间内的表面，3D模型的推荐位置包括表面上的坐标，并且3D模型相对于表面被定义，使得增强的媒体描绘搁置在表面本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算机实现的方法，包括：获得对物理产品的搜索查询的结果，所述搜索查询源自与用户相关联的设备处的用户输入，并且所述结果包括为所搜索的物理产品标识的多个三维3D模型；从存储器获得存储的媒体，所述存储的媒体包括如使用相机模块捕获的真实世界空间的图像，所述存储的媒体进一步包括参数，所述参数包括标识真实世界空间的3D空间特征的信息、标识相机模块当捕获图像时相对于3D空间特征的位置的信息、以及标识相机模块的相机参数的信息；以及基于所存储的媒体和多个3D模型中的至少一些来提供增强的媒体，所提供的增强的媒体包括增强的媒体的多个不同实例，所述增强的媒体的多个不同实例每个包括覆盖有所搜索的物理产品的渲染的真实世界空间的图像的至少一部分，所述增强的媒体是从相对于所存储的媒体参数定义的所述多个3D模型中的至少一些中的相应一个生成的。2.根据权利要求1所述的计算机实现的方法，其中输出增强的媒体的多个不同实例以用于在设备上同时显示。3.根据权利要求1所述的计算机实现的方法，其中：所述图像是从第一视角与用户相关联的真实世界空间的第一图像；所述存储的媒体进一步包括从第二视角与用户相关联的真实世界空间的第二图像；以及所提供的增强的媒体进一步包括增强的媒体的不同实例，每个实例包括覆盖有如从相对于3D空间特征定义的所述多个3D模型中的至少一些中的相应一个生成的所搜索的物理产品的渲染的真实世界空间的第二图像的至少一部分。4.根据权利要求3所述的计算机实现的方法，其中提供增强的媒体包括基于第一视角来渲染所述3D模型中的至少一些。5.根据权利要求3所述的计算机实现的方法，其中提供增强的媒体包括基于第二视角来渲染所述3D模型中的至少一些。6.根据权利要求3所述的计算机实现的方法，进一步包括：当设备正在显示增强的媒体的多个不同实例中的增强的媒体的第一实例时，从设备接收相对于真实世界空间的3D空间特征虚拟地重新定位所述多个3D模型中的至少一些中的特定3D模型的指令，其中所述增强的媒体的第一实例包括覆盖有相对于3D空间特征定义的特定3D模型的渲染的真实世界空间的第一图像的至少一部分；基于指令，相对于真实世界空间的3D空间特征重新定义特定3D模型；提供增强的媒体的更新的第一实例，所述增强的媒体的更新的第一实...

【专利技术属性】
技术研发人员：B，
申请(专利权)人：秀铺菲公司，
类型：发明
国别省市：