增强现实环境中对象的混合放置制造技术

在一般方面，一种方法可以包括接收定义包括物理环境的表示的增强现实(AR)环境的数据，以及在区域跟踪模式和平面跟踪模式之间改变AR环境内的AR对象的跟踪。

【技术实现步骤摘要】
【国外来华专利技术】增强现实环境中对象的混合放置相关申请本申请要求于2018年10月8日提交的美国临时申请No.62/742,772的优先权和权益，其全部内容通过引用合并于此。
本文档总体上涉及在增强现实(AR)环境中渲染计算机生成的对象。更具体地，本文档涉及在AR环境中的对象(例如，AR对象)的放置、操纵(例如，提升、移动等)的方法。
技术介绍
在媒体和其他内容的基于计算机的消费的情况下，向用户(查看者、参与者等)提供沉浸式体验变得越来越普遍。一个领域涉及在诸如智能电话或平板电脑的设备上呈现虚拟现实(VR)和/或增强现实(AR)环境。在AR环境中，人们可以观看至少呈现物理环境(例如，物理空间的视频或实时图像)的方面和VR(例如，叠加在视频或图像上的虚拟对象)的方面两者以提供AR体验的屏幕。
技术实现思路
本文档描述了用于显示增强现实的系统和方法，其中用户可以在物理空间的视图中放置和操纵虚拟的(例如，计算机生成的)对象。在一般方面，一种方法可以包括：接收定义包括物理环境的表示的增强现实(AR)环境的数据，以及在区域跟踪模式和平面跟踪模式之间改变(例如，修改)AR环境内的AR对象的跟踪。在附图和以下描述中阐述一种或多种实施方式的细节。根据说明书和附图以及根据权利要求书，其他特征将显而易见。附图说明图1A是示例物理空间的第三人称视角，其中用户正在通过显示器体验增强现实(AR)环境。图1B图示基于在平面跟踪模式下的平面被放置在图1中所示的AR环境内的AR对象。图1C图示基于区域跟踪模式中的增强区域被放置在图1A中所示的AR环境内的AR对象。图2A和图2B图示在维持真实世界规模的同时从区域跟踪模式到平面跟踪模式的转变的示例。图3A和图3B图示在维持屏幕大小的同时从区域跟踪模式到平面跟踪模式的转变的示例。图4是图示根据示例实施方式的系统的框图。图5至图8图示用于执行本文描述的过程中的至少一些过程的方法。图9示出可以被用于实现本文描述的技术的计算机设备和移动计算机设备的示例。具体实施方式本文描述的系统和方法涉及基于与真实世界对象相关联的平面(例如，平坦的表面)和/或作为与真实世界对象相关联的二维区域(例如，框区域)的增强区域的增强现实(AR)对象在AR环境内的放置。可以使用平面追踪模式来执行基于平面的AR环境内的AR对象的放置，并且可以使用区域追踪模式来执行基于增强区域的AR环境内的AR对象的放置。当未检测到增强区域时(例如，由于缺少图像数据、由于没有能力标识对象)，AR对象在AR环境中的放置可以基于平面(使用平面跟踪模式)，或者当未检测到平面时(例如，由于计算资源不足和/或视角太平坦，由于未检测到平坦的对象)，该放置可以基于增强区域(使用区域跟踪模式)。将平面跟踪模式和区域跟踪模式的组合用于AR对象的放置的使用可以被称为混合放置。本文描述的混合放置概念可以在以下情况中使用，即，未检测到平面(例如，与真实世界对象表面相关联的平面)或平面(例如，水平面、垂直平面)在AR环境中不存在。当检测到增强区域并且没有关于AR对象在AR环境内的深度的信息时，本文描述的混合放置概念可以用于将AR对象放置在AR环境内。本文描述的概念可以消除放置AR对象的延迟(例如，时延)，可以允许利用有限的深度信息放置AR对象，可以允许放置各种AR对象等等。可以将AR对象放置在设备的相机视图内的任何位置，并且可以预期AR对象会粘贴(例如，被维持，被保持)在其(在视觉上)放置的位置，而无需有关深度(例如，三维深度)的信息。本文所述的混合放置概念可以被用于选择跟踪模式以实现这些优点。尽管本文在AR对象的放置方面描述了许多示例，但是AR对象的放置可以包括AR对象的初始放置、跟踪、移动等。在一些实施方式中，可以使用拖动、和/或点击放置等来执行初始放置。平面跟踪模式、区域跟踪模式和/或其他跟踪模式可以统称为跟踪模式。在一些实施方式中，AR环境可以是混合现实环境，其包括虚拟对象和物理对象(例如，物理或真实世界内的虚拟对象(例如，流传输到设备显示器中)的混合。AR环境可以显示在诸如头戴式显示器(HMD)、移动设备、膝上型计算机、和/或AR眼镜等的设备的显示器内。AR环境可以是用户可以在其中显示的AR环境内的物理空间中放置并且与虚拟对象进行交互(例如，操纵、提升、移动、与其交互等)的环境(例如，物理对象和/或物理环境与覆盖在物理对象和/或环境上的虚拟对象的混合)。在一些实施方式中，这样的虚拟对象可以包括贴纸、人物、精灵、动画、三维(3D)渲染等等。在一些实施方式中，当使用平面跟踪模式时，AR环境内的平面可以表示(例如，近似)真实世界对象的表面。该平面可以是与AR环境内的真实世界对象的表面相关联的三维平面(具有深度(例如，具有与X、Y和Z方向相关联的部分以及深度参数))。例如，平面的深度可以由一个或多个参数来描述。在一些实施方式中，增强区域可以是没有三维深度的二维区域。在一些实施方式中，增强区域可以表示(例如，近似)由AR环境内的真实世界对象占据的空间(例如，二维空间、轮廓)。真实世界对象可以是AR环境内显示的物理对象。图1A是示例物理空间100的第三人称视角，其中用户正在通过HMD11的显示器10体验AR环境102。AR环境102可以由AR应用120生成并通过HMD11或其他设备显示给用户。AR环境102包括被插入的AR对象104(例如，内容)，其被显示在物理空间100的图像上方(可以使用附接到HMD11的直通(例如，外置)相机在显示器内显示)。在该示例中，AR对象104是在AR环境102中的花108的表示108A附近的桌子106的表示106A上的海龟。尽管利用HMD11图示该实施方式，但是其他类型的设备也可以与HMD11结合使用或代替HMD11使用，诸如移动电话、和/或膝上型计算机等。在这样的实施方式中，用户可以握持设备并且可以通过与设备相关联(例如，包括在设备中)的显示器来查看AR环境。可以基于使用平面跟踪模式的平面和/或使用区域跟踪模式的增强区域将AR对象104放置在AR环境102中。平面跟踪模式在图1B中被图示，并且区域跟踪模式在图1C中被图示。图1B图示基于与桌子106A相关联的平面A将AR对象104放置在AR环境102内。在图1B中利用虚线示出平面A，但是通常在显示器10内对于用户来说是不可见的。具体地，平面A表示桌子106A的顶部的三维表面，并且AR对象104被布置在平面A上。可以确定AR对象104的深度，并且可以使用AR对象104的深度将AR对象104放置在平面A上。平面A在AR环境内还具有三维深度。在一些实施方式中，平面A可以由每个具有XYZ位置(和深度)的点的集合表示。当用户在物理空间100内移动时，AR环境102和其中的虚拟对象基于平面跟踪模式以相应的方式移动。换句话说，基于用户在物理空间100中的移动，AR对象104和平面A在AR环境102内移动。AR对象104和平面A可以基于与AR对象1本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n由电子设备接收定义增强现实AR环境的数据，所述增强现实AR环境包括物理环境的表示；/n标识表示所述物理环境内的第一真实世界对象的至少一部分的平面或表示所述物理环境内的第二真实世界对象的至少一部分的增强区域中的至少一个；/n接收将AR对象放置在所述AR环境中的指令；以及/n响应于接收到所述指令，基于使用平面跟踪模式的平面或基于使用区域跟踪模式的增强区域中的至少一个将所述AR对象放置在所述AR环境内。/n

【技术特征摘要】
【国外来华专利技术】20181008 US 62/742,7721.一种方法，包括：
由电子设备接收定义增强现实AR环境的数据，所述增强现实AR环境包括物理环境的表示；
标识表示所述物理环境内的第一真实世界对象的至少一部分的平面或表示所述物理环境内的第二真实世界对象的至少一部分的增强区域中的至少一个；
接收将AR对象放置在所述AR环境中的指令；以及
响应于接收到所述指令，基于使用平面跟踪模式的平面或基于使用区域跟踪模式的增强区域中的至少一个将所述AR对象放置在所述AR环境内。


2.根据权利要求1所述的方法，进一步包括：
基于所述平面跟踪模式，在第一时间将所述AR对象放置在所述AR环境中；和
在第二时间切换到所述区域跟踪模式。


3.根据权利要求1所述的方法，进一步包括：
基于所述区域跟踪模式，在第一时间将所述AR对象放置在所述AR环境中；和
在第二时间切换到所述平面跟踪模式。


4.根据前述权利要求中的任一项所述的方法，进一步包括：
在改变所述AR对象的深度使得所述AR对象的大小在所述电子设备的屏幕内改变的同时，维持利用所述电子设备的屏幕所显示的所述物理环境的规模。


5.根据前述权利要求中的任一项所述的方法，进一步包括：
响应于所述增强区域的大小的改变，修改所述AR环境内的所述AR对象的深度。


6.根据前述权利要求中的任一项所述的方法，其中，所述增强区域是二维区域。


7.根据前述权利要求中的任一项所述的方法，其中，所述增强区域是不具有深度的二维区域。


8.根据前述权利要求中的任一项所述的方法，其中，所述平面是具有深度的三维平面。


9.一种方法，包括：
接收定义包括物理环境的表示的增强现实AR环境的数据；和
在区域跟踪模式和平面跟踪模式之间改变对所述AR环境内的AR对象的跟踪，
所述区域跟踪模式包括基于表示所述物理环境内的第一真实世界对象的二维区域来跟踪所述AR环境内的所述AR对象的深度；
所述平面跟踪模式包括基于表示所述物理环境内的第二真实世界对象的平面来跟踪所述AR环境内的所述AR对象的深度。


10.根据权利要求9所述的方法，进一步包括当从区域跟踪模式改变为平面跟踪模式时：
在改变所述AR对象的深度使得所述AR对象的大小在电子设备的屏幕内改变的同时，维持利用所述电子设备的屏幕所显示的所述物理环境的规模。


11.根据权利...

【专利技术属性】
技术研发人员：布赖恩·伍兹，魏佳宁，森迪普·瓦达迪，杨橙，康斯坦丁·佐措斯，凯斯·舍费尔，莱昂·王，基尔·班克斯·米耶尔勒，马蒂亚斯·格伦德曼，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国;US