用于增强现实中的锚点的辅助数据制造技术

在增强现实系统中，辅助数据与增强现实锚点相关联以描述真实环境中的锚点的周围环境。这允许验证位置跟踪是正确的，换言之，增强现实终端被定位在增强现实场景中的正确位置处。可应请求显示该辅助数据。辅助数据的典型示例是裁剪的2D图像或3D网格。是裁剪的2D图像或3D网格。是裁剪的2D图像或3D网格。

【技术实现步骤摘要】
【国外来华专利技术】用于增强现实中的锚点的辅助数据


[0001]本专利技术实施方案中的至少一个实施方案整体涉及增强现实，并且更具体地涉及用于在虚拟环境中进行定位的锚点。

技术介绍

[0002]增强现实(AR)是用于合并真实元素和虚拟元素以进行显现的概念和一组技术，其中，物理对象和数字对象共存并且实时交互。AR显现需要将增强的虚拟元素看作物理视图的一部分的装置。这可使用配备有相机和显示器的增强现实终端(AR终端)来实现，该增强现实终端捕获用户环境的视频并且将该捕获到的信息与显示器上的虚拟元素相组合。此类设备的示例是诸如智能电话、平板计算机或头戴式显示器。3D模型和动画是要在AR中显现的最明显的虚拟元素。然而更一般地，AR对象可以是空间性(空间中的3D位置和取向)提供附加值的任何数字信息，例如图片、视频、图形、文本和音频。能够从不同视点正确地看到AR显现，使得当用户改变视点时，虚拟元素停留或表现得好像是物理场景的一部分。这就需要跟踪技术，以用于导出环境的3D属性以产生AR内容，以及在观看内容时用于跟踪AR终端相对于环境的位置。例如，AR终端的位置可通过跟踪AR终端的视频流中的已知对象或视觉特征和/或使用一个或多个传感器进行跟踪。在能够将AR对象增强到物理现实中之前，必须限定它们相对于物理环境的位置。增强现实的特定挑战是多名用户访问相同的AR场景并因此可通过该虚拟环境进行交互。精确且可靠地定位AR终端是AR系统的关键方面，因为此类特征是享受AR体验所必需的。

技术实现思路

[0003]在至少一个实施方案中，在增强现实系统中，辅助数据与增强现实锚点相关联以描述真实环境中的锚点的周围环境。这允许验证位置跟踪是正确的，换言之，增强现实终端被定位在增强现实场景中的正确位置处。可应请求显示该辅助数据。辅助数据的典型示例是裁剪的2D图像或3D网格。
[0004]至少一个实施方案的第一方面涉及一种用于创建用于增强现实场景的锚点的方法，该方法包括：显示在显示增强现实场景时检测到的特征点；获得对至少一个特征点的选择；捕获辅助数据；以及创建新的锚点并且将其与所选择的至少一个特征点的参数和所捕获的辅助数据相关联。
[0005]至少一个实施方案的第二方面涉及一种用于在增强现实终端上显示增强现实场景的方法，该方法包括：当激活辅助数据的显示并且检测到增强现实锚点时，获得与检测到的增强现实锚点相关联的辅助数据以及显示辅助数据的图形表示。
[0006]至少一个实施方案的第三方面涉及一种用于在增强现实终端上验证增强现实场景中的增强现实锚点的方法，该方法包括：确定与在显示增强现实场景时检测到的至少一个特征点相对应的增强现实锚点；获得与检测到的增强现实锚点相关联的辅助数据；获得表示真实世界场景的所捕获的数据；将辅助数据与所捕获的数据进行比较并响应地触发恢
复。
[0007]至少一个实施方案的第四方面涉及一种用于创建用于增强现实场景的锚点的装置，该装置包括处理器，该处理器被配置为：显示在显示增强现实场景时检测到的特征点；获得对至少一个特征点的选择；捕获辅助数据；以及创建新的锚点并且将其与所选择的至少一个特征点的参数和所捕获的辅助数据相关联。
[0008]至少一个实施方案的第五方面涉及一种用于在增强现实终端上显示增强现实场景的装置，该装置包括处理器，该处理器被配置为当激活辅助数据的显示并且检测到增强现实锚点时，获得与检测到的增强现实锚点相关联的辅助数据以及显示辅助数据的图形表示。
[0009]至少一个实施方案的第六方面涉及一种用于在增强现实终端上验证增强现实场景中的增强现实锚点的装置，该装置包括处理器，该处理器被配置为：确定与在显示增强现实场景时检测到的至少一个特征点相对应的增强现实锚点；获得与检测到的增强现实锚点相关联的辅助数据；获得表示真实世界场景的所捕获的数据；将辅助数据与所捕获的数据进行比较并响应地触发恢复。
[0010]至少一个实施方案的第七方面涉及一种增强现实系统，该增强现实系统包括增强现实场景、增强现实控制器和增强现实终端，其中，增强现实场景包括与增强现实场景的表示的特征点的参数相关联的增强现实锚点以及表示增强现实锚点的周围环境的辅助数据。
[0011]根据这七个实施方案的变型，辅助数据基于创建锚点时捕获到的图片，或者是创建锚点时捕获到的图片的裁剪版本，或者基于创建锚点时捕获到的三维网格。
[0012]根据至少一个实施方案的第八方面，一种计算机程序包括程序代码指令，当由处理器执行时，能够执行该程序代码指令以用于实现至少根据前三个方面中的一方面的方法的步骤。
[0013]根据至少一个实施方案的第九方面，一种非暂态计算机可读介质包括程序代码指令，当由处理器执行时，能够执行该程序代码指令以用于实现至少根据前三个方面中的一方面的方法的步骤。
附图说明
[0014]图1示出了在其中实现各种方面和实施方案的增强现实系统的示例的框图。
[0015]图2A、图2B、图2C示出了两名用户使用AR场景的示例。
[0016]图3示出了根据至少一个实施方案的用户操作的验证过程的示例性流程图。
[0017]图4示出了根据至少一个实施方案的用于创建锚点的过程的示例性流程图。
[0018]图5A至图5F示出了根据验证过程300的由AR终端显示的屏幕的各种示例。
[0019]图6A、图6B、图6C示出了根据锚点创建过程400的由AR终端显示的屏幕的各种示例。
[0020]图7示出了根据至少一个实施方案的自动验证过程的示例性流程图。
[0021]图8示出了根据一个实施方案的增强现实终端的示例性具体实施的框图。
[0022]图9示出了根据一个实施方案的增强现实控制器的示例性具体实施的框图。
[0023]图10示出了根据至少一个实施方案的锚点创建的序列图。
[0024]图11示出了根据至少一个实施方案的手动验证的序列图。
具体实施方式
[0025]图1例示了在其中实现各种方面和实施方案的系统的示例的框图。此类系统被设计成允许共享(即，协作)增强现实体验，这是AR应用的下一挑战。多名用户(在这里是爱丽丝、鲍勃和查理)可从他们在AR场景中的位置同时查看虚拟对象并与其交互，该AR场景是发生在真实世界3D环境中的共享增强场景。AR场景中的修改可实时对每名用户可见。AR场景120的数字表示由AR控制器110处理，该AR控制器还管理虚拟环境中的用户之间的交互的协调。为了享受AR场景，用户将使用AR终端(100A,100B,100C)加入共享增强空间中的其他用户。AR终端显示叠加到真实世界环境的视图的AR场景的虚拟对象。为了确保与AR场景进行一致交互，所有AR终端必须连续地定位在相同的世界坐标系中。AR终端和AR控制器通过通信网络150联接在一起。该网络优选地为无线网络以向AR终端提供移动性。
[0026]在使用图1的系统的协作体验中，所有用户之间共享虚拟对象。每一名用户可使用自己的AR终端来显示AR场景。每一名用户可与表示虚拟环境中的本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于创建用于增强现实场景的锚点的方法，所述方法包括：
‑
显示(410)在显示所述增强现实场景时检测到的特征点，
‑
获得(420)对至少一个特征点的选择，
‑
捕获(430)辅助数据，以及
‑
创建新的锚点并且将其与所选择的至少一个特征点的参数和所捕获的辅助数据相关联。2.一种用于在增强现实装置上显示增强现实场景的方法，所述方法包括在激活(310)辅助数据的显示并且检测(320)到增强现实锚点的情况下：
‑
获得(340)与检测到的增强现实锚点相关联的辅助数据，以及
‑
显示(350)所述辅助数据的图形表示。3.一种用于验证在增强现实装置上显示的增强现实场景的增强现实锚点的方法，所述方法包括：
‑
确定(370)与在显示增强现实场景时检测到的至少一个特征点相对应的增强现实锚点，
‑
获得与检测到的增强现实锚点相关联的辅助数据，
‑
获得表示真实世界场景的所捕获的数据，
‑
将所述辅助数据与所捕获的数据进行比较并且响应地触发(390)恢复。4.根据权利要求1至3中任一项所述的方法，其中，所述辅助数据基于创建所述锚点时所捕获的图片。5.根据权利要求4所述的方法，其中，所述辅助数据是创建所述锚点时所捕获的所述图片的裁剪版本。6.根据权利要求4所述的方法，其中，所述辅助数据是创建所述锚点时所捕获的所述图片的具有降低的空间分辨率的处理版本。7.根据权利要求4所述的方法，其中，所述辅助数据是创建所述锚点时所捕获的所述图片的具有缩减的色彩空间的处理版本。8.根据权利要求4所述的方法，其中，所述辅助数据是创建所述锚点时所捕获的所述图片的具有降低的空间分辨率或缩减的色彩空间的裁剪版本和处理版本。9.根据权利要求1至3中任一项所述的方法，其中，所述辅助数据基于创建所述锚点时所捕获的三维网格。10.根据权利要求3所述的方法，其中，所述辅助数据是基于创建所述锚点时所捕获的图片的图像，并且比较还包括当在表示真实世界场景的所捕获的数据中检测到锚点时：
‑
确定辅助图像的特征，
‑
确定所捕获的数据的特征，
‑
确定所述辅助图像的特征与所捕获的数据的特征之间的距离，并且响应地：
‑
确定最靠近所述辅助图像和所捕获的数据之间的匹配点的中心的点，
‑
确定这些中心之间的距离，以及
‑
响应地触发(390)恢复。11.一种用于创建用于增强现实场景的锚点的增强现实装置，所述增强现实装置包括处理器，所述处理器被配置为：
‑
显示在显示增强现实场景时检测到的特征点，
‑
获得对至少一个特征点的选择，
‑
捕获辅助数据，以及
‑
创建新的锚点并且将其与所选择的至少一个特征点的参数和所捕获的辅助数据相关联。12.一种用于存储用于增强现实场景的锚点的增强现实装置，所述增强现实装置包括处理器，所述处理器被配置为：
‑
获得使用权利要求8所述的装置创建的锚点，以及
‑
将所述锚点与所述增强现实场景一...

【专利技术属性】
技术研发人员：P，
申请(专利权)人：交互数字CE专利控股有限公司，
类型：发明
国别省市：