用于确定增强现实环境中的平面的范围的系统和方法技术方案

本发明专利技术提出用于构建平面物体的表示的方法、系统、计算机可读媒体和设备。在一些实施例中，揭示了用于构建平面物体的表示的技术。根据一些实施例，一种用于构建平面物体的表示的方法可以包含获得从观察位置捕捉的物理场景的深度图像。所述深度图像可以包括多个深度值并且对应于所述物理场景中的多个点。所述方法可进一步包含识别所述平面物体据估计沿其定位的平面表面。此外，所述方法可以包含构建支撑图谱。此外，所述方法可以包含构建遮挡图谱，所述遮挡图谱指示所述平面表面的其中所述平面物体遗失的部分。随后，所述方法可以包含使用所述遮挡图谱构建所述平面物体的至少一个边界的表示。

【技术实现步骤摘要】
【国外来华专利技术】【专利说明】
技术介绍
本专利技术的方面涉及增强现实(AR)。更具体来说，本公开的方面涉及构建支撑和遮挡图谱以确定AR环境中的平面的范围。增强现实提供了现实世界环境的经过计算机产生的虚拟物体增强的视图。在一些情况下，AR涉及将虚拟物体叠加在物理环境上。RGB深度(RGBD)相机提供了一种创建描述场景的三维(3D)几何形状的点云的方法。RGBD相机捕捉的多个深度图像可以对准和组合以创建桌面或更大房间环境的扩展3D模型。然而，许多应用程序要求不止对场景表面的取样表示。例如，一些应用程序可能需要将点云分段成对应于单个物体(例如物理桌子)的子集。对于移动装置上的增强现实应用程序而言，桌面可能是场景的一个重要部分，因为它限定了用户通常在其中进行交互的区域。为了与限定的区域正确交互，可能需要与限定的区域相关联的边界。当前方法可能无法确定边界是所述表面的真正边界，还是仅仅是所记录的数据的边界。当前方法仅仅注意提取对应于例如桌面的单个物体的点。当前方法可能能够找到边界，但是并不在物体的物理边界与重建的边界之间作出决定。这个区别对于应用程序是重要的，例如游戏需要知道一个表面可能在重建的边界处增长，但是不在所述表面的物理边界处增长。因此，需要准确地确定增强现实环境内的物体的表面的真正边界。
技术实现思路
某些实施例描述一种用于构建AR环境内的平面物体的表示的系统和方法。在一些实施例中，一种用于构建平面物体的表示的技术包含获得从观察位置捕捉的物理场景的深度图像，所述深度图像包括多个深度值并且对应于所述物理场景中的多个点，每一深度值指示从所述观察位置到所述物理场景中的所述多个点中的一个的距离。所述方法进一步包含识别所述平面物体据估计沿其定位的平面表面。所述方法还包含构建支撑图谱，所述支撑图谱指示所述平面表面的被所述平面物体和靠在所述平面物体顶上的物体的可能表面占据的部分。所述方法另外包含构建遮挡图谱，所述遮挡图谱指示所述平面表面的其中所述平面物体遗失的部分。所述方法还包含使用所述遮挡图谱和所述支撑图谱构建所述平面物体的至少一个边界的表示。在一些实施例中，所述平面物体是物理场景中的桌面。在一些实施例中，构建遮挡图谱的步骤包含将平面表面分割成多个单元，并且，对于每一单元，对具有足够大可以从所述观察位置延伸并且在所述平面表面处穿越所述单元的深度值的多个点进行计数。在一些实施例中，构建支撑图谱的步骤包含将平面表面分割成多个单元，并且，对于每一单元，对具有从所述观察位置延伸到所述单元或所述单元上方的空间的垂直柱内的一个位置的深度值的多个点进行计数。在一些实施例中，所述方法进一步包含基于遮挡图谱和平面物体的至少一个边界构建遮挡梯度图谱。所述方法另外包含基于支撑图谱和平面物体的至少一个边界构建支撑梯度图谱。所述方法还包含基于遮挡梯度图谱和支撑梯度图谱对与平面物体的边界相关联的片段进行分类。在一些实施例中，对与平面物体的边界相关联的片段进行分类的步骤包含:将线段投影到支撑图谱中，将线段投影到遮挡图谱中，以及确定投影的线段是否与平面物体的真正边缘重合。在一些实施例中，使用RGB深度相机获得深度图像。在一些实施例中，一种用于构建平面物体的表示的装置包含存储器、相机和一或多个处理器。所述相机经配置以获得从观察位置捕捉的物理场景的深度图像，所述深度图像包括多个深度值并且对应于所述物理场景中的多个点，每一深度值指示从所述观察位置到所述物理场景中的所述多个点中的一个的距离。所述一或多个处理器经配置以:识别所述平面物体据估计沿其定位的平面表面;构建支撑图谱，所述支撑图谱指示所述平面表面的被所述平面物体和靠在所述平面物体顶上的物体的可能表面占据的部分；构建遮挡图谱，所述遮挡图谱指示所述平面表面的其中所述平面物体遗失的部分；以及使用所述遮挡图谱和所述支撑图谱构建所述平面物体的至少一个边界的表示。在一些实施例中，一或多个非暂时性计算机可读媒体存储用于构建平面物体的表示的计算机可执行指令，所述计算机可执行指令当经执行时使包含于装置中的一或多个计算装置:识别所述平面物体据估计沿其定位的平面表面;构建支撑图谱，所述支撑图谱指示所述平面表面的被所述平面物体和靠在所述平面物体顶上的物体的可能表面占据的部分；构建遮挡图谱，所述遮挡图谱指示所述平面表面的其中所述平面物体遗失的部分；以及使用所述遮挡图谱和所述支撑图谱构建所述平面物体的至少一个边界的表示。在一些实施例中，一种用于构建平面物体的表示的设备包含用于获得从观察位置捕捉的物理场景的深度图像的装置，所述深度图像包括多个深度值并且对应于所述物理场景中的多个点，每一深度值指示从所述观察位置到所述物理场景中的所述多个点中的一个的距离。所述设备还包含用于识别所述平面物体据估计沿其定位的平面表面的装置。所述设备另外包含用于构建支撑图谱的装置，所述支撑图谱指示所述平面表面的被所述平面物体和靠在所述平面物体顶上的物体的可能表面占据的部分。所述设备进一步包含用于构建遮挡图谱的装置，所述遮挡图谱指示所述平面表面的其中所述平面物体遗失的部分。所述设备还包含用于使用所述遮挡图谱和所述支撑图谱构建所述平面物体的至少一个边界的表示的装置。【附图说明】通过实例来说明本专利技术的各方面。在附图中，相同参考数字指示类似元件，且:图1说明可并入有一或多个实施例的系统的简化图；图2A说明移动装置或某个其它装置的经配置以构建平面物体的表示的组件的实施例；图2B说明作为移动装置的一部分的计算机可读存储媒体的简化图；图3A是物理场景的实例说明，RGBD相机可以使用3D点从所述物理场景中捕捉一或多个图像和/或其它数据；图3B是图3A的物理场景的说明，其进一步说明了支撑表面的表示；图4A说明根据一些实施例的支撑图谱；图4B说明根据一些实施例的遮挡图谱；图5A是渲染为热图的支撑图谱的实例；图5B是渲染为热图的遮挡图谱的实例；图6说明根据一些实施例通过改进步骤计算的凸包与凹面轮廓之间的差异；图7说明根据一些实施例给边界多边形线段分类的方法；图8说明用于构建平面物体的表示的方法的实施例；以及图9说明可在其中实施一或多个实施例的计算系统的实例。【具体实施方式】现将相对于形成其一部分的附图来描述若干说明性实施例。虽然下文描述可在其中实施本专利技术的一或多个方面的特定实施例，但可使用其它实施例，且可在不脱离本专利技术的范围或所附权利要求书的精神的情况下进行各种修改。图1说明可并入有一或多个实施例的系统10的简化图。本专利技术的实施例可以描述用于确定AR环境内的平面的范围(例如，物体的物理边界)的技术。在一些情况下，所述技术可以使用两个信息源。首先，所述技术可以寻找通过经由RGBD相机获得的3D点测量值得到支撑的物体的可能表面区域(例如桌子的表面区域)。其次，所述技术可以消除可能遮挡其它3D点测量值的可能表面区域(例如桌子的表面区域)。组合这两个信息源可以容许估计表面的真正范围和确定表面的真正物理边界。可以从在空间中对准的多个RGBD图像创建点云。点云是坐标系中的数据点的集合，并且意在代表物体的外表面。在一些情况下，RGBD的位置和定向在共同参考系内可能是已知的。随后，可以通过将各个RGBD图像的所有深度图变换成共同参考系来创建3D点云。通过知道相机在共同参考系中的位置及定向，系统可以具本文档来自技高网...

【技术保护点】
一种用于构建平面物体的表示的方法，其包括：获得从观察位置捕捉的物理场景的深度图像，所述深度图像包括多个深度值并且对应于所述物理场景中的多个点，每一深度值指示从所述观察位置到所述物理场景中的所述多个点中的一个的距离；识别所述平面物体据估计沿其定位的平面表面；构建支撑图谱，所述支撑图谱指示所述平面表面的被所述平面物体和靠在所述平面物体顶上的物体的可能表面占据的部分；构建遮挡图谱，所述遮挡图谱指示所述平面表面的其中所述平面物体遗失的部分；以及使用所述遮挡图谱和所述支撑图谱构建所述平面物体的至少一个边界的表示。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：格哈德·赖特迈尔，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国;US