使用深度传感器的结构建模制造技术

本发明专利技术呈现用于构建物理环境的数字表示的技术。在一些实施例中，一种方法包含获得指示所述物理环境的图像数据；基于所获得的所述图像数据从对应于所述物理环境中的至少一个位置的用户接收手势输入数据；检测所述物理环境中靠近对应于所接收到的所述手势输入数据的所述至少一个位置的至少一个不连续性；以及基于所接收到的所述手势输入数据和所述至少一个不连续性产生对应于所述物理环境中的表面的数字表面。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术总体而言涉及增强现实环境，且更具体来说，涉及实时建模实体环境。
技术介绍
在增强现实(AR)环境中，用户可希望获得他的物理环境的模型以启用AR功能。举例来说，用户可希望将他的办公室的视图的主要结构建模，所述视图可包含墙面、地板和天花板的表面，以及桌子的台面表面。建模现实物理环境的当前方法可能不具有将不同表面彼此区分开的能力，且实际上仅产生指示与来自摄像机视图的每个点相关联的深度的点的密集重构。此外，此组点可不含有区分哪些点属于墙面或哪些点属于桌子等的任何方式。不具有此类语义意义使得AR壁面或桌子表面难以交互。此外，产生此组点可为非常处理器密集型且不大适用于实时使用。本专利技术的实施例解决此问题和其它问题。
技术实现思路
本专利技术总体而言涉及增强现实环境，且更具体来说，涉及实时建模实体环境。介绍用于基于直观用户输入和用户的物理环境在移动装置上实时建模增强现实(AR)环境的方法和设备。在一些实施例中，用户可基于本专利技术的系统和方法产生表示用户的物理环境的表面的几何形状。在一些实施例中，仅此类表面的大致指示由用户需要，且快速不精确输入在一些情况下可为可接受的。在一些实施例中，移动装置的传感器功能性(例如，来自深度摄像机的输入)可用于推断用户并未充分指定的表面的其余部分。在一些实施例中，方法和应用包含手动用户接口，而在其它实施例中，可采用更“半自动”的用户接口。使用业界中的已知方法，深度传感器可产生包含极其详细的信息的三维(3D)重建，从而产生可含有不具有任意语义的多个几何图元的模型。然而，对于多个应用，可能需要的全部应用为由少数多边形组成的几何模型，所述几何模型表示环境的重要结构，而非大量细节。建模结构可包含由几何面、边和顶点构成的多边形模型以及简单体积。此类几何模型可被称作结构模型。举例来说，简单房间可包含四个墙面、地板、天花板、门和窗户，总计八个多边形。应注意，此等几何结构具有低复杂度且通常具有例如正确角度或平行边的约束。此外，使语义意义与结构结合可为重要的。举例来说，门可用于进出相邻房间，或虚拟物件可经约束以停留在真实表面上，或窗户可向上及向下滑动。对于增强现实(AR)中的相互相用，具有相关信息的简化结构模型可在移动装置上启用与结构模型相关联的资讯的实时处理。因此，本专利技术的实施例提出通过几个多边形(例如，用于门的单一矩形)表示来自现实世界的重要元素。一种用于构建物理环境的数字表示的实例方法可包含获得指示物理环境的图像数据；基于所获得的图像数据接收对应于物理环境中的至少一个位置的用户输入数据图像数据；检测靠近对应于所接收到的用户输入数据的至少一个位置的物理环境中的至少一个不连续性；以及基于所接收到的用户输入数据和至少一个不连续性产生对应于物理环境中的表面的数字表面。在方法的一些实施例中，所接收到的用户输入数据指定数字表面的至少一个边。在其它实施例中，所接收到的用户输入数据指定数字表面的至少一个平面。在又其它实施例中，所接收到的用户输入数据包括物理环境内的多个点，基于所获得的图像数据，所述多个点被包含为数字表面的部分。在某些实施例中，图像数据可包含关于物理环境的几何深度信息。在一些实施方案中，实例方法可侦测检测至少一个不连续性，其可包含在物理环境中检测至少两个平面表面相交之处。在某一实施方案中，所接收到的用户输入数据可包含2维坐标形式的输入数据，且所产生的数字表面可包含3维坐标形式的输出数据。实例方法可进一步包含接收定义与数字表面相关联的至少一个函数的语义输入。一种用于构建物理环境的数字表示的实例移动装置可包含耦合到移动装置以用于获得指示物理环境的图像数据的摄像机。此外，移动装置可包含处理器，其耦合到存储器以用于基于所获得的图像数据接收对应于物理环境中的至少一个位置的用户输入数据；检测靠近对应于所接收到的用户输入数据的至少一个位置的物理环境中的至少一个不连续性；以及基于所接收到的用户输入数据和至少一个不连续性产生对应于物理环境中的表面的数字表面。在移动装置的一些实施例中，所接收到的用户输入数据指定数字表面的至少一个边。在其它实施例中，所接收到的用户输入数据指定数字表面的至少一个平面。在又其它实施例中，所接收到的用户输入数据包括物理环境内的多个点，基于所获得的图像数据，所述多个点被包含为数字表面的部分。在某些实施例中，图像数据可包含关于物理环境的几何深度信息。在一些实施方案中，实例移动装置的组件可检测至少一个不连续性，其可包含在物理环境中检测至少两个平面表面相交之处。在一些实施方案中，所接收到的用户输入数据可包含2维坐标形式的输入数据，且所产生的数字表面可包含3维坐标形式的输出数据。实例移动装置可进一步包含用于接收定义与数字表面相关联的至少一个函数的语义输入的组件。一种用于构建物理环境的数字表示的实例移动装置可包含耦合到移动装置以用于获得指示物理环境的图像数据的摄像机。此外，移动装置可包含处理器，其耦合到存储器以用于基于所获得的图像数据接收对应于物理环境中的至少一个位置的用户输入数据；检测靠近对应于所接收到的用户输入数据的至少一个位置的物理环境中的至少一个不连续性；以及基于所接收到的用户输入数据和至少一个不连续性产生对应于物理环境中的表面的数字表面。在移动装置的一些实施例中，所接收到的用户输入数据指定数字表面的至少一个边。在其它实施例中，所接收到的用户输入数据指定数字表面的至少一个平面。在又其它实施例中，所接收到的用户输入数据包括物理环境内的多个点，基于所获得的图像数据，所述多个点被包含为数字表面的部分。在某些实施例中，图像数据可包含关于物理环境的几何深度信息。在一些实施方案中，实例移动装置的组件可检测至少一个不连续性，其可包含在物理环境中检测至少两个平面表面相交之处。在某一实施方案中，所接收到的用户输入数据可包含2维坐标形式的输入数据，且所产生的数字表面可包含3维坐标形式的输出数据。实例移动装置可进一步包含用于接收定义与数字表面相关联的至少一个函数的语义输入的组件。一种实例非暂时性计算机可读存储媒体，其中所述非暂时性计算机可读存储媒体包括可由处理器执行的指令，包括用于构建物理环境的数字表示的指令的指令可包含以下能力：获得指示物理环境的图像数据；基于所获得的图像数据接收对应于物理环境中的至少一个位置的用户输入数据；检测靠近对应于所接收到的用户输入数据的至少一个位置的物理环境中的至少一个不连续性；以及基于所接收到的用户输入数据和至少一个不连续性产生对应于物理环境中的表面的数字表面。在非暂时性计算本文档来自技高网...

【技术保护点】
一种用于构建物理环境的数字表示的方法，所述方法包括：获得指示所述物理环境的图像数据；基于所获得的所述图像数据接收对应于所述物理环境中的至少一个位置的用户输入数据；检测所述物理环境中靠近对应于所接收到的所述用户输入数据的所述至少一个位置的至少一个不连续性；以及基于所接收到的所述用户输入数据和所述至少一个不连续性产生对应于所述物理环境中的表面的数字表面。

【技术特征摘要】
【国外来华专利技术】2013.09.11 US 61/876,421;2014.04.11 US 14/250,5441.一种用于构建物理环境的数字表示的方法，所述方法包括：
获得指示所述物理环境的图像数据；
基于所获得的所述图像数据接收对应于所述物理环境中的至少一个位置的用户输入
数据；
检测所述物理环境中靠近对应于所接收到的所述用户输入数据的所述至少一个位置
的至少一个不连续性；以及
基于所接收到的所述用户输入数据和所述至少一个不连续性产生对应于所述物理环
境中的表面的数字表面。
2.根据权利要求1所述的方法，其中所接收到的所述用户输入数据指定所述数字表面
的至少一个边。
3.根据权利要求1所述的方法，其中所接收到的所述用户输入数据指定所述数字表面
的至少一个平面。
4.根据权利要求1所述的方法，其中所接收到的所述用户输入数据包括所述物理环境
内的多个点，基于所获得的所述图像数据，所述多个点被包含为所述数字表面的部分。
5.根据权利要求1所述的方法，其中检测所述至少一个不连续性包括在所述物理环境
中检测至少两个平面表面相交之处。
6.根据权利要求1所述的方法，进一步包括接收定义与所述数字表面相关联的至少一
个函数的语义输入。
7.根据权利要求1所述的方法，其中所述图像数据包括关于所述物理环境的几何深度
信息。
8.根据权利要求1所述的方法，其中所接收到的所述用户输入数据包括2维坐标形式的
输入数据，且所产生的所述数字表面包括3维坐标形式的输出数据。
9.一种用于构建物理环境的数字表示的移动装置，其包括：
摄像机，其经配置以获得指示所述物理环境的图像数据；
处理器，其耦合到存储器且经配置以：
基于所获得的所述图像数据接收对应于所述物理环境中的至少一个位置的用户输入
数据；
检测所述物理环境中靠近对应于所接收到的所述用户输入数据的所述至少一个位置
的至少一个不连续性；以及
基于所接收到的所述用户输入数据和所述至少一个不连续性产生对应于所述物理环
境中的表面的数字表面。
10.根据权利要求9所述的移动装置，其中所接收到的所述用户输入数据指定所述数字
表面的至少一个边。
11.根据权利要求9所述的移动装置，其中所接收到的所述用户输入数据指定所述数字
表面的至少一个平面。
12.根据权利要求9所述的移动装置，其中所接收到的所述用户输入数据包括所述物理
环境内的多个点，基于所获得的所述图像数据，所述多个点被包含为所述数字表面的部分。
13.根据权利要求9所述的移动装置，其中通过所述处理器检测所述至少一个不连续性
包括通过所述处理器在所述物理环境中检测至少两个平面表面相交之处。
14.根据权利要求9所述的移动装置，其中所述处理器进一步经配置以接收定义与所述
数字表面相关联的至少一个函数的语义输入。
15.根据权利要求9所述的移动装置，其中所述图像数据包括使用耦合到所述移动装置
的深度传感器的关于所述物理环境的几何深...

【专利技术属性】
技术研发人员：迪特尔·施马尔施蒂格，格哈德·赖特迈尔，青·国·阮，拉斐尔·大卫·安德烈·格拉赛特，托比思·马丁·朗洛茨，哈特穆特·赛西特，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国;US