移动增强现实系统技术方案

本发明专利技术的各实施例涉及用来提供用相关的数据增强的图像数据以显示在移动计算设备上的系统、装置和方法。本发明专利技术的各实施例显示用在其它对象中标识对象的信息增强的实况视图。本发明专利技术的各实施例可以利用其它相关的数据，诸如3D点云数据、相关于对象的图像数据和位置数据，来获得实况视图内的对象的具体位置。本发明专利技术的各实施例还可以与移动计算设备的图像传感器的位置和方向三维地一致地显示有增强的数据的实况视图。

【技术实现步骤摘要】
【国外来华专利技术】移动增强现实系统
本专利技术的各实施例一般地涉及移动计算设备，以及更具体地，涉及用相关的内容增强由图像设备捕捉的实况视图。
技术介绍
移动计算设备通常包括相机、位置和方向传感器以及越来越强大的计算资源。移动计算设备也能够建立高带宽的连接以利用云计算基础结构和服务提供商。包括在移动计算设备中的显示器可以用作实况取景器，允许设备用户捕捉实时图像数据(例如图片、视频)；然而，大多数应用程序不能利用移动计算设备可用的计算资源来向用户提供与所显示的实况视图(即取景器)内的主题相关的附加信息。尝试增强实况视图的有限数量的应用被限于显示基本信息诸如用户和一般位置之间的距离，或者相关于用户的位置及相关于实况视图中所捕捉的用户周围的表示不准确的关于用户周围的基本信息(例如实况视图内的商业类型)。例如，如果用户想要标识所捕捉的实况视图内的具体商业位置，但所述商业和几个其它商业一起位于建筑中，则当前的解决方案可以用标识该建筑的数据来增强实况视图，但不能传递关于商业位置的更准确的信息。附图简述以下描述包括对具有作为示例的方式而给出的本专利技术的实施例的实现的图示的图的讨论。附图应被理解为示例的方式，而不是限制的方式。如此处使用的，引用一个或多个“实施例”应被理解为描述包括在本专利技术的至少一个实现中的特定特征、结构或特性。因此，此处出现的诸如“在一个实施例中”或“在替换性实施例中”的短语描述本专利技术的各种实施例和实现，并且不必全都指同一实施例。然而，它们也不必是互斥的。图1是本专利技术的实施例的流程图。图2是根据本专利技术的实施例的用来增强图像数据的3D模型的图。图3是根据本专利技术的实施例的将被增强的实况视图场景。图4是根据本专利技术的实施例的基于3D云数据生成的多个投影掩模的图示。图5是根据本专利技术的实施例的增强的实况视图的图示。图6A和6B示出了根据本专利技术的实施例的多个兴趣点的投影掩模和增强的实况视图。图7是可以利用本专利技术的实施例的系统的框图。随后是某些细节和实现的描述，包括可以描绘下面所描述的实施例的一些或全部的图的描述，以及讨论此处所呈现的专利技术性概念的其它潜在实施例或实现。下面提供了本专利技术的实施例的概述，随后是参考附图的更详细的描述。具体实施方式本专利技术的各实施例涉及用来提供用相关的数据增强的图像数据以显示在移动计算设备上的系统、装置和方法。尽管当前的解决方案处理3D数据以执行有限的实时对象识别，但这样的信息可能不足以将有用的信息传递给用户。例如，如果用户想要标识所捕捉的实况视图内的具体商业位置，但所述商业和几个其它商业一起位于建筑中，则单单处理3D点云数据不会生成足以告诉用户商业位置在何处的信息；换言之，当前的解决方案可以用标识建筑的数据来增强实况视图，但在上述情形中当前的解决方案不能传递关于商业位置的更准确的信息。本专利技术的各实施例通过用在3D点云数据内的其它对象之中标识对象——例如，找到包括在公共建筑外观中的店面(或诸店面)的范围——的信息增强实况视图来解决上述限制。本专利技术的各实施例可以利用其它相关的数据，诸如相关于对象的图像数据和位置数据，来获得实况视图内的对象的具体位置。本专利技术的各实施例还可以利用与移动计算设备的图像传感器的位置和方向三维地一致的增强数据显示实况视图。本专利技术的各实施例可以通过处理实况视图图像数据和预先存在的3D图像数据来确定实况视图的对齐。对图像传感器的位置和方向的确定还可以是基于来自主移动计算设备的其它传感器的传感器数据。下面描述的示例情形专注于包括多个商业或店面的建筑内的兴趣点。应理解，本专利技术的各实施例可以用于包括在对象中但不能单独从3D点云数据区分出来的任何兴趣点，例如，由包括在墙中的一组轮廓、包括在书架中的一部分书、雕塑的特定特征等定义的对象。图1是本专利技术的实施例的流程图。如此处所示的流程图提供了各种处理动作的序列的示例。尽管是以特定序列或次序示出的，但除非另外地指定，否则动作的次序是可以修改的。由此，所示的各实现应被理解为只是示例，并且所示的过程可以用不同的次序执行，并且一些动作可以并行地执行。附加地，在本专利技术的各种实施例中可以省略一个或多个动作；由此，不是所有的动作都在每个实现中被需要。其它的过程流也是可能的。在过程流100中，处理对象的3D云数据的数据库，110。所述数据库可以包括由激光雷达、立体成像、结构光、飞行时间相机或任何其它技术获得的，用作生成对象的3D模型的输入的3D点云数据。应理解，对象的3D模型将包括表示对象的各种轮廓的多个段。例如，具有简单立方形状的对象的3D模型将包括多个2D平面的安排，而具有更复杂的表面变化的对象可以具有2D平面和3D段的安排。由此，处理对象的3D数据可以包括提取对象段(例如2D平面)、将诸点云数据集组合、将点云数据与位置数据相关联(下面将描述)和噪音移除。所述处理3D数据可以经由不同的过程以不同的次序执行。在一些实施例中，处理所述3D数据还可以包括处理来自各种视角的对象或场景的预先存储的多个2D图像以及来自不同的视角和视图位置的相对应的3D点云数据集。这些点云数据集可以重叠。为了标识重叠的区域，可以将点云数据集限制在本地邻居中，并可以合并相关的点云信息。在一个实施例中，3D点云数据集被建模为实际3D点的含噪声的测量(噪声的源可以包括测量点的不确定性、它的方向、传感器噪声等)的集。然后可以获得对重叠区域中的噪声统计和3D点的原始集的估计。可以利用这些噪声统计来获得对所有点云数据集的3D点的更好估计，以便提取将如下所述被利用的投影掩模。应理解，在重叠的区域中的3D点具有最准确的估计，并且由此对这些点在估计它们属于哪个投影掩模时可以给予优先权(例如，加权最小平方可以用于投影掩模参数的估计，其中给这些点分配更多的权重)。在一个实施例中，接收与3D点云数据相关联的置信度/可靠性信息。此附加信息可以与3D点云数据一起利用以推断3D点的测量的可靠性。在一个实施例中，颜色信息可以用来更准确地根据3D点云数据标识对象。例如，在同一平面内、在像素距离上接近、并具有相似的颜色(即，相对应于预先存储的图像中的相同颜色的像素)的3D点将倾向于被分配给同一潜在对象。可以执行由移动计算设备的图像传感器所捕捉的实况视图内的实时对象检测，120。如上所述，从3D点云数据提取的对象段形成预先存储的图像数据的粗略的3D模型。来自3D模型的这些对象段可以用来标识所捕捉的实况视图内的对象。在一个实施例中，相关的数据(诸如标识移动计算设备的位置的数据)也可以用来帮助标识对象。移动计算设备可以利用系统组件和应用(例如，全球定位系统(GPS)传感器、蜂窝或WiFi网络连接、方向传感器)来缩小设备的位置。确定移动计算设备的图像传感器相对于对象的位置和方向，130。所述位置和方向可以基于所捕捉的对象的实况视图而确定——即，通过标识哪些对象段在实况视图中是可见的并将这些对象段匹配到对象的3D模型，可以确定相对于对象，移动计算设备的图像传感器位于何处。返回到查看立方形状的对象的示例，如果只有立方形状的对象的朝北的面在实况视图中可见，则可以确定图像传感器位于立方形状的对象的北面，并且足够接近对象从而只有对象的一个面在实况视图中可见。在一个实施例中，以上所述的相关联的位置数据也用来帮助确定图像传感器的位置和视角。根本文档来自技高网...

【技术保护点】
一种装置，所述装置包括：处理器；存储器；以及增强模块，该增强模块包括在所述存储器中并经由所述处理器执行以接收标识兴趣点（POI）的数据，检测包括在由图像传感器捕捉的实况视图中的结构的表面，所述结构包括所述POI，至少部分地基于检测到的包括在所述实况视图中的所述结构的表面和来自第二传感器的数据，确定所述图像传感器相对于POI的位置和方向，当所述图像传感器捕捉所述实况视图时，跟踪所述图像传感器的所述位置和所述方向，以及生成包括与所述POI相关联的图像数据的显示数据用于增强实况视图，其中所述图像数据在显示在检测到的所述结构的表面上的POI处的实况视图中时是与所述图像传感器的所述位置和所述方向三维地一致的。

【技术特征摘要】
【国外来华专利技术】2011.07.01 US 13/175,6081.一种用于增强实况视图的装置，所述装置包括：处理器；存储器；以及增强模块，该增强模块包括在所述存储器中并经由所述处理器执行以接收标识兴趣点POI的数据，检测包括在由图像传感器捕捉的实况视图中的结构的表面，所述结构包括所述POI，至少部分地基于检测到的包括在所述实况视图中的所述结构的表面和来自第二传感器的数据，确定所述图像传感器相对于POI的位置和方向，当所述图像传感器捕捉所述实况视图时，跟踪所述图像传感器的所述位置和所述方向，以及生成包括与所述POI相关联的图像数据的显示数据用于增强实况视图，其中所述图像数据在显示在检测到的所述结构的表面上的POI处的实况视图中时是与所述图像传感器的所述位置和所述方向三维地一致的；预处理模块：用于生成所述结构的3D模型；以及投影模块，用于生成投影掩模，所述投影掩模包括所述3D模型的多个段的子集或段的部分，其中，所述增强模块用于与所述投影掩模的轮廓以及所述图像传感器相对于所述结构的方向一致地投影所述图像数据。2.如权利要求1所述的装置，其特征在于，所述装置包括操作地耦合到移动计算设备的服务器设备，所述移动计算设备包括所述图像传感器、所述第二传感器以及用于显示包括与所述POI相关联的所述图像数据的增强的实况视图的显示器。3.如权利要求1所述的装置，其特征在于，所述装置包括移动计算设备，所述移动计算设备还包括用于显示包括与所述POI相关联的所述图像数据的增强的实况视图的显示器。4.如权利要求1所述的装置，其特征在于，所述结构包括建筑，且所检测到的所述结构的表面包括所述建筑的外面。5.如权利要求1所述的装置，其特征在于，来自所述第二传感器的所述数据包括以下中的一个或多个：经由加速计捕捉的加速度数据；经由指南针捕捉的磁场数据；经由蜂窝电话塔三角测量捕捉所述装置的地理信息；以及全球定位卫星GPS数据。6.如权利要求1所述的装置，与所述POI相关联的所述图像...

【专利技术属性】
技术研发人员：吴翌，G·塔卡科斯，M·艾尔裘巴斯，I·V·科津特塞夫，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国;US