一个或多个卫星设备的主动立体显像制造技术

本公开涉及在基站和/或一个或多个卫星计算设备(例如，平板计算机和/或智能电话)之间传递图像相关数据。卫星设备捕捉图像数据并向诸如基站等另一设备传递图像相关数据(诸如图像或从图像中处理的深度数据)。基于从可能在物理上比例如基站更靠近场景中的某物的卫星设备捕捉到的图像数据，接收设备使用图像相关数据来增强深度数据(例如，深度图)。为了在各种条件下更准确地捕捉深度数据，可以从基站或另一外部投影仪投影主动照明图案，藉此卫星单元可使用另一源的主动照明并由此无需消耗内部功率来受益于主动照明。

【技术实现步骤摘要】
【国外来华专利技术】一个或多个卫星设备的主动立体显像背景在主动深度感测中，如主动立体显像系统所使用的，投影仪投影诸如红外(IR)点或线等光图案以照亮被感测的场景。注意，投影仪可使用消耗1W数量级的功率的激光器，这意味着投影仪消耗太多的功率以至于实际上无法被构建到诸如智能电话或平板等小型卫星设备中，而是改为通常作为插入墙壁插座的设备的一部分。所投影的图案随后被(立体显像系统中的两个或更多个)相机/传感器捕捉，其中一个(或多个)图像被处理以计算深度图等。例如，在立体显像系统中，立体相机捕捉来自不同视点的两个图像。随后，例如，对立体图像对执行深度估计的一种方式是找出图像之间的的对应关系，例如以将左图像中的所投影的和感测到的点与右图像中的对应点进行相关。一旦匹配，图像内的投影图案可以彼此相关，并且三角测量可能连同相关点的一个或多个特征(例如，包括其强度)之间的差异一起可被用来估计距该特定投影点所击中的物体的深度。在大多数场景中，捕捉立体图像的相机被安排为感测诸如可能相对较大的房间之类的相对较大空间。结果，诸如脸部等距离内的物体只出现在相对较小数量的相机像素中。足够的细节和/或准确的深度估计由此在诸如脸部识别等许多应用需要时不可用。概述提供本概述以便以简化形式介绍将在以下的详细描述中进一步描述的一些代表性概念的选集。本概述不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在以限制所要求保护的主题的范围的任何方式来使用。简而言之，本文描述的主题的各方面中的一个或多个涉及使用来自卫星(例如，移动)设备的信息来增强由诸如基站等另一设备计算的深度数据。一个或多个方面涉及在另一设备处从卫星设备接收图像相关数据，以及至少部分地基于卫星设备的图像相关数据和姿态信息来增强第一组深度数据。在一个或多个方面中，基站被配置成确定卫星设备的姿态信息并捕捉一个或多个图像。基站从卫星设备接收图像相关数据，并且至少部分地基于姿态信息和图像相关数据来计算深度图。一个或多个方面涉及在基站处从卫星设备接收图像相关数据，以及在基站处捕捉主动照明立体图像。确定对应于卫星设备的姿态信息。处理主动照明立体图像以便从基站的视角确定由对应于图像相关数据的深度信息来增强的深度图。结合附图阅读以下详细描述，本专利技术的其他优点会变得显而易见。附图简述作为示例而非限制，在附图中示出了本专利技术，附图中相同的附图标记指示相同或相似的元素，附图中：图1是根据一个或多个示例实现的将光图案投影到其中卫星设备捕捉场景的至少一部分的场景中的基站的表示。图2是根据一个或多个示例实现的表示可用于投影和捕捉供处理成深度数据的图像的示例组件的框图。图3是根据一个或多个示例实现的表示基站数据和卫星数据到深度数据的示例处理的框图。图4是根据一个或多个示例实现的表示一个卫星设备的数据和另一个卫星设备的数据到深度数据的示例处理的框图。图5是根据一个或多个示例实现的被配置成信令通知基站的卫星设备的表示。图6A和6B是根据一个或多个示例实现的可以从单个卫星设备相机确定深度数据的方式的表示。图7是根据一个或多个示例实现的表示从卫星设备获取图像相关数据以用于确定深度图的示例步骤的流程图。图8是表示其中可实现在本文中所描述的各实施例的一个或多个方面的移动设备形式的示例性、非限制性计算系统或操作环境的框图。详细描述本文描述的技术的各方面一般涉及使用诸如智能电话和平板计算机等卫星(例如，移动)设备来传递去往和来自主动照明基站的信息，诸如以改进深度感测，提供更多图像细节和/或估计姿态。同时，卫星设备利用基站的主动照明来用于其自己的主动感测，藉此卫星设备无需消耗电池功率来投影光图案。在一个或多个替代实施例中，多个卫星设备可使用从外部源投影的光来在彼此间传递从中计算出的图像/深度/位置数据。关于场景的深度和其他有用数据由此可以对这些设备可用，而无需固定基站。应当理解，本文中的任何示例均是非限制的。例如，虽然卫星设备一般在此被例示为是移动的，但辅助设备(或不止一个)可被定位为在需要时可以与基站校准的“固定卫星”。这可用于提供更靠近例如场景的某一显著部分的相机。由此，如此处所使用的，术语“卫星”不一定是移动的，并且可包括任何辅助设备。作为另一示例，飞行时间相机可用于确定至少某些数据。因此，本专利技术不限制于在此描述的任何具体的实施例、方面、概念、结构、功能或示例。相反，此处所描述的实施例、方面、概念、结构、功能或示例中的任一个都是非限制性的，并且本专利技术一般能够以在主动深度感测以及图像捕捉和处理中提供益处和优点的各种方式来使用。图1例示了一个实现，其中基站100包括从不同视角捕捉场景104的图像的立体(例如，红外)相机102和103。投影仪106用光图案(例如，100000个点的数量级)照亮场景104。光图案可以是伪随机的，并且可通过经由衍射光学元件发出激光来生成。出于简明目的，所发出的图案的点/分量在此一般被称为点，但可改为生成和感测线图案、其他形状的斑点等。相机102和103在点从场景104以及(可能的)背景中的物体表面反射时捕捉这些点。一般而言，一个相机(例如，102)感测到的点可以经由图像处理108(例如，系统或子系统)与另一相机(例如，103)感测到的点相关，由此提供(例如，经由三角测量)距每一点入射在其上的反射表面的距离。注意，图1不旨在按比例绘制，也不传达任何大小、距离、点分布图案、点密度等。基站100还可包括净IR相机，例如具有阻挡主动照明图案的滤光器的相机和/或捕捉可见光的RGB相机；如果这两者都存在，则它们可被组合到单个相机中。图1中的相机112表示这些替代实施例中的任一个。如图1所示，场景104中的感测到的一个物体可以是卫星设备110，诸如移动智能电话或平板计算设备。同时，卫星设备110可以诸如经由感测光照图案以及其可能的净IR和/或RGB图像的立体IR相机来感测场景中的其他物体，例如包括距物体的深度。图2示出其中图像捕捉系统或子系统224的立体相机102和103捕捉时间上同步的图像(例如，相机被“同步锁相”)的示例基站100。在一个实现中，相机捕捉红外(IR)图像，因为IR不反映场景的可见外观(这是高度有利的，如在视频会议和对象建模应用中)。如可容易地理解的，在一些诸如工作室环境等场景中，可存在两个以上IR深度感测相机。此外，一个或多个其他相机可存在于给定系统中，如RGB相机，且这样的其他相机可被用来帮助例如对齐图像、将不同立体图像中的点对进行相关，等等。在图2中，投影仪106将IR图案投影到场景上。通过用相对大量的分布式红外点照亮场景，相机102和103捕捉更多纹理数据作为红外图像数据的一部分。注意，投影仪106的放置可在相机的外部(例如，图1)或相机中间(图2)，或在另一位置，如在相机之一或两者的上方或下方。本文的示例不以任何方式限制相机102、103和/或投影仪106相对于彼此的位置，且类似地，相机可位于相对于彼此的不同位置。在一个实现中，示例图像捕捉系本文档来自技高网...

【技术保护点】
一种方法，包括在另一设备处从一个设备接收图像相关数据，以及至少部分地基于所述一个设备的图像相关数据和姿态信息来增强第一组深度数据或色彩数据或这两者。

【技术特征摘要】
【国外来华专利技术】2013.04.15 US 61/812,232;2013.06.21 US 13/924,4751.一种用于主动立体显像的方法，包括：
在基站处捕捉至少一个图像并且使用所述至少一个图像来确定卫星设备的姿态信息，
在所述基站处从所述卫星设备接收图像相关数据，以及
至少部分地基于所述卫星设备的所述图像相关数据和所述姿态信息来增强所述至少一个图像以输出第一组深度数据或色彩数据或这两者。


2.如权利要求1所述的方法，其特征在于，增强所述至少一个图像包括用对应于所述图像相关数据的至少一部分的其他深度数据来替换所述第一组深度数据或色彩数据或这两者中的至少一些数据。


3.如权利要求1所述的方法，其特征在于，增强所述至少一个图像包括与对应于所述图像相关数据的第二深度图相关联地维护对应于所述第一组深度数据的第一深度图。


4.如权利要求1所述的方法，其特征在于，还包括计算至少一些深度数据，所述计算包括处理由所述卫星设备捕捉到的一个或多个主动照明图像，或者处理由所述卫星设备捕捉到的一个或多个主动照明立体图像，或者处理由所述卫星设备捕捉到的一个或多个主动照明图像以及处理由所述卫星设备捕捉到的一个或多个主动照明立体图像两者，所述处理基于从所述卫星设备发出的至少一些主动照明。


5.一种用于主动立体显像的系统，包括基站，所述基站被配置成确定卫星设备的姿态信息，捕捉一个或多个图像，从所述卫星设备接收图像相关数据，以及至少部分地基于所述姿态信息和所述图像相关数据来增强所述一个或多个图像以计算深度...

【专利技术属性】
技术研发人员：A·G·柯克，O·A·怀特，C·雷曼，S·伊扎迪，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US