飞行时间成像中的快速通用多径校正制造技术

描述了在飞行时间成像中的通用多径校正，例如用以从飞行时间相机中获得在帧速率处的精确深度图。在各种实施例中，通过查找存储在查找表中的校正的深度值来计算精确深度图。在各种实施例中，因为校正的深度值考虑了相机和被成像的场景中的表面之间的三个或更多可能的光线路径，所以校正的深度值是高度精确的。在一个示例中，精确深度图以飞行时间相机的帧速率被计算。在一个示例中，使用标准的CPU，对于具有超过20万像素的图像在少于30毫秒的时间内计算出精确深度图。

【技术实现步骤摘要】
【国外来华专利技术】
技术介绍
飞行时间(time of flight)成像是在许多计算机视觉应用中使用的一种类型的深度感测技术，该计算机视觉应用例如目标跟踪和识别、人类活动分析、手势分析和室内3D测图等等。飞行时间系统包括将光线发射到场景中的一个或多个光源，以及诸如相机之类的光传感器。飞行时间系统通过计算作为相移而被测量的、所发射出的光线从表面反射并返回到系统处的相机所花费的时间来工作。这给出了表面距离相机的深度的测量。飞行时间系统一般能够实现适当的精确度，并且其中，它们使用红外光谱中的光，以便在低照明设置中进行操作。然而，飞行时间系统面临多径干扰(以下简称为“多径”)。其中，发射出的光线针对每个像素而被发送出去，并且因为光能够以各种方式反射离开表面，所以一个特定像素也可能会接收到原来针对其他像素而发送出的光子。这导致损坏的传感器测量。这些损坏并不像普通的噪声，并且会相当大，造成极不精确的深度估计。例如，在光泽的或镜面般的地板的场景中存在显著的多径。移除多径的影响因此是实现精确的飞行时间系统的一个重要组成部分。移除多径的影响的尝试涉及到了使用附加传感器。其他方法已经使用辐射模型；或者辐射和光度模型。对于通过提高多径移除来提高飞行时间系统的精确度存在持续的需要。然而，对于诸如目标跟踪、手势识别等等之类的许多实际应用来说，飞行时间系统需要既精确又快速，从而使得精确的深度测量被实时地(例如，以捕获场景的图像流的相机的帧速率)被输出。下面描述的实施例不限于解决已知的飞行时间深度测量校正系统的任何缺点或所有缺点的实现。
技术实现思路
下面呈现了本公开内容的简要概述，以便向读者提供基本的理解。本概述不是本公开内容的穷尽概览，并且它没有标识关键/重要元素或描述本说明书的范围。其唯一的目的是以简化的形式呈现本文所公开的概念的作为，作为稍后呈现的更详细的描述的序言。描述了在飞行时间成像中的通用多径校正，例如以便从飞行时间相机中获得以帧速率的精确深度图。在各种实施例中，通过查找存储在查找表中的校正的深度值来计算精确深度图。在各种实施例中，因为校正的深度值考虑了相机和被成像的场景中的表面之间的三个或更多可能的光线路径，所以校正的深度值是高度精确的。在一个示例中，精确深度图以飞行时间相机的帧速率被计算。在一个示例中，使用标准的CPU对于具有超过20万像素的图像在少于30毫秒的时间内计算出精确深度图。通过参照结合附图而考虑的下面的具体实施例，许多附带特征将更容易被领会以及变得较好理解。附图说明参见附图来阅读以下的详细描述，可以更好地理解本说明书：图1是使用相位调制飞行时间深度相机来生成室内场景的精确深度图的示意图；图2是通过具有和不具有多径反射的飞行时间系统所发射和接收的光线的示意图；图3是从飞行时间相机的幅度和相位测量中生成精确深度值的示意图；图4是使用通用多径计算来填充用于在诸如图3的处理之类的处理中所使用的查找表的值的流程图；图5是用于在诸如图4的方法之类的方法中所使用的通用多径计算组件的示意图；图6是后向散射的、以及从后向散射中计算深度值的处理的示意
图；图7是示例相位调制飞行时间深度相机的示意图；图8示出了示例性的基于计算的设备，在其中考虑了每个像素三个或更多飞行时间相机射线路径的精确深度计算的实施例被实施。在附图中，使用相同的附图标记来指代相同的部分。具体实施方式下文中结合附图提供的详细描述旨在作为本示例的描述，并不旨在表示可以构造或使用本示例的唯一形式。本描述阐述了示例的功能，以及用于构造和操作示例的步骤的序列。然而，可以通过不同的示例来实现相同或等效功能和序列。本文档中的各种示例描述了在诸如具有光泽、镜面地板的客厅之类的环境中的室内使用的飞行时间系统。然而，这不是必要的。本文中所描述的飞行时间系统可以在包括室外环境的其他环境中使用。相位调制飞行时间深度相机可以近似实时地生成深度图，并且因此适用于跟踪人类的移动，例如跟踪用于与电子设备(例如游戏机，电视机以及其他电子设备)进行交互的手势。在其它实施例中，相位调制飞行时间深度相机可以被用于范围测量、汽车应用例如泊车传感器和防撞系统、以及测量到对象的精确距离的其他应用。术语“相机”和“深度相机”与“相位调制飞行时间相机”在这里可以互换地使用。深度图是这样的图像，其中每个像素包括指示从相机到该图像中描绘的场景中的表面的距离的深度值。如在
技术介绍
部分中所提到的，多径干扰在来自飞行时间系统中的深度图中导致显著的误差。在此认识到以前的多径校正方法全都假设多径干扰是由正好两个路径所造成。本文描述的示例校正由三个或更多路径所造成的多径干扰，这意味着本文描述的示例实现了比以前可能的深度值输出的更高精确度。此外，描述了其中以相机帧速率实现了考虑三个或更多路径的多径校正的各种示例。图1是使用相位调制飞行时间深度相机生成室内场景的精确深度
图的示意图。飞行时间系统106包括一个或多个光源和被安装在具有光泽地板110的客厅108的墙壁上的相机。由飞行时间传感器发射出的光可以沿光线112行进并沿光线114反射离开地板进入相机。在这种情况下，没有多径干扰发生。但是沿射线116发送出的光可以反射离开墙壁，并沿着射线115继续；这个光然后反射离开光泽地板110并继续沿射线114回到传感器。这是多径干扰的示例，因为在相机处的信号包括来自直接路径(光线112和114)的数据并混合有来自辅助路径(光线116，115和114)的数据。来自直接路径(112，114)的数据给出了从相机到地板的深度的精确测量。然而，由于辅助路径(116，115和114)的光线行进的距离不是相机和地面之间的距离的指示，所以来自辅助路径(116，115和114)的数据未给出如上的精确测量。更多可能光线路径会在相机处产生信号的分量。这在下面参考图2更详细地描述。在这个示例中，飞行时间系统106包括深度图组件100，或者与深度图组件100通信。深度图组件100是使用软件和/或硬件而用计算机实现的。它可以与飞行时间系统106集成在一起。在其它示例中，深度图组件100在与飞行时间系统106通信(通过任何适当的通信网络)的实体处被实现。例如，游戏系统128，自然用户接口124装置，手势识别130装置或者采用深度图作为输入的其他装置。深度图组件100在一些示例中可以被实现于云中的计算设备处。在这种情况下，飞行时间系统106可以通过通信网络(比如因特网或任何其它有线和/或无线通信网络)发送测量数据到飞行时间系统。在图1的示例中，因为飞行时间传感器被固定到客厅的墙壁，所以飞行时间传感器是静态的。但是，飞行时间传感器还可以被安装在移动物体上，比如人，车辆，机械手或其它运动实体。深度图组件100包括多径校正查找表102，其被存储在深度图组件100处的存储器中。查找表包括多个索引，每一个索引具有相关联的(校正的)深度值，并且可选地还包括相应的置信度值。索引可以是数值，比如整数。深度值可以是以距离为单位比如厘米或其他距离
单位的标量值。在不能由飞行时间系统测量可靠的深度值的一些表条目中，可以用错误码来代替深度值。查找表可以被存储为列表，阵列或者使用任何适当的格式。在查找表中的深度值是被预先计算出的校正的深度值。校正的深度值是通过考虑本文档来自技高网...

【技术保护点】
一种计算机实现的方法，包括：在处理器处接收描绘场景中的表面的飞行时间深度相机的幅度和相位测量；根据所述测量计算查找表的索引；使用所述索引来从所述查找表中读取校正的深度值，校正值是通过考虑所述相机和所述场景中的表面之间的至少三个可能光线路径而已经被计算的从相机到所述表面的深度。

【技术特征摘要】
【国外来华专利技术】2014.01.06 US 14/148,1841.一种计算机实现的方法，包括：在处理器处接收描绘场景中的表面的飞行时间深度相机的幅度和相位测量；根据所述测量计算查找表的索引；使用所述索引来从所述查找表中读取校正的深度值，校正值是通过考虑所述相机和所述场景中的表面之间的至少三个可能光线路径而已经被计算的从相机到所述表面的深度。2.根据权利要求1所述的方法，包括：针对由所述飞行时间深度相机所捕获的图像的多个像素而重复根据权利要求1所述的过程，以在少于30毫秒的时间中获得多径校正深度图。3.根据权利要求1所述的方法，其中所述查找表维度数目低于接收到的所述飞行时间深度相机的幅度和相位测量的维度数目。4.根据权利要求1所述的方法，包括：至少通过将所述测量分配给多个仓中的一个或多个仓而根据所述测量计算所述索引，其中一个仓是值的一个特定范围。5.根据权利要求1所述的方法，包括：通过将所述测量映射到较低维度的形式而根据所述测量计算所述索引。6.根据权利要求1所述的...

【专利技术属性】
技术研发人员：D·弗里德曼，E·克里普卡，Y·斯莫林，I·雷克特，M·施密特，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US