深度图置信过滤制造技术

本发明专利技术描述了深度图置信过滤。用于过滤从捕捉设备接收的深度信息的装置和方法。通过使用与深度信息一起提供的、基于每像素基础上的自适应创建的最优空间滤波器的置信信息来过滤深度信息。接收场景上包括深度信息的输入数据。深度信息包括多个像素，每一像素包括深度值和置信值。为深度信息中的每一像素生成置信权重归一化滤波器。将权重归一化滤波器与输入数据进行组合来向应用程序提供经过滤的数据。

【技术实现步骤摘要】

本专利技术涉及图像处理技术，尤其涉及深度图的处理技术。
技术介绍
各种类型的基于图像的数据获取设备将深度信息用于不同的应用。带有无线电频率调制的信号的片上连续波相关性的飞行时间范围传感器正日益流行。它们同时传送深度图以及带有对于该特定种类的数据是唯一的噪声和系统差错的强度图像。捕捉设备提供场景的深度信息以及量化深度信息的准确性的可靠性的置信指示。使用各种类型的图像处理技术来将噪声从二维图像中移除。噪声可以从获取时的任意数量的差错中生成并且可以影响置信信息。
技术实现思路
公开了用于过滤从捕捉设备接收的深度信息的技术。通过使用与深度信息一起提供的、基于每像素基础上的自适应创建的最优空间滤波器的置信信息来过滤深度信息。在一个实施例中，提供了用于过滤包括置信度量的深度信息的方法。接收场景上包括深度信息的输入数据。深度信息包括多个像素，每一像素包括深度值和置信值。为深度信息中的每一像素生成置信权重归一化滤波器。将权重归一化滤波器与输入数据进行组合来向应用程序提供经过滤的数据。提供本
技术实现思路
以便以简化形式介绍将在以下的具体实施方式中进一步描述的一些概念。本
技术实现思路
并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。附图说明 图1描绘了适于实现本专利技术的技术的捕捉设备和处理设备。图2描绘了示例性多媒体控制台处理设备。图3描绘了处理设备的第二实施例。图4是捕捉设备所捕捉的示例性深度图像。图5示出正被采样的深度图像的一部分的示例实施例。图6和7示出典型的场景的深度噪声对不确定性的散点图表。图8示出根据本专利技术的技术的用于动态地过滤深度图像的方法。图9示出用于为930处的图像中的每一像素计算置信权重归一化滤波器的方法。图10示出用于配置滤波器的方法。图11示出说明了离输入像素的距离值的数据存储。图12A到12D示出使用输入像素置信值以及到内核像素的距离的空间加权矩阵的创建。图13A示出根据上述步骤1040的用于基于各个内核置信来生成置信加权矩阵的方法。 图13B示出输入像素的给定集合的置信矩阵。图14示出经组合的矩阵。图15示出用于归一化经组合的加权矩阵的过程。图16示出用于准备对象相关性矩阵的过程。具体实施例方式公开了用于过滤从捕捉设备接收的深度信息的技术。通过使用与深度信息一起提供的、基于每像素基础上的自适应创建的最优空间滤波器的置信信息来过滤深度信息。将滤波器系数的较大加权用于与输出的空间位置较接近的输入样本。将较大加权应用于具有较高置信的输入深度样本，该输入深度样本的置信高于带有较低置信的输入深度样本。系数的缩放确保保留了总体增益和局部增益。该技术在诸如美国专利申请中公开的目标识别、分析和跟踪系统中被有利地利用，这些美国专利申请例如2009年5月29日提交的题为“EnvironmentAnd/Or Target Segmentation (环境和/或目标分段)，，的序列号为12/475094的美国专利申请，该申请通过引用完整地结合于此；在2009年10月21日提交的“Pose Tracking Pipeline (姿势跟踪流水线)”的第12/603，437号美国专利申请(在下文中也被称为‘437申请)，并且该申请通过引用完整地结合于此；在2009年5月29日提交的“Device for Identifying and Tracking Multiple HumansOver Time (用于标识和跟踪随时间的多个人的设备)”第 12/475，308号美国专利申请，该申请通过引用完整地结合于此；在2009年12月18日提交的“ Motion Detection Using Depth Images (使用深度图像的动作检测)”，该申请通过引用完整地结合于此；在2009年10月7日提交的“Human TrackingSystenK人类跟踪系统)” 的第12/575，388号美国专利申请，并且该申请通过引用完整地结合于此。捕捉设备可以耦合到诸如图1-4所示的计算环境。计算环境12可以是计算机、游戏系统或控制台等等。根据一示例实施例，计算环境12可包括硬件组件和/或软件组件， 从而使得计算环境12可用于执行诸如游戏应用程序、非游戏应用程序等的应用程序。在一个实施例中，计算系统12可包括可执行包括例如用于接收深度图像的指令的处理器，如标准化处理器、专用处理器、微处理器等。根据一实施例，目标识别、分析和跟踪系统10可连接到可向用户提供游戏或应用程序视觉形象和/或音频的视听设备(未示出)，如电视机、监视器、高清电视机(HDTV)等。 例如，计算环境12可包括诸如图形卡等视频适配器和/或诸如声卡等音频适配器，这些适配器可提供与游戏应用程序、非游戏应用程序等相关联的视听信号。在目标识别、分析和跟踪系统中存在和使用的即时技术的其他应用仅仅是一种示例性的使用。图1示出可结合计算环境12来使用的捕捉设备20的示例实施例。根据一示例实施例，捕捉设备20可被配置成经由任何合适的技术，包括例如飞行时间、结构化光、立体图像等来捕捉包括深度图像的带有深度信息的视频，该深度图像可包括深度值。根据一实施例，捕捉设备20可将深度信息组织为“Z层”，即可与Z轴正交的从深度相机沿着其视线延伸的层。如图1所示，捕捉设备20可包括图像照像机组件22。根据一个示例实施例，图像照像机组件22可以是可以捕捉一个场景的深度图像的深度照像机。深度图像可包括所捕捉的场景的二维(2-D)像素区域，其中2-D像素区域中的每一像素可表示诸如按照以厘米、 毫米等为单位的所捕捉的场景中的物体离照相机的长度或距离等的深度值。如图1所示，根据一示例实施例，图像相机组件22可包括可用于捕捉场景的深度图像的IR光组件24、三维(3-D)相机26、和RGB相机28。例如，在飞行时间分析中，捕捉设备20的IR光组件24可以将红外光发射到场景上，然后，可以使用传感器(未示出)，用例如3-D照像机26和/或RGB照像机28，来检测从场景中的一个或多个目标和对象的表面反向散射的光。在某些实施例中，可以使用脉冲式红外光从而可以测量出射光脉冲和相应的入射光脉冲之间的时间差并将其用于确定从捕捉设备20到场景中的目标或物体上的特定位置的物理距离。另外，在其他示例实施例中，可将入射光波的相位与出射光波的相位进行比较来确定相移。然后可以使用相移来确定从捕捉设备到目标或对象上的特定位置的距罔。根据另一示例实施例，可使用飞行时间分析，通过经由包括例如快门式光脉冲成像的各种技术来分析反射光束随时间的强度变化以间接地确定从捕捉设备20到目标或物体上的特定位置的物理距离。 在另一示例实施例中，捕捉设备20可使用结构化光来捕捉深度信息。在该分析中，图案化光(即，被显示为诸如网格图案或条纹图案等已知图案的光)可经由例如IR光组件24被投影到场景上。在撞击到场景中的一个或多个目标或物体的表面时，作为响应， 图案可变形。图案的这种变形可由例如3-D相机26和/或RGB相机28来捕捉，然后可被分析来确定从捕捉设备到目标或对象上的特定位置的物理距离。根据另一实施例，捕捉设备20可包括两个或更多物理上分开的相机，这些相机可从不同角度查看场景来获得可被解析以生成深度信息的视觉本文档来自技高网...

【技术保护点】
１．一种用于过滤深度信息的方法，所述深度信息包括置信度量，所述方法包括：接收（８１０）场景上包括深度信息的输入数据，所述深度信息包括多个像素，每一像素包括深度值和置信值；为所述深度信息中的每一像素生成（８３０）置信权重归一化滤波器，所述置信权重归一化滤波器包括从相对于围绕每一所述像素的像素的距离的置信值中导出的过滤权重；将所述归一化滤波器和所述输入数据进行组合（８４０）；以及将经过滤的数据输出（８５０）给应用程序。

【技术特征摘要】
2010.05.07 US 12/776,0661.一种用于过滤深度信息的方法，所述深度信息包括置信度量，所述方法包括 接收(810)场景上包括深度信息的输入数据，所述深度信息包括多个像素，每一像素包括深度值和置信值；为所述深度信息中的每一像素生成(830)置信权重归一化滤波器，所述置信权重归一化滤波器包括从相对于围绕每一所述像素的像素的距离的置信值中导出的过滤权重； 将所述归一化滤波器和所述输入数据进行组合(840)；以及将经过滤的数据输出(850)给应用程序。2.如权利要求1所述的方法，其特征在于，生成置信权重归一化滤波器包括 在所述深度信息中选择输入像素；生成空间加权矩阵，所述空间加权矩阵基于所述输入像素周围的像素的内核的贡献、 将所述内核像素与所述输入像素的距离考虑在内来分配第一滤波器权重； 基于所述内核中的每一像素的置信值来生成置信加权矩阵； 将所述置信加权矩阵和所述空间加权矩阵相乘来提供经组合的矩阵； 归一化所述经组合的矩阵；以及将所述加权的归一化矩阵与所述输入数据相乘；并且对所述乘积求和来导出最终经过滤的值。3.如权利要求2所述的方法，其特征在于，所述生成空间加权矩阵的步骤包括基于所述输入像素的置信值来生成所述矩阵。4.如权利要求3所述的方法，其特征在于，所述生成空间矩阵的步骤包括计算所述空间矩阵中所述输入像素到每一像素的距离并且将所述距离与所述输入像素的置信值进行组合。5.如权利要求4所述的...

【专利技术属性】
技术研发人员：J·塔迪夫，
申请(专利权)人：微软公司，
类型：发明
国别省市：US