使用深度图像的活动对象分割制造技术

描述了使用深度图像的活动对象分割。在一示例中，活动对象被从接收自移动深度相机的场景的深度图像的背景中分割出来。检索该场景的先前深度图像，并使用迭代最接近点算法来将其与当前深度图像进行比较。迭代最接近点算法包括确定当前深度图像与先前深度图像之间相对应的一组点。在确定该组点期间，检测在这两个深度图像之间不相对应的一个或多个局外点，并且这些局外点处的图像元素被标记为属于活动对象。在各示例中，迭代最接近点算法是作为用于跟踪移动深度相机的算法的一部分来执行的，并且因此不增加大量附加计算复杂度。

【技术实现步骤摘要】

本专利技术涉及对象分割，尤其涉及使用深度图像的活动对象分割。
技术介绍
真实世界环境的三维计算机模型在各种各样的应用中是有用的。例如，这样的模型可以用在诸如沉浸式游戏、增强现实、建筑/规划、机器人技术、以及工程原型制作等应用中。深度相机(也称为z相机)可以生成真实世界环境的实时深度图。这些深度图中的每一像素与由相机从环境中的3D点捕捉到的离散的距离测量相对应。这意味着这些相机以实时的速率来提供包括未经排序的一组点(称为点云)的深度图。除了创建真实世界环境的深度图表示之外，能够执行对环境中的各单独对象进行区分的分割操作是有用的。例如，置于桌子上的咖啡杯是与独立于该桌子的对象，但深度图不能单独地区分这一点，因为它不能将置于桌子上的对象以及作为该桌子本身的一部分的 某些事物区分开。存在着各种分割算法，如基于机器学习分类器或计算机视觉技术的分割算法。这些算法能够区分图像中的某些对象，并且相应地对相关联的像素进行标记。然而，这些算法在计算上是复杂的并且因此需要大量计算资源来尤其是用于对实时深度图执行分割。以下描述的各实施例不限于解决已知分割技术的缺点中的任一个或全部的实现。
技术实现思路
下面呈现了本专利技术的简要概述，以便向读者提供基本理解。本
技术实现思路
不是本专利技术的详尽概述，并且不标识本专利技术的关键/重要元素，也不描述本专利技术的范围。其唯一的目的是以简化形式呈现此处所公开的一些概念，作为稍后呈现的更详细的描述的序言。描述了使用深度图像的活动对象分割。在一示例中，活动对象被从接收自移动深度相机的场景深度图像的背景中分割出来。检索该场景的先前深度图像，并使用迭代最接近点算法来将其与当前深度图像进行比较。迭代最接近点算法包括确定当前深度图像与先前深度图像之间相对应的一组点。在确定该组点期间，检测在这两个深度图像之间不相对应的一个或多个局外点，并且这些局外点处的图像元素被标记为属于活动对象。在各示例中，迭代最接近点算法是作为用于跟踪移动深度相机的算法的一部分来执行的，因此分割不增加大量附加计算复杂度。通过结合附图参考以下详细描述，可更易于领会并更好地理解许多附带特征。附图说明根据附图阅读以下具体实施方式，将更好地理解本专利技术，在附图中图I示出房间中的持有移动深度相机的人的示意图，该移动深度相机被用于生成该房间的3D模型或图；图2示出由持有移动深度相机的人来探测的建筑物某层的平面视图3示出连接到实时相机跟踪系统、密集3D模型形成系统、以及游戏系统的移动深度相机的示意图；图4示出用于从深度图像中分割出活动对象的过程的流程图；图5示出迭代最接近点算法的对应点的示例确定；图6示出在迭代最接近点算法的执行期间局外点的示例确定；图7示出可在其中实现对象分割技术的各实施例的示例性的基于计算的设备。在各个附图中使用相同的附图标记来指代相同的部件。具体实施例方式下面结合附图提供的具体实施方式旨在作为本专利技术示例的描述，并不旨在表示可以构建或使用本专利技术示例的唯一形式。本描述阐述了本专利技术示例的功能，以及用于构建和操作本专利技术示例的步骤的序列。然而，可以通过不同的示例来实现相同或等效功能和序列。虽然在本文中将本专利技术的示例描述并示出为在计算机游戏系统中实现，但所描述的系统只是作为示例而非限制来提供的。本领域的技术人员将理解，本示例适于在使用3D模型的各种不同类型的计算系统中应用。图I是站在房间中并持有移动深度相机102的人100的示意图。该房间包含各种对象106，如椅子、门、窗、植物、灯、另一个人104、以及一只猫108。对象106中的许多是静态的,但这些对象中的一些可以移动，如人104和猫108。当人在房间中四处移动时，移动深度相机捕捉该房间和各对象的深度图像。实时相机跟踪系统112监视相机在房间中的位置和定向。实时相机跟踪系统112可以与移动深度相机102集成在一起，或可以处于另一位置，只要它能够(直接或间接)接收来自移动深度相机102的通信。例如，实时相机跟踪系统112可以在房间中的个人计算机、专用计算机游戏装置、或其他计算设备处提供，并与移动深度相机102进行无线通信。在其他实施例中，实时相机跟踪系统112可以处于建筑物中的别处或处于使用任何合适类型的通信网络与移动深度相机102进行通信的另一远程位置。活动对象分割系统114接收移动深度相机102捕捉到的深度图像，并执行分割操作来标识深度图像中的活动的或被操纵的并且独立于相对不变的背景的对象。例如，人104或猫108可以移动，并且因此被分割为前景活动对象，并与诸如门和窗等背景对象相区分。另外，可以操纵静态对象。例如，人100可以移动椅子，这触发分割系统检测该移动并将椅子从深度图像中分割出来作为前景对象。这可例如允许对象被分割并包括在游戏系统的游戏中。实时相机跟踪系统112向活动对象分割系统114提供输入。来自实时相机跟踪系统112的输入允许实时地执行对象分割，而不需要过多的计算资源，如在下文更详细地描述的。任选地，移动深度相机102与密集3D环境建模系统110进行通信(在该情况下，环境是该房间)。在该示例中，“密集”指的是模型的高精度和分辨率。例如，当人在房间中四处移动时，移动深度相机102捕捉到的图像被用来形成和构建环境的密集3D模型。实时相机跟踪系统112向密集3D建模系统提供输入，以允许各单独的深度图像被 构建到总体3D模型中。活动对象分割系统114也可向密集3D模型提供输入，使得3D模型中的对象被分割并被加标记。实时相机跟踪系统112还可跟踪相机相对于环境的3D模型的位置。相机跟踪和3D建模的组合被称为同时定位和绘图(SLAM)。实时相机跟踪系统112、活动对象分割系统114、以及密集3D建模系统110的输出可由游戏系统或其他应用来使用，但这不是必须的。例如，如上所述，经建模和分割的真实世界对象可被包括在游戏环境中。作为另一示例，图2示出建筑物某层200的平面视图。持有移动深度相机204的人202正如虚线箭头208所示在该层四处移动。该人沿走廊206走过各个房间和家具210。实时相机跟踪系统112能够在移动深度相机204移动时跟踪它的位置，并且3D建模系统生成该层的3D模型或图。活动对象分割系统114检测前景对象并将在深度图中对它们进行标记，从而使得这些对象可按需来分开处理。人202不必须携带移动深度相机204。在其他示例中，移动深度相机204被安装在机器人或运载工具上。这也适用于图I的示例。图3是移动环境捕捉设备300的示意图，该设备300与实时跟踪器316、深度图像分割系统334 —起使用以及可任选地与密集模型生成系统324和游戏系统332 —起使用。 移动环境捕捉设备300包括被安排成捕捉场景的深度图像序列的深度相机302。每一深度图像314(8卩，深度图帧)包括二维图像，该二维图像中的每一图像元素(即，像素)包括诸如从相机到所捕捉的场景中的造成了该图像元素的对象的长度或距离等深度值。这一深度值可以是以指定测量单位(如米或厘米)来提供的绝对值，或可以是相对深度值。在每一捕捉到的深度图像314中，存在大约300000个或更多个图像元素，每一图像元素具有深度值。深度相机302的帧速率足够高，使得深度图像能够被用于机器人技术、计算机游戏、或其他应用。例如，帧速率范围可以是每秒20或更多本文档来自技高网...

【技术保护点】

【技术特征摘要】
...

【专利技术属性】
技术研发人员：R·纽科姆，S·伊扎迪，O·希利格斯，D·金，D·莫利尼奥克斯，J·D·J·肖顿，P·科利，A·费茨吉本，S·E·豪杰斯，D·A·巴特勒，
申请(专利权)人：微软公司，
类型：发明
国别省市：