基于光衰减来生成深度图像制造技术

本文描述了关于基于光衰减原理来计算包括移动对象的场景的深度图像的各技术。捕捉包括移动对象的场景的红外图像，其中该红外图像具有多个像素，这多个像素具有相应的多个强度值。至少部分地基于该红外图像中的相应强度值的平方根来计算该场景的深度图像。

【技术实现步骤摘要】
【国外来华专利技术】【专利摘要】本文描述了关于基于光衰减原理来计算包括移动对象的场景的深度图像的各技术。捕捉包括移动对象的场景的红外图像，其中该红外图像具有多个像素，这多个像素具有相应的多个强度值。至少部分地基于该红外图像中的相应强度值的平方根来计算该场景的深度图像。【专利说明】基于光衰减来生成深度图像背景计算设备的制造者以及在此类计算设备上执行的操作系统的开发者正持续改善其各自的产品，以促进与此类计算设备、操作系统、以及其上执行的应用的直观且方便的用户交互。常规上，已经采用输入设备(诸如键盘和鼠标)接收来自用户的输入，其中该输入被用来执行某一计算操作。因此，如果用户希望计算设备、操作系统、和/或应用执行特定任务，则用户通过一系列鼠标点击、鼠标的移动和/或键击将指令传送至计算设备。近来，在与上述常规用户输入设备相比较时，消费级计算设备已经配备有促进与之更直观且方便的交互的技术。例如，许多移动电话配备有触敏显示屏，使得用户可以通过用一个或多个手指接触显示屏以及相对于图形对象执行姿势来在显示屏上与该图形对象进行交互。然而，可以容易地查明，触敏显示器能识别的姿势在某种程度上可能是有限的，因为常规触敏显示屏不支持手指/手的歧义消除，也不支持深度识别。此外，因为用户必须直接与显示屏进行交互，所以姿势受到显示屏大小的限制。识别用户在三维空间中作出的姿势可以扩展用户可通过此类姿势向计算设备阐明的指令集。用于识别对象(人类的手)相对于参考点或面(计算设备或显示屏上的特定点)的深度的常规技术要么对于大规模生产而言实际部署起来过于昂贵，要么缺少足够的分辨率来支持相对小粒度姿势的识别。例如，当前用来执行三维深度识别的技术类型包括双眼视觉系统、结构化光系统、以及飞行时间系统。双眼视觉系统通过匹配来自立体安排的RGB相机的图像来计算对象上的点的深度。通常与双眼视觉系统相关联的缺点是要求其距参考点的深度期望被查明的对象必需具有特定类型的纹理。此外，所得深度图像的分辨率可能不足以允许足够准确地识别小粒度姿势，诸如手指的微小运动。结构化光系统使用以红外光图案照射场景的红外光源，并且场景中的对象相对于红外光源的深度基于在捕捉到的红外图像中的此类图案中检测到的变形来计算。在生成深度图像时，必须分析捕捉到的红外图像中的众多像素以识别图案——因此，同样，所得深度图像的分辨率可能不足以准确地识别特定姿势。飞行时间系统包括测量红外光从红外发射器被传送时与此类光被检测器接收到时(在从场景中的对象上反射离开之后)之间的时间量的传感器。在消费级设备中要包括此类系统在当前是极其昂贵的；如果采用较便宜的传感器，则所得深度图像又可能缺乏足够的分辨率以允许对小粒度姿势的准确检测。概述以下是在本文详细描述的主题的简要概述。本概述不旨在是关于权利要求的范围的限制。本文描述了关于生成深度图像的各种技术，深度图像指示对象的各部分随时间相对于参考点或面的深度。更具体地，本文描述了基于光衰减原理来生成场景的深度图像的各种技术。在示例性实施例中，人类的手、手臂或人类身体的其他部分作出的姿势可以通过利用深度感测技术来识别，深度感测技术采用光衰减原理来生成表示人类手、手臂或人类身体的其他部分相对于传感器单元的距离的深度图像。此类姿势识别技术可以结合常规台式计算设备、膝上型计算设备、移动电话、平板计算设备等来采用。在一个示例性实施例中，结合生成场景的深度图像来采用的传感器单元包括用红外光照射场景的红外光源。传感器单元进一步包括捕捉场景的红外图像的红外相机，其中场景包括移动对象，诸如一只或多只人类的手。例如，红外相机可以是以每秒30帧或超过每秒30帧的帧速率来捕捉图像的红外摄像机。因此，红外相机可以随时间捕捉场景中的对象的运动。红外相机捕捉到的每一图像包括具有相应多个强度值的多个像素。可以采用每一像素的强度值来计算该像素所表示的场景的该部分的深度值。因此，如果需要，场景的深度图像可以具有与红外相机捕捉到的图像的分辨率相等的分辨率。如上所述，深度图像可以通过采用光衰减原理来计算(其中，红外图像中捕捉到的红外光的强度基于距红外光源的距离的逆平方)。因此，在一个示例性实施例中，与图像中的特定像素对应的深度值可以基于该像素的强度值和一常数来计算，其中该常数基于红外光源发射的红外光的强度、该像素所表示的对象的一部分的反射率、以及该像素所表示的对象的该部分相对于红外光源的定向。在一个示例性实施例中，该常数可以基于红外光源的已知强度、典型人类的手的已知反射率、以及人类的手相对于红外光源的平均定向(潜在地取决于人类的手在捕捉到的红外图像中的位置)来设置。此外，该常数可以通过经验测试来细化。在另一示例性实施例中，可以采用常规深度感测系统以第一分辨率生成场景的第一深度图像。随后，以第二分辨率生成场景的第二深度图像，其中第二分辨率高于第一分辨率。场景的第二深度图像可以基于第一深度图像和光衰减原理来生成。可以重复该过程以随时间生成场景的多个高分辨率深度图像。可以随时间监视高分辨率深度图像，以执行运动捕捉以及相对于显示在计算设备的显示屏上的一个或多个图形对象的姿势识别。人类的手作出的可以基于深度图像序列来识别的示例性姿势包括但不限于:手绕着手腕向上转动(向上挥手)，当伸出手的手指且手的手掌与显示屏表面平行时手绕着手腕向左或向右转动(向左或向右挥手)，伸出食指且食指朝向显示屏上显示的图形对象移动，食指和拇指捏合在一起并且释放这一捏合，当手的手指伸出与显示屏表面正交且手的手掌与显示屏底部平行时手绕着手腕向左或向右转动等其他姿势。在一个示例性实施例中，可识别的手(或其他身体)的姿势可以在离计算设备(或红外相机)的显示屏至少一厘米处以及离计算设备(或红外相机)的显示屏至多20厘米处被执行。在其他实施例中，可以增加红外光源的强度以检测当用户被定位在距传感器单元若干英尺时用户作出的姿势。在阅读并理解了附图和描述后，可以明白其他方面。 【专利附图】【附图说明】 图1是促进生成场景的深度图像的示例性系统的功能框图。 图2和3是促进在三维空间中识别人类的手作出的姿势的示例性系统的功能框图。 图4是示例性传感器单元的功能框图。 图5是示出用于通过利用光衰减原理来生成场景的深度图像的示例性方法的流程图。 图6是示出用于至少部分地基于识别出的姿势来在计算设备的显示屏上渲染图形数据的示例性方法的流程图。 图7示出了相对于计算设备的显示屏上的一个或多个图形对象所采取的示例性姿势。 图8示出了结合图7中所示的示例性姿势向用户呈递的图形用户界面(GUI)序列。 图9示出了相对于计算设备的显示屏上显示的一个或多个图形对象所采取的另一示例性姿势。 图10示出了结合图9中所示的示例性姿势向用户呈递的图形用户界面序列。 图11示出了相对于计算设备的显示屏上显示的一个或多个图形对象所采取的又一个示例性姿势。 图12示出了结合图11中所示的示例性姿势向用户呈递的图形用户界面序列。 图13示出了相对于计算设备的显示屏上显示的一个或多个图形对象所采取的再一个示例性姿势。 图14示出了相对于计算设备的显示屏上显示的一个或多个图形对象所采取的另一示例性姿势。 图15示出了结合图14中所示的示例性姿势向用户呈递的图形用户界面序列。 本文档来自技高网...

【技术保护点】
一种系统，包括：接收器组件(110)，所述接收器组件接收包括移动对象的场景的红外图像序列，所述红外图像序列由红外相机(106)随时间捕捉，所述红外图像序列中的每一红外图像包括具有多个相应强度值的多个像素；深度计算器组件(112)，所述深度计算器组件针对所述图像序列中的每一图像计算相应深度图像，所述深度图像包括多个像素，所述多个像素具有指示所述对象的分别由所述多个像素表示的各点相对于发射红外光以照射所述场景的发射器(104)的深度的相应多个值，所述多个值至少部分地基于所述红外图像中的所述多个像素的相应强度值的平方根来计算；以及渲染器组件(116)，所述渲染器组件至少部分地基于所述深度计算器组件计算出的所述深度图像来在计算设备的显示屏上渲染图形数据。

【技术特征摘要】
【国外来华专利技术】

【专利技术属性】
技术研发人员：C·赵，J·严，J·顾，FH·许，S·宋，M·王，J·李，
申请(专利权)人：微软公司，
类型：发明
国别省市：美国;US