光图案中的强度变化用于体积中的物体的深度绘制制造技术

为了确定体积内物体的深度，将结构光投影到体积内。该结构光包括图案，光强度在该图案上变化。传感器检测来自体积的光，并使用检测到的光的强度变化将检测到的光与图案相关联。基于该相关联，确定体积内物体的深度。

The depth of an object in a volume with a change of intensity in a light pattern.

In order to determine the depth of the object in the volume, the structured light is projected into the volume. The structure light includes a pattern, and the light intensity is changed on the pattern. The sensor detects the light from the volume, and associates the detected light with the pattern using the intensity change of the detected light. Based on the correlation, the depth of the object in the volume is determined.

【技术实现步骤摘要】
【国外来华专利技术】光图案中的强度变化用于体积中的物体的深度绘制
本公开整体上涉及深度绘制(depthmapping)，并且更具体地说，涉及使用至体积中的光学投影的深度绘制的方法，允许在三维中检测和跟踪物体。
技术介绍
各种方法允许用户远程控制某些装置。例如，用户身体部位(例如，手臂、腿)的预定义手势或姿势可以控制装置。在使用手势或姿势控制装置的方法中，当用户的身体部位与指定位置对准时，识别手势，并且计算机或其他装置执行与所识别的手势相对应的功能或执行与所识别的手势相对应的动作。在一些实施例中，通过经由图像捕获装置捕获用户的图像或视频并分析图像或视频数据中的多个像素来识别用户的手势。传统手势检测方法通过将像素的颜色值与和该像素相邻的其他像素的颜色值进行比较，分析图像中的像素。因此，这些传统方法取决于用户的身体部位和图像背景中的物体之间的颜色值的显著差异。用于手势检测的其他方法形成用户的一个或多个身体部位的骨架模型(例如，用户的手的三维模型)，并且分析骨架模型，以识别用户的手势。用于手势检测的替代方法使用三维深度图，其中，每个像素包括深度相机与对应于像素的物体的一部分之间的距离。可以使用各种方法计算深度图。例如，通过将已知的光图案(即，结构光图案)投影到布景上来进行布景的深度绘制，并且当将已知的光图案投影到布景上时，图像捕获装置捕获布景的图像。由于光图案是预先固定的并且已知的，因此可以识别光图案的子部分或唯一特征。基于由图像捕获装置捕获的图像中的光图案的识别特征的位移，来计算布景的部分和图像捕获装置之间的距离(即，布景的部分的“深度”)。然而，对于投影到布景上的光图案的图像的捕获涉及分析更大量的捕获图像，以识别所捕获的图像中的光图案的、能够与已知光图案的特征相关联的特征。此外，图像捕获装置和投影已知光图案的投影仪之间的相对大的分离是必需的，以通过相对于在布景中的物体的深度位移产生已知光图案的图像的更大位移，来提供更高分辨率的深度检测。然而，这些确定深度图的传统方法在计算上是昂贵的，并且未产生允许精确确定某些物体的结果。例如，传统的深度绘制方法不允许精确检测手指或身体部位以区分紧密相关的手势或姿势。
技术实现思路
将光图案投影到体积中，并提供用于绘制体积中的深度的可识别的强度变化。在一些实施例中，光图案的两个或更多个变化被投影到至少一个维度中。例如，将光图案的两个强度变化投影到垂直轴中。测量对于彼此的不同变化，允许确定在体积的不同位置处的深度信息。另外，使用光图案的不同变化，允许图案的相对和绝对索引。例如，该图案包括光的多个条纹或线，当投影到该体积中时，不同条纹具有唯一的基于强度的特征。从不同的基于强度的特征中，可以唯一地识别图案中的每个条纹，允许通过识别的条纹的位移，对体积中的单独位置进行三角测量。这允许生成区域的深度图，其允许识别手势或姿势。在一些实施例中，通过将结构光图案投影到体积中，三维地绘制体积内的物体。结构光图案是具有多个特征并具有预定义结构的光图案。例如，结构光图案包括在维度中延伸的条纹，每个特征预定义变化。例如，特征是强度等级。在一些实施例中，使用多个衍射元件形成结构光图案。另外，结构光图案可以具有沿着维度的变化和沿着另一维度的额外变化；在一些实施例中，所述额外变化沿该维度变化。例如，所述变化或额外变化是循环强度变化，其可以是以下中的一个或多个：二进制变化、三级变化、四级变化、五级变化、六级变化、七级变化、和八级变化。或者，所述额外变化是沿维度变化的均匀峰值强度的分布。在一个实施例中，变化是维度中的强度的循环，其中，结构光图案包括循环中的以相应强度投影的一组条纹。在一些实施例中，可以建立条纹相对于循环变化的相对指数。额外变化可以包括沿着条纹的强度变化，因此，对于该组中的不同条纹，不同条纹的相应峰值强度的位置是不同的，并且在一些实施例中，可以使用相应峰值强度的位置，以获得体积中的物体的深度信息。在一些实施例中，通过光学元件和额外元件投影光束，以产生结构光图案，其中，光学元件沿着另一维度限定条纹，而额外光学元件指定网格中的具有相对于另一维度的轴偏移的额外变化，在每个条纹上分别提供峰值强度的不同位置。检测由体积中的一个或多个物体反射的光，检测到的光包括一个或多个特征。因此，检测到的光包括结构光图案的一个或多个变化。检测到的光中的结构光图案的变化与结构光图案的预定义结构相关联，并且相关性用于对检测到的光中的结构光图案的变化进行索引，以确定与在检测到的光中的结构光图案的变化相关的物体的深度。例如，将检测到的光中的结构光图案的变化与检测图像中的包括体积中的物体到物体的对应位置进行比较，以获得与结构光图案的变化相关的物体的深度信息，以及与检测到的光中的结构光图案的其他变化相关的物体的深度信息。在一些实施例中，根据结构光图案，正交地索引结构光图案的特征。体积中的物体的深度信息可以用于提供体积中的各种物体的三维深度绘制。在结构光图案具有变化和额外变化的实施例中，通过从来自变化的结构光图案的强度的局部值与额外变化的本地测量的峰值强度的比率，计算体积中的深度，来确定物体的深度信息。如果结构光图案具有沿着维度的变化和沿着另一维度的额外变化，则可以使用所述变化和额外变化来确定关于体积中的一个或多个物体的深度信息。在其他实施例中，具有在一个维度中的变化和在额外维度中的额外变化的光图案被投影到体积中。例如，变化是循环强度变化，额外的变化是沿额外维度随着该维度而变化的均匀峰强度的分布。在一些实施例中，光图案包括在该维度中延伸的条纹。在维度上的变化在具有不同强度的图案中投影不同的条纹，并且对至少另外一组条纹重复不同强度。另外，额外变化可以是在铺设峰值强度的图案中沿条纹的高斯变化。在一些实施例中，物体分割可用于确定条纹相对于循环变化的相对指数。可以通过限定网格的第二变化的光栅元件投影条纹来产生额外变化，该网格具有相对于额外维度偏移的轴线，以提供分别具有峰值强度的不同位置的不同条纹；在一些实施例中，可以通过额外光学元件投影光，来形成光图案中的条纹。发现体积中的反射光图案的至少一个位置，并且在该位置处确定根据变化的强度与根据额外变化的强度之间的比率。根据确定的比率，确定在该位置处的深度。在一些实施例中，通过分割体积中的物体来建立光图案中的条纹相对于循环变化的相对指数。根据相对指数的相应峰的位置可以用于确定以建立识别体积中物体的深度信息的深度图。为了将光图案投影到体积中，光源被配置为产生强度在方向上变化的光束。光束从光源投影到光学元件，该光学元件被配置为在与光束的强度变化的方向正交的额外方向上对光束施加强度特征；因此，从光学元件输出的光具有变化的强度特征。在一些实施例中，额外光学元件被配置为向光束施加额外强度特征，覆盖由所述光学元件施加的强度特征。例如，额外光学元件按照网格布局施加额外强度特征。所述额外光学元件相对于所述方向偏移，因此，所述额外强度特征位于光图案的不同部分的不同位置。在一些实施例中，光图案包括多个条纹，在每个条纹中的不同位置处，具有额外的强度特征。在一些实施例中，投影仪被配置为将光图案投影到体积中。光图案包括沿着一个维度的循环强度变化和沿着额外维度的包括均匀亮度的分布峰值强度的额外变化。准直器被配置为准直该投影的光束。另外，本文档来自技高网...

【技术保护点】
一种方法，包括：将结构光图案投影到体积中，所述结构光图案包括具有多个特征的预定义结构，每个特征包括预定义变化；检测从所述体积中的一个或多个物体反射的光，所检测到的光包括所述结构光图案的预定义结构的一个或多个所述特征；将检测到的光中的一个或多个所述特征与所述预定义结构相关联；并且基于所述相关联，确定与检测到的光中的一个或多个所述特征中的每一者相关的物体的深度信息。

【技术特征摘要】
【国外来华专利技术】2015.02.25 US 62/120,5001.一种方法，包括：将结构光图案投影到体积中，所述结构光图案包括具有多个特征的预定义结构，每个特征包括预定义变化；检测从所述体积中的一个或多个物体反射的光，所检测到的光包括所述结构光图案的预定义结构的一个或多个所述特征；将检测到的光中的一个或多个所述特征与所述预定义结构相关联；并且基于所述相关联，确定与检测到的光中的一个或多个所述特征中的每一者相关的物体的深度信息。2.根据权利要求1所述的方法，其中，基于所述相关联，确定与检测到的光中的一个或多个所述特征中的每一者相关的物体的深度信息包括：将检测到的光中的至少一些所述特征与包括在所述体积中包含的物体的检测图像中的对应位置进行比较，以基于所述相关联，获得与检测到的光中的一个或多个所述特征相关的物体的深度信息。3.根据权利要求1所述的方法，其中，物体的所述深度信息包括所述物体的三维深度信息。4.根据权利要求1所述的方法，其中，正交地索引所述结构光图案的所述预定义结构的一个或多个所述特征。5.根据权利要求1所述的方法，其中，所述结构光图案的所述预定义结构的一个或多个所述特征包括强度等级。6.根据权利要求1所述的方法，其中，所述结构光图案的所述预定变化沿着维度，并且所述结构光图案还包括在额外维度上的额外变化，所述额外变化也沿着所述维度变化。7.根据权利要求6所述的方法，其中，所述变化或第二变化包括循环强度变化。8.根据权利要求7所述的方法，其中，所述循环强度选自由以下各项构成的组：二进制变化、三级变化、四级变化、五级变化、六级变化、七级变化、以及八级变化。9.根据权利要求6所述的方法，其中，所述变化包括沿所述维度变化的均匀峰值强度的分布。10.根据权利要求6所述的方法，其中，基于所述相关联，确定与检测到的光中的一个或多个所述特征中的每一者相关的物体的深度信息包括：基于来自所述预定义特征的特征强度的值与所述特征内的所述额外第二变化的峰值强度之间的比率，计算与检测到的光中的特征相关的物体的深度信息。11.根据权利要求1所述的方法，其中，所述结构光图案的所述预定义结构包括在维度上延伸的条纹。12.根据权利要求11所述的方法，其中，所述变化包括在额外维度中的强度循环，循环中的一组条纹中的每个条纹以相应的强度投影。13.根据权利要求12所述的方法，其中，所述预定义结构还包括沿着每个所述条纹的强度变...

【专利技术属性】
技术研发人员：纳达夫·格罗辛格，尼他耶·罗马诺，
申请(专利权)人：脸谱公司，
类型：发明
国别省市：美国,US