3D图像中的运动分析制造技术

本文公开了针对用于分析3D图像中的用户运动的运行时间引擎的系统和方法。运行时间引擎能够依赖于运动是什么而使用不同的技术来分析用户的运动。运行时间引擎可以挑选依赖于骨骼跟踪数据的技术和/或取而代之地使用图像分割数据的技术来确定用户是否正在实施正确的运动。运行时间引擎可以基于正在实施什么运动来确定如何对用户的表现实施位置分析或时间/运动分析。

【技术实现步骤摘要】
【国外来华专利技术】3D图像中的运动分析
本公开的实施例总体涉及计算机处理，并且更具体地，涉及3D图像中的运动分析。
技术介绍
计算机视觉已被使用来针对各种各样的用途而分析来自现实世界的图像。一个示例是针对电子设备提供自然用户界面(“NUI”)。在一种NUI技术中，捕获并分析用户的3D图像以识别某些姿势(pose)或姿态(gesture)。因此，用户可以做出姿态来提供输入，以便控制诸如计算机游戏或多媒体应用这样的应用。在一种技术中，系统将用户建模为具有由“骨头”连接的关节的骨骼(skeleton)，并寻找在关节、骨头位置等之间的某些角度以检测姿态。这样的技术作为NUI运作良好。然而，一些应用要求对用户运动的更精确理解和分析。
技术实现思路
本文公开了针对用于分析3D图像中的用户运动的运行时间引擎(runtimeengine)的系统和方法。运行时间引擎能够依赖于运动是什么来使用不同的技术分析用户的运动。运行时间引擎可以挑选依赖于骨骼跟踪数据的技术和/或取而代之地使用图像分割(imagesegmentation)数据的技术来确定用户是否正在实施正确的运动。运行时间引擎可以基于正在实施什么运动来确定如何对用户的表现(performance)实施位置分析或时间/运动分析。一个实施例包括一种方法，该方法包括以下内容。访问人的图像数据。将图像数据输入到在计算设备上执行的运行时间引擎。运行时间引擎具有用于实现不同技术来分析姿态的代码。确定使用哪些技术来分析具体姿态。执行运行时间引擎中的代码以实现所确定的技术来分析具体姿态。一个实施例包括一种系统，所述系统包括：捕获设备，其捕获跟踪用户的3D图像数据；以及处理器，其与捕获设备通信。处理器被配置成访问人的3D图像数据以及将图像数据输入到运行时间引擎，所述运行时间引擎具有用于使用不同技术来分析姿态的代码。所述处理器确定使用哪些技术来分析具体姿态。所述处理器执行运行时间引擎中的代码以实现所确定的技术来分析具体姿态。一个实施例包括一种计算机可读存储介质，所述计算机可读存储介质包括处理器可读代码，所述处理器可读代码用于将处理器编程为：访问实施运动的人的3D图像数据，从3D图像数据形成骨骼跟踪数据，以及从3D图像数据形成图像分割数据。所述处理器可读代码还用于将处理器编程为：确定是使用骨骼跟踪数据还是图像分割数据来确定人是否正在实施某项具体的体育锻炼。所述处理器可读代码还用于将处理器编程为：基于具体的体育锻炼而确定使用运行时间引擎的哪些技术来分析人的具体体育锻炼的表现。所述处理器可读代码还用于将处理器编程为：提供对人的具体体育锻炼的表现的评价。本概要被提供来以简化的形式介绍概念的选择，这些概念还将在下面的详细说明中进行描述。本概要既不打算标识所要求保护的主题的关键特征或必要特征，也不用于帮助确定所要求保护的主题的范围。此外，所要求保护的主题不限于解决了在本公开内容的任何部分中提到的任何或所有缺点的实现。附图说明图1A和图1B图示了跟踪用户的跟踪系统的示例实施例。图2图示了可以被用作跟踪系统的一部分的捕获设备的示例实施例。图3A是分析用户运动的过程的一个实施例的流程图。图3B是运行时间引擎的一个实施例的图。图3C是基于正在分析什么运动而在运行时间引擎中选择代码的过程的一个实施例的流程图。图3D是示出了运行时间引擎的深度识别器的一个实施例的另外细节的图。图3E是示出了运行时间引擎的移动识别器的一个实施例的另外细节的图。图3F是示出了运行时间引擎的位置分析的一个实施例的另外细节的图。图3G是示出了运行时间引擎的时间/运动分析的一个实施例的另外细节的图。图3H是示出了运行时间引擎的深度分析的一个实施例的另外细节的图。图4A图示了示范性深度图像。图4B描绘了示范性深度图像中的示范性数据。图5A示出了由骨骼识别引擎生成的示例身体模型的非限制性视觉表示。图5B示出了从前面来看的骨骼模型。图5C示出了从斜的视角来看的骨骼模型。图6A是运行时间引擎的一个实施例的图。图6B是基于身体模型确定人的质心的过程的一个实施例的流程图。图7A是基于身体模型确定惯性张量的过程的一个实施例的流程图。图7B是确定身体部分质心状态矢量中的元素的过程的一个实施例的流程图。图7C是确定整个身体部分质心状态矢量中的元素的过程的一个实施例的流程图。图8A是确定会导致质心状态矢量改变所需要的力的一个实施例的流程图。图8B是使用全身基于冲量(impulse-based)的约束求解的肌肉力/转矩计算的一个实施例的流程图。图9A是对正被捕获系统跟踪的用户所实施的重复(repetition)进行分析的过程的一个实施例的流程图。图9B示出了一个示例参数信号的表示。图9C示出了一个示例导数信号。图10A是用曲线拟合已界定(bracket)的重复以确定定时参数的过程的一个实施例的流程图。图10B示出了与范围段(bracket)相对应的参数信号的一部分拟合的示例曲线。图11A是使用信号处理来分析参数信号的过程的一个实施例的流程图。图11B示出了自相关的一个实施例的示例。图12图示了在图2中介绍的运行时间引擎的示例性实施例。图13A和13B图示了用于概述根据特定实施例的方法的高级流程图，所述方法用于确定基于深度的质心位置、基于深度的惯性张量、基于深度的象限质心位置以及基于深度的象限惯性张量。图14A示出了表示(深度图像的)与实施分腿跳的用户相对应的多个像素的轮廓，图14A用于图示示范性的基于深度的质心位置以及示范性的基于深度的象限质心位置。图14B示出了表示(深度图像的)与实施俯卧撑的用户相对应的多个像素的轮廓，图14B用于图示示范性的基于深度的质心位置以及示范性的基于深度的象限质心位置。图15图示了用于概述如何能够基于根据参考图13A-13B描述的实施例而确定的信息来更新应用的高级流程图。图16图示了可以用于跟踪用户行为并基于用户行为来更新应用的计算系统的示例实施例。图17图示了可以用于跟踪用户行为并基于所跟踪的用户行为来更新应用的计算系统的另一示例实施例。图18图示了在图2中介绍的运行时间引擎的示例实施例。图19图示了用于概述方法的高级流程图，所述方法用于基于深度图像来确定指示用户身体的角度和/或曲率的信息。图20A-20C示出了表示(深度图像的)与实施不同瑜伽姿势或锻炼的用户相对应的多个像素的轮廓，图20A-20C用于说明如何能够基于深度图像来确定指示用户身体的角度和/或曲率的信息。图21是根据实施例的用于提供图19中步骤之一的附加细节的高级流程图。图22图示了用于概述如何能够基于根据参考图19-21描述的实施例而确定的信息来更新应用的高级流程图。图23A-23F示出了表示(深度图像的)与实施瑜伽姿势或本文档来自技高网...

【技术保护点】
一种方法，包括：访问人的图像数据；将所述图像数据输入到在计算设备上执行的运行时间引擎，所述运行时间引擎具有用于实现不同技术来分析姿态的代码；确定使用哪些技术来分析具体姿态；以及执行运行时间引擎中的代码以实现所确定的技术来分析该具体姿态。

【技术特征摘要】
【国外来华专利技术】2013.03.14 US 13/8044441.一种运动分析的方法，包括：
由计算系统指示人执行一个或多个物理运动，所述一个或多个物理运动包括第一姿势和第二姿势；
在所述计算系统处访问所述人执行所述一个或多个物理运动的图像数据，其中所述计算系统已经在其上存储用于基于骨骼位置来识别所述第一姿势的第一代码和用于基于所述人的质心的移动来识别所述第二姿势的第二代码；
由所述计算系统访问数据库，所述数据库包括所述一个或多个物理运动中的每个物理运动的描述，其中针对每个描述：
i)当所述描述包括所述第一代码时，所述描述声明使用所述第一代码来识别所述第一姿势，以及
ii)当所述描述包括所述第二代码时，所述描述声明使用所述第二代码来识别所述第二姿势；以及
基于所述一个或多个物理运动中的每个物理运动的所述描述，
响应于所述描述声明要使用所述第一代码，在所述计算系统的处理器上执行所述第一代码以识别所述第一姿势；以及
响应于所述描述声明要使用所述第二代码，在所述计算系统的处理器上执行所述第二代码以识别所述第二姿势。


2.根据权利要求1所述的方法，其中所述一个或多个描述还声明将哪些位置分析计算用于一系列姿势中的各个姿势，并且所述方法还包括：
在所述计算系统的处理器上，根据所述描述、针对所述一个或多个物理运动中的不同姿势实施不同的位置分析计算。


3.根据权利要求1所述的方法，其中所述一个或多个描述还声明将哪些时间/运动计算用于一系列姿势中的各个姿势，并且所述方法还包括：
在所述计算系统的处理器上，根据所述描述、针对所述一个或多个物理运动中的不同姿势实施不同的时间/运动计算。


4.根据权利要求1所述的方法，其中，所述一个或多个物理运动包括体育锻炼，并且所述方法还包括：向所述人提供关于所述体育锻炼的表现的反馈。


5.根据权利要求1所述的方法，还包括：
由所述计算系统基于所述人是否执行一系列姿势来确定所述人是否执行所述一个或多个物理运动。


6.一种用于运动分析的系统，包括：
图像传感器，其被配置为捕获3D图像数据；
处理器，其与所述图像传感器通信，其中所述处理器被配置成：
指示人执行一个或多个物理运动，所述一个或多个物理运动包括第一姿势和第二姿势；
从所述图像传感器访问所述人执行所述一个或多个物理运动的3D图像数据；
从数据库访问所述一个或多个物理运动中的每个物理运动的描述，其中针对每个描述，当所述描述包括所述第一姿势时，所述描述声明使用骨骼位置来识别所述第一姿势，并且当所述描述包括所述第二姿势时，所述描述声明使用所述人的质心的移动来识别所述第二姿势；以及
基于针对所述一个或多个物理运动中的每个物理运动的所述描述：
i)响应于所述描述声明使用骨骼位置来识别所述第一姿势，执行第一代码，以基于骨骼位置来识别所述第一姿势；以及
ii)响应于所述描述声明使用所述人的质心的移动来识别所述第二姿势，执行第二代码，以基于所述人的质心的运动来识别所述第二姿势。


7.根据权利要求6所述的系统，其中，所述处理器还被配置成：
基于所述一个或多个物理运动中的特定姿势是所述第一姿势还是所述第二姿势，来确定要使用哪些计算来实施所述...

【专利技术属性】
技术研发人员：DG肯尼特，JR胡夫，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US