用于确定正面身体朝向的方法和装置制造方法及图纸

本申请公开了用于确定正面身体朝向的方法和装置。实施例总体上涉及用于确定正面身体朝向的方法和装置。用于确定运动员的正面身体的三维(3D)朝向的方法的实施例包括：在由多个相机捕获的多个帧中的每一个帧中检测多个运动员中的每一个运动员；对于多个相机中的每一个相机，在由相机捕获的连续帧之间跟踪多个运动员中的每一个运动员；以及将由多个相机捕获的多个帧相关联以生成多个运动员中的每一个运动员的3D朝向。运动员的3D朝向。运动员的3D朝向。

【技术实现步骤摘要】
用于确定正面身体朝向的方法和装置


[0001]实施例总体上涉及数据处理，并且更具体地涉及确定正面身体朝向。

技术介绍

[0002]当前的并行图形数据处理包括被开发为用于对图形数据执行特定操作的系统和方法，这些特定操作诸如例如，线性插值、曲面细分、栅格化、纹理映射、深度测试等。传统上，图形处理器使用固定功能计算单元来处理图形数据；然而，最近，图形处理器的多个部分已经变得可编程，使得此类处理器能够支持用于处理顶点和片段数据的更广泛种类的操作。
[0003]为了进一步提高性能，图形处理器典型地实现诸如流水线操作之类的处理技术，这些处理技术尝试贯穿图形流水线的不同部分并行地处理尽可能多的图形数据。具有单指令多线程(SIMT)架构的并行图形处理器被设计成使图形流水线中的并行处理的量最大化。在SIMT架构中，成组的并行线程尝试尽可能频繁地一起同步地执行程序指令，以提高处理效率。可以在Shane Cook的CUDA编程(CUDA Programming)第三章，第37-51页(2013年)中找到对SIMT架构的软件和硬件的总体概述。
附图说明
[0004]为了以能够详细理解本实施例的以上记载特征的方式，可通过参考实施例来对以上简要概括的实施例进行更具体的描述，这些实施例中的一些在所附附图中被图示。然而，应当注意，所附附图仅图示出典型实施例，并且因此不应被认为是对其范围的限制。
[0005]图1是图示配置成用于实现本文中所描述的实施例的一个或多个方面的计算机系统的框图；
[0006]图2A-图2D图示根据实施例的并行处理器组件；
[0007]图3A-图3C是根据实施例的图形多处理器和基于多处理的GPU的框图；
[0008]图4A-图4F图示在其中多个GPU通信地耦合至多个多核处理器的示例性架构；
[0009]图5图示根据实施例的图形处理流水线；
[0010]图6图示根据实施例的机器学习软件栈；
[0011]图7图示根据实施例的通用图形处理单元；
[0012]图8图示根据实施例的多GPU计算系统；
[0013]图9A-图9B图示示例性深度神经网络的层；
[0014]图10图示示例性递归神经网络；
[0015]图11图示深度神经网络的训练和部署；
[0016]图12是图示分布式学习的框图；
[0017]图13图示适用于使用经训练的模型执行推断的示例性推断芯片上系统(SOC)；
[0018]图14是根据实施例的处理系统的框图；
[0019]图15A-图15C图示由本文中描述的实施例提供的计算系统和图形处理器；
[0020]图16A-图16C图示由本文中描述的实施例提供的附加的图形处理器和计算加速器架构的框图；
[0021]图17是根据一些实施例的图形处理器的图形处理引擎的框图；
[0022]图18A-图18B图示根据本文中描述的实施例的包括在图形处理器核中采用的处理元件阵列的线程执行逻辑；
[0023]图19图示根据实施例的附加的执行单元；
[0024]图20是图示根据一些实施例的图形处理器指令格式的框图；
[0025]图21是根据另一个实施例的图形处理器的框图；
[0026]图22A-图22B图示根据一些实施例的图形处理器命令格式和命令序列；
[0027]图23图示根据一些实施例的用于数据处理系统的示例性图形软件架构；
[0028]图24A是图示根据实施例的IP核开发系统的框图；
[0029]图24B图示根据本文中描述的一些实施例的集成电路封装组件的横截面侧视图；
[0030]图24C图示封装组件，该封装组件包括连接到衬底的多个单元的硬件逻辑小芯片(例如，基础管芯)；
[0031]图24D图示根据实施例的包括可互换小芯片的封装组件；
[0032]图25是图示根据实施例的示例性芯片上系统集成电路的框图；
[0033]图26A-图26B是图示根据本文中所描述的实施例的用于在SoC内使用的示例性图形处理器的框图；
[0034]图27图示在其中捕获包括对象的场景的示例性环境；
[0035]图28图示由一个相机捕获的图27的场景的帧；
[0036]图29图示运动员的正面身体朝向的示例；
[0037]图30是图示根据实施例的用于确定运动员的正面身体朝向的方法的流程图；
[0038]图31是图示根据实施例的用于检测多个运动员中的每一个运动员的方法的流程图；
[0039]图32是图示根据实施例的用于估计帧中的运动员的2D朝向的机器学习模型的示意图；
[0040]图33是图示根据实施例的用于为机器学习模型生成训练数据的方法的流程图；
[0041]图34是图示根据实施例的如何评估用于估计帧中的运动员的2D朝向的机器学习模型的性能的示意图；
[0042]图35是图示根据实施例的用于估计帧中的运动员的2D朝向的机器学习模型的可视化结果的示意图；
[0043]图36是图示根据实施例的用于将由多个相机捕获的多个帧相关联的方法的流程图；
[0044]图37是图示根据实施例的用于生成运动员的3D朝向的方法的流程图；
[0045]图38是图示根据实施例的运动员的2D朝向和3D朝向的示意图；
[0046]图39是图示根据实施例的帧中的运动员的3D正面身体朝向的可视化结果的示意图；
[0047]图40图示根据实施例的从运动员的视角的体积视频的快照；
[0048]图41是图示根据实施例的用于确定多个运动员中的带球者的方法的流程图；
[0049]图42是图示根据实施例的针对连续帧的球跟踪结果的示意图；
[0050]图43是图示根据实施例的用于检测多个运动员中的每一个运动员的方法的流程图；
[0051]图44是图示根据实施例的用于将由多个相机捕获的多个帧相关联以生成多个运动员的跟踪信息的方法的流程图；
[0052]图45是图示根据实施例的用于基于多个运动员的跟踪信息和球的3D位置来确定带球者的方法的流程图；
[0053]图46是图示根据实施例的针对帧建立的用于多个运动员的图的示意图；
[0054]图47是图示根据实施例的用于为节点分类模型生成训练数据的方法的流程图；
[0055]图48是图示根据实施例的多个帧的带球者估计结果的示意图；以及
[0056]图49是图示根据实施例的用于确定运动员的正面身体朝向的计算系统的框图。
具体实施方式
[0057]在一些实施例中，图形处理单元(GPU)通信地耦合至主机/处理器核以加速图形操作、机器学习操作、模式分析操作、以及各种通用GPU(GPGPU)功能。GPU可通过总线或另一互连(例如，诸如PCIe或NVLink之类的高速互连)而通信地耦合至主机处理器/核。在其他实施例中，GPU可与核集成在同一封装或芯片上，并且通过内部处本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于确定运动员的正面身体的三维3D朝向的方法，包括：在由多个相机捕获的多个帧中的每一个帧中检测多个运动员中的每一个运动员；对于所述多个相机中的每一个相机，在由相机捕获的连续帧之间跟踪所述多个运动员中的每一个运动员；以及将由所述多个相机捕获的所述多个帧相关联以生成所述多个运动员中的每一个运动员的3D朝向。2.如权利要求1所述的方法，其中，检测所述多个运动员中的每一个运动员包括：对于所述多个帧中的每一个帧：检测帧中的所述多个运动员中的每一个运动员；以及确定帧中的所述多个运动员中的每一个运动员的二维2D朝向。3.如权利要求2所述的方法，其中，将由所述多个相机捕获的所述多个帧相关联包括：将所述多个帧相关联以将来自所述多个帧的同一运动员相关联；生成运动员的3D位置；以及基于所述多个帧中的每一个帧中的运动员的2D朝向，生成运动员的3D朝向。4.如权利要求3所述的方法，其中，生成运动员的3D朝向包括：对于所述多个帧中的每一个帧：基于运动员的3D位置和捕获帧的相机的3D位置计算相机的3D朝向，以及将相机的3D朝向与运动员在帧中的2D朝向组合以生成针对帧的运动员的3D朝向；以及将针对所述多个帧中的每一个帧的运动员的3D朝向组合以生成针对所述多个帧的运动员的3D朝向。5.如权利要求4所述的方法，其中，生成针对所述多个相机的运动员的3D朝向进一步包括以下各项中的至少一项：将连续帧的运动员的多个3D朝向之中的针对所述多个帧的运动员的离群的3D朝向替换为相邻帧的运动员的3D朝向的线性插值；以及将不同权重应用于连续帧的运动员的多个3D朝向，以生成针对连续帧的中间帧的运动员的优化的3D朝向。6.如权利要求2所述的方法，其中，确定帧中的所述多个运动员中的每一个运动员的2D朝向是基于机器学习模型。7.如权利要求6所述的方法，其中，所述机器学习模型的训练数据通过以下操作生成：在帧中的运动员上标注三个2D关键点；构建所述三个2D关键点中的每一个的3D位置；基于所述三个2D关键点的3D位置生成运动员的3D朝向；以及基于运动员的3D朝向生成帧中的运动员的2D朝向。8.如权利要求1所述的方法，进一步包括将虚拟相机放在运动员的正面身体上以使用运动员的3D朝向从运动员的视角渲染视频。9.如权利要求1所述的方法，进一步包括：将由所述多个相机捕获的所述多个帧相关联以生成所述多个运动员的跟踪信息；在所述多个帧中的每一个帧中检测球；对于所述多个相机中的每一个相机，在由相机捕获的连续帧之间跟踪所述球；
将由所述多个相机捕获的所述多个帧相关联以生成所述球的3D位置；以及基于所述多个运动员的所述跟踪信息和所述球的3D位置确定带球者。10.如权利要求9所述的方法，其中，检测所述多个运动员中的每一个运动员包括：对于所述多个帧中的每一个帧：检测帧中的所述多个运动员中的每一个运动员；以及识别所述多个运动员中的每一个运动员的球衣号码和队伍类别。11.如权利要求10所述的方法，其中，将由所述多个相机捕获的所述多个帧相关联以生成所述多个运动员的跟踪信息包括：将所述多个帧相关联以将来自所述多个帧的同一运动员相关联；生成运动员的3D位置；以及基于运动员的3D位置计算运动员的速度和移动方向。12.如权利要求11所述的方法，其中，基于所述多个运动员的所述跟踪信息和所述球的3D位置确定所述带球者包括：针对每个帧建立包括与所述多个运动员对应的多个节点和连接所述多个运动员的边的图，其中每个节点标识有球衣号码和队伍类别；基于所述多个运动员的所述跟踪信息和所述球的3D位置，提取每个运动员的特征向量；基于节点分类模型、利用所述图以及所述图中的每个节点的特征向量来确定所述多个运动员中的每一个运动员的单帧置信度；以及对于具有高于阈值的单帧置信度的运动员计算多帧置信度，其中具有最大多帧置信度的运动员被确定为所述带球者。13.如权利要求12所述的方法，其中，所述节点分类模型的训练数据通过以下操作生成：对所述多个帧中的每一个帧中的所述多个运动员中的每一个运动员标识边界框、球衣号码、队伍类别和置信度；按照球衣号码和队伍类别针对每个边界框将所述多个帧相关联；计算每个运动员的3D位置；以及基于每个运动员的3D位置计算运动员的速度和移动方向。14.一种用于确定运动员的正面身体的三维3D朝向的计算系统，包括：处理器，用于：在由多个相机捕获的多个帧中的每一个帧中检测多个运动员中的每一个运动员；对于所述多个相机中的每一...

【专利技术属性】
技术研发人员：何逸纬，陆明，林海华，廖立伟，陈建生，童晓峰，栗强，李文龙，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：