轻追踪：用于在线自顶向下人体姿态追踪的系统和方法技术方案

一种用于姿态追踪的系统和方法，特别是用于自顶向下的在线多人姿态追踪。系统包括：计算设备，包括处理器和存储有计算机可执行代码的存储设备，其中，计算机可执行代码在处理器处执行时被配置为：提供视频的多个连续帧，多个连续帧包括至少一个关键帧和多个非关键帧；对于多个非关键帧中的每个非关键帧：接收从先前帧推断出的对象的先前推断边界框；在先前推断边界框所定义的区域中，从非关键帧估计关键点，以获得估计的关键点；基于估计的关键点，确定对象状态，其中，对象状态包括“追踪到”状态和“丢失”状态；以及当对象状态为“追踪到”时，基于估计的关键点，推断推断边界框，以处理非关键帧的下一帧。关键帧的下一帧。关键帧的下一帧。

Light tracking: system and method for online top-down human posture tracking

【技术实现步骤摘要】
【国外来华专利技术】轻追踪：用于在线自顶向下人体姿态追踪的系统和方法
[0001]交叉引用
[0002]在本公开的描述中引用和讨论了一些参考文献，其可能包括专利、专利申请和各种出版物。提供此类参考文献的引用和/或讨论仅用于阐明本公开的描述，并不承认任何此类参考文献是本文所述公开的“现有技术”。在本说明书中引用和讨论的所有参考文献通过引用整体并入本文，并且与每篇参考文献通过引用单独并入的程度相同。


[0003]本公开涉及人体姿态追踪，具体地，涉及用于在线自顶向下人体姿态追踪的通用轻量级框架。

技术介绍

[0004]在此提供的背景描述是为了概括地呈现本公开的上下文。在本背景部分描述的范围内，专利技术人的工作，以及在申请时可能不符合现有技术的描述方面，既不明确也不隐含地承认为针对本公开的现有技术。
[0005]姿态追踪是一种任务，用于估计视频中的多人人体姿态并为跨帧的每个关键点分配唯一实例ID。人体关键点轨迹的准确估计对于人体动作识别、人的交互理解、动作捕捉和动画等很有用。最近，公开可用的姿态
‑
追踪(Pose
‑
Track)数据集和MPII视频姿态(MPII Video Pose)数据集将人体运动分析的研究推向了现实世界的场景，并且已经举行了两次姿态追踪挑战。然而，大多数现有方法都是离线的，因此缺乏实时的潜力。
[0006]因此，在本领域中存在解决上述缺陷和不足的需要。

技术实现思路

[0007]在某些方面，本公开涉及一种用于姿态追踪的系统，特别是用于自顶向下的多人在线姿态追踪的系统。所述系统包括计算设备，所述计算设备包括处理器和存储有计算机可执行代码的存储设备。所述计算机可执行代码在所述处理器处执行时被配置为：
[0008]提供视频的多个连续帧，所述连续帧包括至少一个关键帧和多个非关键帧；
[0009]对于所述多个非关键帧中的每个非关键帧：接收从先前帧推断出的对象的先前推断边界框；在所述先前推断边界框所定义的区域中，从所述非关键帧估计关键点，以获得估计的关键点；基于所述估计的关键点，确定对象状态，其中，所述对象状态包括“追踪到”状态和“丢失”状态；以及当所述对象状态为“追踪到”时，基于所述估计的关键点，推断推断边界框，以处理所述非关键帧的下一帧。
[0010]在某些实施例中，所述计算机可执行代码被配置为使用卷积神经网络从所述非关键帧估计关键点。
[0011]在某些实施例中，当所述估计的关键点具有大于阈值分数的平均置信度时，所述对象状态为“追踪到”，当所述估计的关键点具有小于或等于所述阈值分数的平均置信度时，所述对象状态为“丢失”。
[0012]在某些实施例中，所述计算机可执行代码被配置为通过以下方式推断所述推断边界框：定义包围所述估计的关键点的包围框；以及将所述包围框沿所述包围框的水平方向和垂直方向分别放大20％。
[0013]在某些实施例中，所述计算机可执行代码还被配置为，当所述对象状态为“丢失”时：从所述非关键帧中检测对象，其中，每个检测到的对象由检测的边界框定义；从每个检测的边界框估计关键点，以获得检测的关键点；通过将所述检测到的对象的所述检测的关键点与存储的对象的存储的关键点进行比较，来识别每个所述检测到的对象，每个所述存储的对象具有对象标识ID；以及当所述检测的关键点与来自所述存储的对象中对应对象的所述存储的关键点相匹配时，为所述检测到的对象分配所述存储的对象中对应对象的所述对象ID。
[0014]在某些实施例中，所述计算机可执行代码被配置为使用卷积神经网络检测对象。在某些实施例中，所述计算机可执行代码被配置为使用卷积神经网络来估计所述关键点。
[0015]在某些实施例中，所述将所述检测到的对象的所述检测的关键点与所述存储的关键点进行比较的步骤是使用孪生图卷积网络SGCN执行的，所述SGCN包括具有共享网络权重的两个图卷积网络GCN，每个所述GCN包括：第一图卷积网络GCN层；第一Relu单元，连接到所述第一GCN层；第二GCN层，连接到所述第一Relu单元；第二Relu单元，连接到所述第二GCN层；平均池化层，连接到所述第二GCN层；全连接网络FCN；以及特征向量转换层。所述第一GCN层被配置为接收所述检测到的对象之一的检测的关键点，所述特征向量转换层被配置为产生表示所述检测到的对象之一的姿态的特征向量。
[0016]在某些实施例中，所述SGCN被配置为通过以下方式执行所述比较的步骤：通过所述两个GCN中的一个GCN来运行估计的关键点，以获得针对估计的关键点的估计特征向量；通过所述两个GCN中的另一个GCN来运行所述存储的对象之一的存储的关键点，以获得针对所述存储的关键点的特征向量；以及当所述估计特征向量和存储的特征向量之间的距离小于预定阈值时，确定所述估计的关键点与所述存储的关键点相匹配。
[0017]在某些实施例中，对于所述非关键帧中的每个非关键帧，所述计算机可执行代码被配置为，当所述对象的所述估计的关键点与任何所述存储的对象的所述关键点都不匹配时：为所述对象分配新的对象ID。
[0018]在某些实施例中，对于所述关键帧中的每个关键帧，所述计算机可执行代码被配置为：
[0019]检测所述关键帧中的对象，其中，每个检测到的对象由边界框定义；
[0020]从与所述检测到的对象对应的所述边界框估计每个检测到的对象的多个检测的关键点；
[0021]通过将所述检测到的对象的所述检测的关键点与存储的对象的存储的关键点进行比较，来识别每个所述检测到的对象，每个所述存储的对象具有对象标识ID；以及
[0022]当所述检测的关键点与来自所述存储对象中对应对象的所述存储的关键点相匹配时，为所述检测到的对象分配所述存储的对象中对应对象的所述对象ID。
[0023]在某些实施例中，对于每个所述关键帧，所述计算机可执行代码被配置为，当所述对象的所述估计的关键点与任何所述存储对象的所述关键点都不匹配时：为所述对象分配新的对象ID。
[0024]在某些方面，本公开涉及一种用于姿态追踪的方法，特别是用于自顶向下的多人在线姿态追踪的方法。在某些实施例中，所述方法包括：
[0025]提供视频的多个连续帧，所述连续帧包括至少一个关键帧和多个非关键帧；
[0026]对于所述多个非关键帧中的每个非关键帧：
[0027]接收从先前帧推断出的对象的先前推断边界框；
[0028]在所述先前推断边界框所定义的区域中，从所述非关键帧估计关键点，以获得估计的关键点；
[0029]基于所述估计的关键点，确定对象状态，其中，所述对象状态包括“追踪到”状态和“丢失”状态；以及
[0030]当所述对象状态为“追踪到”时，基于所述估计的关键点，推断推断边界框，以处理所述非关键帧的下一帧。
[0031]在某些实施例中，当所述估计的关键点具有大于阈值分数的平均置信度时，所述对象状态为“追踪到”，当所述估计的关键点具有小于或等于阈值分数的置信度时，所述对象本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于姿态追踪的系统，包括：计算设备，包括处理器和存储有计算机可执行代码的存储设备，其中，所述计算机可执行代码在所述处理器处执行时被配置为：提供视频的多个连续帧，所述连续帧包括至少一个关键帧和多个非关键帧；对于所述多个非关键帧中的每个非关键帧：接收从先前帧推断出的对象的先前推断边界框；在所述先前推断边界框所定义的区域中，从所述非关键帧估计关键点，以获得估计的关键点；基于所述估计的关键点，确定对象状态，其中，所述对象状态包括“追踪到”状态和“丢失”状态；以及当所述对象状态为“追踪到”时，基于所述估计的关键点，推断推断边界框，以处理所述非关键帧的下一帧。2.根据权利要求1所述的系统，其中，所述计算机可执行代码被配置为使用卷积神经网络从所述非关键帧估计关键点。3.根据权利要求1或2所述的系统，其中，当所述估计的关键点具有大于阈值分数的平均置信度时，所述对象状态为“追踪到”，当所述估计的关键点具有小于或等于所述阈值分数的平均置信度时，所述对象状态为“丢失”。4.根据权利要求1至3中任一项所述的系统，其中，所述计算机可执行代码被配置为通过以下方式推断所述推断边界框：定义包围所述估计的关键点的包围框；以及将所述包围框沿所述包围框的水平方向和垂直方向分别放大20％。5.根据权利要求1所述的系统，其中，所述计算机可执行代码还被配置为，当所述对象状态为“丢失”时：从所述非关键帧中检测对象，其中，每个检测到的对象由检测的边界框定义；从所述检测的边界框中对应的边界框估计每个检测到的对象的关键点，以获得检测的关键点；通过将所述检测到的对象的所述检测的关键点与存储的对象的存储的关键点进行比较，来识别每个所述检测到的对象，每个所述存储的对象具有对象标识ID；以及当所述检测的关键点与来自所述存储的对象中对应对象的所述存储的关键点相匹配时，为所述检测到的对象分配所述存储的对象中对应对象的所述对象ID。6.根据权利要求5所述的系统，其中，所述计算机可执行代码被配置为使用卷积神经网络检测对象。7.根据权利要求5所述的系统，其中，所述计算机可执行代码被配置为使用卷积神经网络来估计所述关键点。8.根据权利要求5所述的系统，其中，所述将所述检测到的对象的所述检测的关键点与所述存储的关键点进行比较的步骤是使用孪生图卷积网络SGCN执行的，所述SGCN包括具有共享网络权重的两个图卷积网络GCN，每个所述GCN包括：第一图卷积网络GCN层；第一Relu单元，连接到所述第一GCN层；
第二GCN层，连接到所述第一Relu单元；第二Relu单元，连接到所述第二GCN层；平均池化层，连接到所述第二GCN层；全连接网络FCN；以及特征向量转换层，其中，所述第一GCN层被配置为接收所述检测到的对象之一的检测的关键点，所述特征向量转换层被配置为产生表示所述检测到的对象之一的姿态的特征向量。9.根据权利要求8所述的系统，其中，所述SGCN被配置为通过以下方式执行所述比较的步骤：通过所述两个GCN中的一个GCN来运行估计的关键点，以获得针对估计的关键点的估计特征向量；通过所述两个GCN中的另一个GCN来运行所述存储的对象之一的存储的关键点，以获得针对所述存储的关键点的特征向量；以及当所述估计特征向量和存储的特征向量之间的距离小于预定阈值时，确定所述估计的关键点与所述存储的关键点相匹配。10.根据权利要求5所述的系统，其中，对于所述非关键帧中的每个非关键帧，所述计算机可执行代码被配置为，当所述对象的所述估计的关键点与任何所述存储的对象的所述关键点都不匹配时：为所述对象分配新的对象ID。11.根据权利要求1所述的系统，其中，对于所述关键帧中的每个关键帧，所述计算机可执行代码被配置为：检测所述关键帧中的对象，其中，每个检测到的对象由边界框定义；从与所述检测到的对象对应的所述边界框估计每个检测...

【专利技术属性】
技术研发人员：宁广涵，黄恒，
申请(专利权)人：京东美国科技公司，
类型：发明
国别省市：