一种基于关节关系的人体姿态估计方法技术

本发明专利技术涉及一种基于关节关系的人体姿态估计方法，包括以下步骤：S1：构建关节关系模块，包含基于通道的特征关系模块和邻接关节空间关系模块两个子模块；S2：构建基于关节关系的人体姿态估计模型；S3：利用标注的人体姿态数据训练基于关节关系的人体姿态估计模型；S4：利用训练完成的添加关节关系模块的人体姿态估计模型进行基于单张图像的人体姿态估计任务，获取预测的人体姿态。与现有技术相比，本发明专利技术有效克服图像中自由度较高的四肢关节如腕关节、踝关节及被遮挡的不可见关节位置难以检测的问题，人体姿态估计准确性高。人体姿态估计准确性高。人体姿态估计准确性高。

【技术实现步骤摘要】
一种基于关节关系的人体姿态估计方法


[0001]本专利技术涉及人体姿态估计领域，尤其是涉及一种基于关节关系的人体姿态估计方法。

技术介绍

[0002]人体姿态估计是计算机视觉领域的传统任务。人体姿态估计包括人体关键点的检测和人体姿态的生成。人体关键点检测中的“关键点”是指人体的头顶、肩部、肘关节、腕关节、踝关节等重要关节部位，生成的人体姿态即完整人体骨架信息。随着计算机视觉技术的革新，人体姿态估计也经历了从手工提取特征到使用深度卷积神经网络为工具的历程。近年来，基础深度卷积神经网络结构与性能的发展也极大提升了提取人体关节特征的水平，促进了人体姿态估计准确度和可靠性的提高。
[0003]人体姿态结构有其特殊的规律性，这使得进行人体的姿态估计即检测人体各个关节位置与单纯的检测相应数量无关目标有着本质的不同。人体结构一方面使人体姿态的各个关节点位置具有一定关联性，一方面又因形态的多变性限制了直接发挥作用的空间。
[0004]现有技术中，有引入人体架构的姿态估计方法，如2016年，Yang等人就为了在人体姿态估计方法中引入人体结构提出了一种基于局部姿态备选集的方法。该方法使用一组具有形态约束的关节位置，即特定的肢体备选姿态，利用已知的人体结构和消息传递层从相邻关节中学习目标关节的信息，选择最合适的备选姿态进行组合。但是，此方法对备选姿态仅进行了特征融合操作，没有考虑到相邻关节的空间关系，限制了人体结构的使用，其使用的备选肢体姿态作为先验知识的普适性也无法得到证实。2018年，Sun等人采用一种基于回归的引入人体结构的方法，由只计算关节位置坐标的误差改为增加计算相邻关节点间的向量信息作为人体骨骼间的约束，并且通过完善误差函数避免了误差的逐向量积累，与一般基于回归的方法相比准确率得到很大提升。同时，该算法可以直接应用于3D模型的关键点估计。但该方法中人体结构信息还是仅局限于误差计算，并没有得到更显式的运用。2019年，Wang等人提出了Graph
‑
PCNN方法，在卷积神经网络之后加入图卷积网络以精细化学习到的人体姿势。该方法使用第一阶段的神经网络预测出一系列候选关节位置，然后将候选关节组合为多个人体姿态，并以人体姿态中的各关节为图卷积的节点，通过第二阶段的图网络进行候选姿态的融合，得到最终的输出姿态。这种方法不能进行端到端的训练，而且图卷积网络阶段需要大量的计算。
[0005]人体是一种非刚性的机体，各个关节的旋转都有着极大的自由度，多个关节的自由旋转可以互相叠加，肢体远端的关节如腕关节、踝关节等也由于具有多重自由度而位置多变，增加了预测的难度，而现有方法没有注意到这一人体结构特殊性带来的不同类型关节点的检测难度差异；同时，在更接近真实场景的多人图片中，由于人与人之间交互方式、位置关系的多样性及生活场景的复杂性，人体关键点位置和肢体信息都面临严重的遮挡问题。被遮挡的人体关节同样是人体姿态的一部分，而现有方法对更难正确检出的不可见关节点并未采取有针对的优化措施。

技术实现思路

[0006]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于关节关系的人体姿态估计方法。
[0007]本专利技术的目的可以通过以下技术方案来实现：
[0008]一种基于关节关系的人体姿态估计方法，包括以下步骤：
[0009]S1：构建关节关系模块，所述的关节关系模块包括基于通道的特征关系模块和邻接关节的空间关系模块；
[0010]S2：构建基于关节关系的人体姿态估计模型；
[0011]S3：利用带标注的人体姿态数据训练基于关节关系的人体姿态估计模型；
[0012]S4：利用训练完成的基于关节关系的人体姿态估计模型进行单张图像的人体姿态估计，获取预测的人体姿态结果。
[0013]优选地，所述的步骤S1具体包括：
[0014]S11：构建基于通道的特征关系模块，用于对初阶热力图谱特征进行加权增强；
[0015]S12：构建邻接关节的空间关系模块，用于移动加权后的特征到目标位置以获得优化后的辅助热力图谱特征。
[0016]优选地，所述的基于通道的特征关系模块中，对初阶热力图谱特征的每一个通道都由独立的特征关系单元进行处理，并计算目标关节c通道的初阶热力图谱特征F
f
的每一个通道特征f
f
(i)与其选取的邻接关节c通道的初阶热力图谱特征F
n
的所有通道的特征间的数值关系作为权重W
i
：
[0017]W
i
＝{w
i
(j)|j＝1,2,
…
,c}
[0018]其中，w
i
(j)为f
n
(j)相对于f
f
(i)的权重，
[0019]增强后的对应目标关节通道的邻接关节特征为征为为F
n
对W
i
的加权和。
[0020]优选地，所述的特征关系权重w
i
(j)的计算方式为：
[0021][0022][0023]其中，为使用点积运算来处理初始特征权重得到初步关系权重；w
f
(i)为目标关节的第i个通道的特征权重；W
n
为邻接关节c个通道的特征权重；d
k
为权重向量的长度，dot()为点积运算。
[0024]优选地，所述的邻接关节的空间关系模块采用直接索引的方式完成对邻接关节特征的移动操作，所述的直接索引的方式先计算目标特征的索引矩阵，然后进行目标特征索引。
[0025]优选地，所述的步骤S2具体包括：
[0026]S21：构建用于提取图像基础特征的骨架网络，所述的骨架网络的输入为待估计图像，输出为提取的待估计图像的通用特征；
[0027]S22：分别构建关节关系向量子网络和热力图谱子网络，所述的关节关系向量子网
络、热力图谱子网络的输入均为通用特征，所述的关节关系向量子网络的输出为各关节与为该关节选取的邻接关节间的空间关系向量矩阵，所述的热力图谱子网络的输出为人体各关节位置的初阶热力图谱特征；
[0028]S23：关节关系向量子网络和热力图谱子网络的输出送入关节关系模块进行处理获取优化后的辅助热力图谱特征；
[0029]S24：构建最终热力图谱生成子网络，所述的最终热力图谱生成子网络的输入为初阶热力图谱特征和优化后的辅助热力图谱特征；
[0030]S25：依据人体结构为每一个预测目标关节选取邻接关节，确定所用数据集的邻接关节点对。
[0031]优选地，所述的步骤S3具体包括：
[0032]S31：利用标注人体姿态数据及所选取的邻接关节点对生成真实关节关系向量矩阵作为关节关系向量子网络的学习目标；
[0033]S32：利用特征区域与非特征区域所占区域的占比构建加权的关节关系向量矩阵损失函数L
j
；
[0034]S33：利用关节点热力图谱损本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于关节关系的人体姿态估计方法，其特征在于，包括以下步骤：S1：构建关节关系模块，所述的关节关系模块包括基于通道的特征关系模块和邻接关节的空间关系模块；S2：构建基于关节关系的人体姿态估计模型；S3：利用带标注的人体姿态数据训练基于关节关系的人体姿态估计模型；S4：利用训练完成的基于关节关系的人体姿态估计模型进行单张图像的人体姿态估计，获取预测的人体姿态结果。2.根据权利要求1所述的一种基于关节关系的人体姿态估计方法，其特征在于，所述的步骤S1具体包括：S11：构建基于通道的特征关系模块，用于对初阶热力图谱特征进行加权增强；S12：构建邻接关节的空间关系模块，用于移动加权后的特征到目标位置以获得优化后的辅助热力图谱特征。3.根据权利要求2所述的一种基于关节关系的人体姿态估计方法，其特征在于，所述的基于通道的特征关系模块中，对初阶热力图谱特征的每一个通道都由独立的特征关系单元进行处理，并计算目标关节c通道的初阶热力图谱特征F
f
的每一个通道特征f
f
(i)与其选取的邻接关节c通道的初阶热力图谱特征F
n
的所有通道的特征间的数值关系作为权重W
i
：W
i
＝{w
i
(j)|j＝1,2,
…
,c}其中，w
i
(j)为f
n
(j)相对于f
f
(i)的权重，增强后的对应目标关节通道的邻接关节特征为增强后的对应目标关节通道的邻接关节特征为为F
n
对W
i
的加权和。4.根据权利要求3所述的一种基于关节关系的人体姿态估计方法，其特征在于，所述的特征关系权重w
i
(j)的计算方式为：(j)的计算方式为：其中，为使用点积运算来处理初始特征权重得到初步关系权重；w
f
(i)为目标关节的第i个通道的特征权重；W
n
为邻接关节c个通道的特征权重；d
k
为权重向量的长度，dot()为点积运算。5.根据权利要求1所述的一种基于关节关系的人体姿态估计方法，其特征在于，所述的邻接关节的空间关系模块采用直接索引的方式完成对邻接关节特征的移动操作，所述的直接索引的方式先计算目标特征的索引矩阵，然后进行目标特征索引。6.根据权利要求1所述的一种基于关节关系的人体姿态估计方法，其特征在于，所述的步骤S2具体包括：S21：构建用于提取图像基础特征的骨架网络，所述的骨架网络的输入为待估计图像，输出为提取的待估计图像的通用特征；S22：分别构建关节关系向量子网络和热力图谱子网络，所述的关节关系向量子网络、热力图谱子网络的输入均为通用特征，所述的关节关系向量子网络的输出为各关节与为该
关节选取的邻接关节间的空间关系向量矩阵，所述的热力图谱子网络的输出为人体各关节位置的初阶热力图谱特征；S23：关节关系向量子网络和热力图谱子网络的输出送入关节关系模块进行处理获取优化后的辅助热力图谱特征；S24：构建最终热力图谱生成子网络，所述的最终热力图谱生成子网络的输入为初阶热力图谱特征和优化后的辅助热力图谱特征；S25：依据人体结构为每一个预测目标关节选...

【专利技术属性】
技术研发人员：梁爽，储港，谢驰，王颉文，
申请(专利权)人：同济大学，
类型：发明
国别省市：