一种姿态估计方法、相关装置和存储介质制造方法及图纸

本发明专利技术公开了一种姿态估计方法、相关装置和存储介质，所述方法包括：Transformer编码器对目标对象进行学习得到目标对象的关键点之间的全局特征；第一图卷积模块根据第一邻接矩阵和所述全局特征确定目标对象的局部静态特征；所述第一邻接矩阵根据目标对象的关键点之间的物理连接关系确定；第二图卷积模块根据第二邻接矩阵和所述局部静态特征确定局部动态特征；所述第二邻接矩阵根据近邻算法和目标对象的关键点之间稀疏的动态连接关系确定；回归模块根据所述局部动态特征确定目标对象的关键点的三维坐标。采用本发明专利技术提供的技术方案提升了根据二维图像对目标对象进行姿态估计的精度，并且具有较好的泛化性。并且具有较好的泛化性。并且具有较好的泛化性。

【技术实现步骤摘要】
一种姿态估计方法、相关装置和存储介质


[0001]本专利技术涉及计算机视觉
，尤其涉及一种姿态估计方法、相关装置和存储介质。

技术介绍

[0002]姿态估计是计算机视觉领域的一个研究分支，其目标是从二维图像或视频估计目标对象的关键点在三维空间中的坐标位置。常见的姿态估计包括：人体姿态估计、半身姿态估计、手的姿态估计、或者动物姿态估计等。人体姿态估计在监控、运动分析、影视动画建模、虚拟现实、医疗等领域有着广阔的应用前景，其精度对下游任务的效果有着重要的影响。
[0003]在不同的运动场景中，人体在三维空间中可以呈现出形态各异的姿态，由于深度任意性和遮挡等因素使得由二维图像估计三维人体姿态存在着准确率低的问题。其中，深度任意性是指多个不同的三维人体姿态可能投影成一个相同的二维人体姿态，因为根据单视角捕捉的单目二维图像，很难推断出远离人体重心关键点的空间位置。遮挡是指，人体结构由各关节铰接组成，难免会发生关节自我遮挡的情况，同时人体所处环境不同，周围的物体也可能遮挡到人体的部分关节点。
[0004]因此，如何提升根据二维图像对目标对象进行姿态估计的精度，是现有技术亟待解决的问题。

技术实现思路

[0005]本专利技术公开了一种姿态估计方法、相关装置和存储介质，能够提升根据二维图像对目标对象进行姿态估计的精度。
[0006]第一方面，本专利技术实施例提供了一种姿态估计方法，用于姿态估计模型对目标图像中的目标对象进行三维姿态估计，所述目标图像是对所述目标对象拍摄得到的二维图像，所述姿态估计模型包括：Transformer编码器、第一图卷积模块、第二图卷积模块和回归模块，所述方法包括：所述Transformer编码器对所述目标对象进行学习得到所述目标对象的关键点的全局特征；所述第一图卷积模块根据第一邻接矩阵和所述全局特征确定所述目标对象的局部静态特征；所述第一邻接矩阵根据所述目标对象的关键点之间的物理连接关系确定；所述第二图卷积模块根据第二邻接矩阵和所述局部静态特征确定局部动态特征；所述第二邻接矩阵根据近邻算法和所述目标对象的所有关键点之间稀疏的动态连接关系确定；所述回归模块根据所述局部动态特征确定所述目标对象的关键点的三维坐标。
[0007]采用本专利技术实施例提供的姿态估计方法进行姿态估计时，目标对象的关键点的三维坐标基于目标对象的关键点的全局特征、物理连接对应的局部静态特征以及稀疏动态关系对应的局部动态特征确定，相对于现有技术，采用本专利技术实施例提供的技术方案进行姿态估计时，准确率有了明显的提升，而且具有较好的泛化性。
[0008]结合第一方面，在一些可能的实施方式中，所述Transformer编码器对所述目标对
象进行学习得到所述目标对象的关键点之间的全局特征，包括：所述Transformer编码器通过线性变换，将所述目标对象的关键点的坐标映射到隐空间，同时用可学习的空间位置编码维持关键点的空间信息，然后经多头自注意力层MSA和前馈网络FFN整合所有所述关键点的信息，得到所述目标对象的所有关键点的全局特征，计算公式包括：
[0009]X
′
(l)
＝X
(l
‑1)+MSA(LN(X
(l
‑
1)
))，
[0010]X
(l)
＝X
′
(l)
+FFN(LN(X
′
(l)
))，
[0011]其中，LN(
·
)表示层归一化，l∈[1，...，L]表示层的索引，LN(x
(l
‑
1)
)和LN(X
′
(l)
)是经层归一化后的特征向量，X
′
(l)
是l层隐含特征向量，X
(l)
是l层的特征向量输出，表示l层的全局特征。
[0012]结合第一方面，在一些可能的实施方式中，所述第一邻接矩阵为A1，A1∈R
J
×
J
，所述J是所述目标图像中包括的关键点的总数量，
[0013][0014]结合第一方面，在一些可能的实施方式中，所述第一图卷积模块根据第一邻接矩阵和所述全局特征确定所述目标对象的局部静态特征，包括：所述第一图卷积模块根据第一邻接矩阵和所述全局特征使用切比雪夫多项式作为卷积核做图卷积操作，
[0015]其中，所述切比雪夫多项式包括：
[0016][0017][0018][0019]使用所述切比雪夫多项式作为图卷积操作中的卷积核，经所述图卷积操作得到局部静态特征，
[0020][0021][0022]其中，表示度为m的切比雪夫多项式，归一化拉普拉斯矩阵表示度为m的切比雪夫多项式，归一化拉普拉斯矩阵是的度矩阵，λ
max
是拉普拉斯矩阵L的最大特征值，I是单位矩阵，Θ
m
表示可学习参数。
[0023]结合第一方面，在一些可能的实施方式中，所述第二邻接矩阵为A2，A2∈R
J
×
J
[0024][0025]所述Ω
i
是在特征空间中与关键点xi的距离最近的前K个关键点的集合，所述Ω
i
＝KNN(x
i
，x
j
，k)，j∈[1，...，J]；所述KNN是K近邻算法；关键点x
j
在特征空间中与所述关键点x
i
的距离为R(x
i
，x
j
)，R(x
i
，x
j
)＝Dist(x
i
，x
j
)，所述Dist(x
i
，x
j
)为所述关键点x
i
、x
j
之间的欧式距离。
[0026]结合第一方面，在一些可能的实施方式中，所述第二图卷积模块根据第二邻接矩阵和所述局部静态特征确定局部动态特征，包括：所述第二图卷积模块根据第二邻接矩阵
和所述局部静态特征使用所述切比雪夫多项式作为卷积核做图卷积操作得到局部动态特征，
[0027][0028][0029]其中，由A2计算获得。计算获得。计算获得。是的度矩阵。
[0030]结合第一方面，在一些可能的实施方式中，所述方法还可以包括：使用损失函数Loss对所述姿态估计模型进行约束，
[0031][0032]其中，所述Y
i，j
和分别表示对样本i的第j个关键点的三维坐标的真实值和估计值，N是样本数，J是所述目标对象包括的关键点总数。
[0033]第二方面，本专利技术实施例提供了一种姿态估计装置，用于对目标图像中的目标对象进行三维姿态估计，所述目标图像是对所述目标对象拍摄得到的二维图像，所述的装置包括：Transformer编码器模块，用于对所述目标对象进行学习得到所述目标对象的关键点之间的全局特征；第一图卷积模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种姿态估计方法，其特征在于，用于姿态估计模型对目标图像中的目标对象进行三维姿态估计，所述目标图像是对所述目标对象拍摄得到的二维图像，所述姿态估计模型包括：Transformer编码器、第一图卷积模块、第二图卷积模块和回归模块，所述方法包括：所述Transformer编码器对所述目标对象进行学习得到所述目标对象的关键点的全局特征；所述第一图卷积模块根据第一邻接矩阵和所述全局特征确定所述目标对象的局部静态特征；所述第一邻接矩阵根据所述目标对象的关键点之间的物理连接关系确定；所述第二图卷积模块根据第二邻接矩阵和所述局部静态特征确定局部动态特征；所述第二邻接矩阵根据近邻算法和所述目标对象的关键点之间稀疏的动态连接关系确定；所述回归模块根据所述局部动态特征确定所述目标对象的关键点的三维坐标。2.根据权利要求1所述的方法，其特征在于，所述Transformer编码器对所述目标对象进行学习得到所述目标对象的关键点的全局特征，包括：所述Transformer编码器通过线性变换，将所述目标对象的关键点的坐标映射到隐空间，同时用可学习的空间位置编码维持关键点的空间信息，然后经多头自注意力层MSA和前馈网络FFN整合所述关键点的信息，得到所述目标对象的关键点的全局特征。3.根据权利要求2所述的方法，其特征在于，所述第一邻接矩阵为A1，A1∈R
J
×
J
，所述J是所述目标图像中包括的关键点的总数量，4.根据权利要求3所述的方法，其特征在于，所述第一图卷积模块根据第一邻接矩阵和所述全局特征确定所述目标对象的局部静态特征，包括：所述第一图卷积模块根据第一邻接矩阵和所述全局特征使用切比雪夫多项式作为卷积核做图卷积操作得到局部静态变量。5.根据权利要求4所述的方法，其特征在于，所述第二邻接矩阵为A2，A2∈R
J
×
J
，所述Ω
i
是在特征空间中与关键点x
i
的距离最近的前K个关键点的集合，所述Ω
i
＝KNN(x
i
，x
j
，k)，j∈[1，...，J]；所述KNN是K近邻算法；关键点x
j
在特征空间中与所述关键点x
i
的距离为R(x
i
...

【专利技术属性】
技术研发人员：代菊，陈张猛，潘俊君，
申请(专利权)人：鹏城实验室，
类型：发明
国别省市：