姿态估计方法技术

本公开提供一种姿态估计方法

【技术实现步骤摘要】
姿态估计方法、装置、电子设备以及存储介质


[0001]本专利技术涉及姿态估计的
，尤其涉及一种姿态估计方法
、
装置
、
电子设备以及存储介质
。

技术介绍

[0002]随着三维人体姿态估计领域的发展，对基于深度学习的三维人体姿态估计方法的需求不断增加，相较于传统方法，深度学习对在复杂环境下的人体姿态具有更高的准确性和鲁棒性
。
[0003]当前基于深度学习的算法已经取得了不少成效明显的研究成果，但依然存在着许多亟待解决的难题
。
一方面，现有技术基于卷积神经网络，感受野较为受限，不同部位的有效特征交互非常有限，全局骨架点建模能力弱，另一方面，人体动作与姿态多样化
、
成像环境复杂
、
存在自遮挡与互遮挡问题
。

技术实现思路

[0004]根据本公开的一方面，提供了一种姿态估计方法，包括：
[0005]提取待检测图像的图像特征，所述待检测图像含有目标物；
[0006]确定所述图像特征转换的序列化特征和所述序列化特征在所述图像特征的位置信息；
[0007]采用编码器对所述序列化特征进行处理，得到多头注意力拼接特征；
[0008]基于所述位置信息将所述多头注意力拼接特征转换为图像编码特征；
[0009]利用解码器对所述图像编码特征进行解码，获得目标物的三维姿态估计结果
。
[0010]根据本公开的另一方面，提供了一种姿态估计装置，包括：
[0011]处理模块，用于提取待检测图像的图像特征，所述待检测图像含有目标物，确定所述图像特征转换的序列化特征和所述序列化特征在所述图像特征的位置信息；
[0012]编码模块，用于采用编码器对所述序列化特征进行处理，得到多头注意力拼接特征；
[0013]所述处理模块还用于基于所述位置信息将所述多头注意力拼接特征转换为图像编码特征；
[0014]解码模块，用于利用解码器对所述图像编码特征进行解码，获得目标物的三维姿态估计结果
。
[0015]根据本公开的另一方面，提供了一种电子设备，包括：
[0016]处理器；以及，
[0017]存储程序的存储器；
[0018]其中，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行根据本公开示例性实施例所述的方法
。
[0019]根据本公开的另一方面，提供了一种非瞬时计算机可读存储介质，所述非瞬时计
算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行根据本公开示例性实施例所述的方法
。
[0020]本公开实施例中提供的一个或多个技术方案，提取到待检测图像的图像特征后，确定图像特征转换的序列化特征和所述序列化特征在图像特征的位置信息
。
此时，可以采用编码器对序列化特征进行处理，得到多头注意力拼接特征
。
由于位置信息为序列化特征在图像特征的位置信息，因此，可以基于位置信息将多头注意力拼接特征转换为图像编码特征，并通过解码器对所述图像编码特征进行解码，获得目标物的三维姿态估计结果
。
而由于多头注意力拼接特征可以保证待检测图像所含有的目标物的不同部位之间特征交互，增强全局建模能力，因此，本公开示例性实施例的方法可以解决姿态估计中动作与姿态多样化
、
成像环境复杂
、
存在自遮挡与互遮挡问题
。
附图说明
[0021]在下面结合附图对于示例性实施例的描述中，本公开的更多细节
、
特征和优点被公开，在附图中：
[0022]图1示出了本公开示例性实施例的姿态估计方法的流程示意图；
[0023]图2示出了根据本公开示例性实施例的图像特征提取网络的结构示意图；
[0024]图3示出了以四个残差单元为例的图像特征提取网络的结构示意图；
[0025]图4示出了根据本公开示例性实施例的3×3特征图转换为序列化特征的原理示意图；
[0026]图5示出了根据本公开示例性实施例的编码器的结构示意图；
[0027]图6示出了根据本公开示例性实施例的多头注意力拼接特征转换为3×3图像编码特征的原理示意图；
[0028]图7示出了根据本公开示例性实施例的姿态估计装置的功能模块示意性框图；
[0029]图8示出了根据本公开示例性实施例的芯片的示意性框图；
[0030]图9示出了能够用于实现本公开的实施例的示例性电子设备的结构框图
。
具体实施方式
[0031]下面将参照附图更详细地描述本公开的实施例
。
虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开
。
应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围
。
[0032]应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和
/
或并行执行
。
此外，方法实施方式可以包括附加的步骤和
/
或省略执行示出的步骤
。
本公开的范围在此方面不受限制
。
[0033]本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。
术语“基于”是“至少部分地基于”。
术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。
其他术语的相关定义将在下文描述中给出
。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置
、
模块或单元进行区分，并非用于限定这些装置
、
模块或单元所执行的功能的顺序或者
相互依存关系
。
[0034]需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
[0035]传统的姿态估计方法包括基于生成方法的三维估计
、
基于判别方法的三维姿态估计
、
基于模板匹配方法的三维姿态估计
。
传统的姿态估计方法基本采用人为手动提取特征来描述和推断姿态
。
由于传统的姿态估计方法对特征表示和特征点的空间位置关系这两个维度有较高的要求，而人为手动提取特征只能采用特定算子去提取特定特征，无法提取特定算子外的其它特征
。
同时，待检测图像容易受到光照
、
采集成本和采集环境因素影响，导致待检测图像的特征点模糊
。
待检测图像的目标物还会本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种姿态估计方法，其特征在于，包括：提取待检测图像的图像特征，所述待检测图像含有目标物；确定所述图像特征的序列化特征和所述序列化特征在所述图像特征的位置信息；采用编码器对所述序列化特征进行处理，得到多头注意力拼接特征；基于所述位置信息将所述多头注意力拼接特征转换为图像编码特征；利用解码器对所述图像编码特征进行解码，获得目标物的三维姿态估计结果
。2.
根据权利要求1所述的方法
,
其特征在于，所述提取待检测图像的图像特征，包括：提取所述待检测图像的多尺度特征图；对所述多尺度特征图进行特征融合，获得所述图像特征
。3.
根据权利要求1所述的方法，其特征在于，所述图像特征包括
N1
个
C1
×
H
×
W
的特征图，
N1
为大于或等于1的整数，
C1
表示所述特征图的通道数量，
H
表示所述特征图的高度，
W
表示所述特征图的宽度；所述序列化特征包括
N2
个
C2
×
L
的序列，
C2
表示所述序列的通道数量，
L
表示序列的维度，
L
＝
H
×
W
，
N1
＝
N2
，
C1
＝
C2。4.
根据权利要求1所述的方法，其特征在于，所述编码器包括多头注意力模块和拼接模块，所述采用编码器对所述序列化特征进行处理，得到多头注意力拼接特征，包括：基于多头注意力模块处理所述序列化特征，获得多头注意力特征；基于所述拼接模块将所述多头注意力特征进行拼接，得到多头注意力拼接特征
。5.
根据权利要求4所述的方法，其...

【专利技术属性】
技术研发人员：邹嘉钰，赵国盛，王欣刚，王鹏，
申请(专利权)人：北京中科海芯科技有限公司，
类型：发明
国别省市：