【技术实现步骤摘要】
一种基于原型分析的自监督多目三维人体姿态估计方法
本专利技术涉及三维人体姿态估计领域,尤其涉及一种基于原型分析的自监督多目三维人体姿态估计方法。
技术介绍
三维人体姿态估计是计算机视觉中较为热门的一个研究领域,其应用也是十分广泛,诸如动作识别,安防,人机交互等场景都有该技术的直接或间接应用。三维姿态估计仍然面临诸多挑战,相较于二维姿态估计而言,其主要有两点不同:首先,三维坐标系下,其拥有更大的姿态空间,具有歧义性;其次,对于数据驱动的算法,三维标注信息的获取是比较困难的,这就使得基于监督学习的方法不适用于野外场景。有资料显示,近年来,深度卷积网络在视觉中发挥着越来越重要的作用,加之出现了大量的二维姿态数据集,二维人体姿态估计取得了较快的发展,已经达到了较高的准确性。而面对三维姿态数据集稀缺的问题,一部分研究开始转向基于弱监督和自监督技术的算法构建,其中主要包括基于二维投影一致性约束算法和基于多目几何约束的自监督算法。原型分析法是一种无监督学习方法。类似于聚类学习中找寻数据样本与类别中心点的关联,原型分析法找寻一组数据样本的原型表示,同时满足数据样本为原型的凸线性组合。有研究表明,三维姿态空间中语义性较强的的姿态存在边界特性,因此利用原型分析方法构造三维姿态数据集的一组原型,以原型的凸组合表征和修正姿态是一个有效可行的方案。中国专利文献CN104952105B公开了一种“三维人体姿态估计方法和装置”。方法包括:获得人体不同角度的多幅人体图像,该多幅人体图像为通过预置的多个采集不同方位图像的图像采 ...
【技术保护点】
1.一种基于原型分析的自监督多目三维人体姿态估计方法,其特征在于,包括以下步骤:/n(1)标定相机参数并对多目图像进行预处理;/n(2)构建Two-Stage的深度网络;/n(3)构建3D-Pose-Refine模块。/n
【技术特征摘要】
1.一种基于原型分析的自监督多目三维人体姿态估计方法,其特征在于,包括以下步骤:
(1)标定相机参数并对多目图像进行预处理;
(2)构建Two-Stage的深度网络;
(3)构建3D-Pose-Refine模块。
2.根据权利要求1所述的一种基于原型分析的自监督多目三维人体姿态估计方法,其特征在于,所述步骤1中标定相机参数包括根据裁剪和缩放参数调整对应的相机投影参数,预处理包括利用人体检测器获得的包围盒裁剪图像。
3.根据权利要求1所述的一种基于原型分析的自监督多目三维人体姿态估计方法,其特征在于,所述步骤2中构建Two-Stage的深度网络包括:
(2.1)构建2D-Pose-ResNet模块获取图像空间特征并回归出二维姿态热图;
(2.2)构建可学习关节点预测置信度的3D-Pose-Reconstruction模块。
4.根据权利要求3所述的一种基于原型分析的自监督多目三维人体姿态估计方法,其特征在于,所述步骤2.1包括以下步骤:
(2.11)初始化2D-Pose-ResNet模块;
(2.12)通过卷基层对输入的图像进行空间特征提取,获得人体关节点的高级语义特征表示,并最终以关节点热图的表示形式输出二维姿态估计结果;
(2.13)利用大型二维姿态估计数据集对2D-Pose-ResNet模块进行预训练,并在后期自监督训练过程中进一步微调。
5.根据权利要求3所述的一种基于原型分析的自监督多目三维人体姿态估计方法,其特征在于,所述步骤2.2中的3D-Pose-Reconstruction模块包含Joints-Confidence子模块和多目重构子模块。
6.根据权利要求5所述的一种基于原型分析的自监督多目三维人体姿态估计方法,其特征在于,所述步骤2.2包括以下步骤:
(2.21)初始化可学习的Joints-Confidence子模块;
(2.22)在不使用3D-Pose-Refine模块的前提下预训练Joints-Confidence网络;
(2.23)结合二维姿态估计结果,关节点预测置信度以及相机参数信息,使用三角测量求解最终的三维姿态估计。
7.根据权利要求6所述的一种基于原型分析的自监督多目三维人体姿态估计方法,其特征在于,所述步骤2.22中预训练Joints-Confidence网络包括以下步骤:
(2.221)使用soft-argmax得到二维热图对应的二维关节点坐标;
(2.222)使用二维关节点坐标直接进行三角测量得到三维姿态作为网络输出的真值,以用于深度网络的监督学习;
(...
【专利技术属性】
技术研发人员:邢帅,杨文武,贾杰,
申请(专利权)人:浙江工商大学,
类型:发明
国别省市:浙江;33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。