【技术实现步骤摘要】
本专利技术涉及智能制造技术，数字化工厂以及增强现实等领域，尤其涉及一种多目视觉下基于自动变分校正的人体内3d姿态分析方法。
技术介绍
1、目前，科学技术迅速发展，城市化水平显著提高，智能设备需要与现实世界进行交互，比如无人驾驶，智能化工厂数字孪生建模等技术，由于实际场景的复杂多变，给多目标人体姿态检测与建模带来了很大挑战。
2、一方面，由于人体动作的过度自主性与灵活性以及面对遮挡时的姿态不确定性，当前大部分二维姿态点检测算法已经不能满足实际需求，如增强现实与虚拟现实等技术都要求实现实时的行人在3d空间中的姿态点检测；另一方面，姿态点检测的好坏也进一步影响了后续人体3d建模的工作，对于较差的检测结果，其建模在人体局部位置表现为扭曲形态以及连续建模抖动等问题。因此亟需一种在多目视觉下的三维姿态点检测与建模方法，在空间场中实现精确的行人姿态点检测与真实平滑的建模结果。现有的多目标检测算法大多都是从人体表面展开，主要从准确率，计算资源以及算法上进行改进。但是面对目标受遮挡以及目标与姿态点相匹配的问题时则无法很好地解决。在建模方面，虽然现有方法在重建误差，每秒浮点运算次数(flops)等方面取得了较好的建模效果，但是当遮挡较多，目标层叠关系较为复杂时，仍然容易产生局部姿态的失真，以及连续建模时的抖动等现象。
3、因此，如何在密集行人空间下实现精确的人体姿态点检测与真实平滑的建模结果，成为了需要研究解决的问题。
技术实现思路
1、本专利技术的实施例提供一种多目视觉下基于
2、为达到上述目的，本专利技术的实施例采用如下技术方案：
3、s1、采集各视角下的目标行人的人体内3d姿态点，并通过真实相机参数将所述人体内3d姿态点投影至三维空间；
4、s2、对所述三维空间中的投影结果进行去噪处理；
5、s3、通过分步训练1获取初步人体3d建模结果；
6、s4、通过分步训练2获取潜在空间分布特征；
7、s5、利用重建后的3d姿态点对所述初步人体3d建模结果进行校正，实现精确的人体姿态点检测与真实平滑的建模结果。
8、其中，在s1中，包括：利用mvspin人体渲染模型从采集到的人体内3d姿态点中提取人体姿态点坐标矩阵，所述人体姿态点坐标矩阵包含6890个顶点；通过smpl模型获取联合回归先验矩阵；利用所述人体姿态点坐标矩阵和所述联合回归先验矩阵，获取24个3d预测姿态点坐标；利用预测相机矩阵将24个3d预测姿态点坐标还原至同视角的原图像中，获取目标行人的24个2d姿态点坐标；根据所述2d姿态点坐标，通过真实相机矩阵参数重新投影至所述三维空间。
9、所述利用预测相机矩阵将24个3d预测姿态点坐标还原至同视角的原图像中，获取目标行人的24个2d姿态点坐标，包括：将预测的3d相机参数转换为3×4的相机预测矩阵；对3d预测姿态点增加至四维后进行矩阵变换得到姿态点矩阵，其中，将24×4的姿态点矩阵转换为包含预测的3d相机参数的1×24×4×1矩阵；将所述姿态点矩阵与所述相机预测矩阵相乘，得到相机方向上的姿态点坐标矩阵，维度为1×24×3×1；舍弃所述相机方向的深度信息，并通过矩阵变换得到2d姿态点坐标，其中，通过矩阵变换为剔除深度信息的2d姿态点坐标，其维度为1×24×2×1。
10、所述根据所述2d姿态点坐标，通过真实相机矩阵参数重新投影至所述三维空间，其中包括：利用两个不同视角的2d姿态点通过三角剖分计算得到1个3d投影点，其中，k个视角的2d姿态与对应的真实矩阵通过三角投影得到k(k-1)/2组3d姿态点，之后可以利用k-means聚类算法排除误差，之后将剩余的姿态点取均值，得到该目标在空间中的3d姿态点。
11、在s2中，包括：依序提取每帧投影结果中id相同的行人关节点i的数据，n为行人出现的次数；通过卡尔曼滤波对行人关节点i的数据进行滤波处理。
12、所述通过卡尔曼滤波对行人关节点i的数据进行滤波处理，包括：初始化滤波参数，所述滤波参数包括：控制输入 b，过程噪声 q，测量矩阵 h和控制输入 u k；对行人关节点i的数据和状态协方差矩阵 p k进行状态预测，其中，， ， f为状态转移矩阵；根据状态预测的结果进行状态更新，其中， ，， z k为测量值， z k为卡尔曼增益， r为测量噪声协方差矩阵， i为单位矩阵，协方差的更新方式为： 。
13、在s3中，所述分步训练1，包括：将经过去噪处理的3d姿态点 x作为输入，以地面真值作为标准，采用梯度下降的迭代优化方式对smpl参数进行训练，并获取人体的网格顶点 verts和人体关节点坐标 j，其中 verts大小为n×6890×3， j大小为n×24×3，n为建模时场景中的目标数量；考虑到行人活动的高度自主性和无规律性，采用针对异常值具有强鲁棒性的smooth l1 loss作为损失函数， x gt为人体关节点的地面真实值。
14、在s4中所述分步训练2，包括：
15、将经过去噪处理的3d姿态点 x作为输入，并确定重构所需潜在变量 ，为编码器定义的潜在变量分步；
16、根据潜在变量的分布特征获取重构人体3d姿态点 ， 为生成器定义的条件分步；
17、通过损失函数
18、对参数θv( φ en , φ de)进行训练，获得重构后的姿态点x’end，α为权衡参数， p(z)为先验分布， φ en为编码器参数， φ de为解码器参数。
19、在s5中，包括：对参数θ(θs ,θv)进行联合训练得到校正后的人体姿态点x’end，采用的损失函数为，θs表示smpl参数。
20、本专利技术本文档来自技高网...
【技术保护点】
1.一种多目视觉下基于自动变分校正的人体内3D姿态分析方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，在S1中，包括：
3.根据权利要求2所述的方法，其特征在于，所述利用预测相机矩阵将24个3D预测姿态点坐标还原至同视角的原图像中，获取目标行人的24个2D姿态点坐标，包括：
4.根据权利要求2所述的方法，其特征在于，所述根据所述2D姿态点坐标，通过真实相机矩阵参数重新投影至所述三维空间，其中包括：
5.根据权利要求1所述的方法，其特征在于，在S2中，包括：
6.根据权利要求5所述的方法，其特征在于，所述通过卡尔曼滤波对行人关节点i的数据进行滤波处理，包括：
7.根据权利要求1所述的方法，其特征在于，在S3中，所述分步训练1，包括：
8.根据权利要求1所述的方法，其特征在于，在S4中所述分步训练2，包括：
9.根据权利要求1所述的方法，其特征在于，在S5中，包括：对参数Θ(ΘS,ΘV)进行联合训练得到校正后的人体姿态点X’end，采用的损失函数为，ΘS表示SMPL参数
...【技术特征摘要】
1.一种多目视觉下基于自动变分校正的人体内3d姿态分析方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，在s1中，包括：
3.根据权利要求2所述的方法，其特征在于，所述利用预测相机矩阵将24个3d预测姿态点坐标还原至同视角的原图像中，获取目标行人的24个2d姿态点坐标，包括：
4.根据权利要求2所述的方法，其特征在于，所述根据所述2d姿态点坐标，通过真实相机矩阵参数重新投影至所述三维空间，其中包括：
5.根据权利要求1所述的方法...
【专利技术属性】
技术研发人员：陈凯，赵晓冬，黄煜杰，朱海华，唐敦兵，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。