SMPL-X模型参数训练方法、装置、设备及存储介质制造方法及图纸

本申请涉及深度学习技术领域，特别是涉及到一种SMPL

【技术实现步骤摘要】
SMPL
‑
X模型参数训练方法、装置、设备及存储介质


[0001]本申请涉及深度学习
，特别是涉及到一种SMPL
‑
X模型参数训练方法、装置、设备及存储介质。

技术介绍

[0002]由于SMPL
‑
X，(Skinned Multi
‑
Person Linear Model
‑
X)，多人蒙皮线性模型，参数模型包含了面部和手部的信息，SMPL
‑
X模型可以用于生成人体模型，因此逐渐受到更多的关注。人体模型可以用于虚拟主播、数字化身、电影及游戏制作等领域。生成的虚拟人物形象可以用于金融理财产品导购时或售后服务解答时的虚拟客服人物形象。
[0003]目前SMPL
‑
X模型的估计方法主要分为两类，一个是优化方法，另一个是回归方法。其中，优化方法即拟合参数化模型使其符合2D结果，准确率较高，但耗时较长。而回归方法耗时较短，但需要大量数据作为训练集进行训练。由于目前含有SMPL
‑
X标注的数据集较少，因此回归方法都采用分部位进行序列最后聚合的方法。而分部位进行序列需要使用多个模型进行训练，再进行聚合，降低了模型预测的速度。

技术实现思路

[0004]本申请的主要目的为提供一种SMPL
‑
X模型参数训练方法、装置、设备及存储介质，旨在解决现有技术中SMPL
‑
X模型训练数据集短缺和数据处理过程复杂的技术问题。
[0005]为了实现上述专利技术目的，本申请提出一种SMPL
‑
X模型参数训练方法，所述方法包括：
[0006]获取训练数据，其中，所述训练数据包括人体图像数据、2D关键点投影位置真值和SMPL
‑
X参数真值；
[0007]将所述人体图像数据输入HMR网络，得到2D关键点投影位置和SMPL
‑
X参数；
[0008]根据所述2D关键点投影位置和所述SMPL
‑
X参数，计算所述HMR网络的损失函数；
[0009]使用SMPLify网络优化所述2D关键点投影位置和所述SMPL
‑
X参数，根据优化后的2D关键点投影位置和优化后的SMPL
‑
X参数更新所述2D关键点位置投影真值和所述SMPL
‑
X参数真值。
[0010]进一步地，所述将所述人体图像数据输入HMR网络，得到2D关键点投影位置，包括：
[0011]将所述人体图像数据输入HMR网络，得到3D关键点位置X
reg
；
[0012]根据所述3D关键点位置X
reg
，计算出2D关键点投影位置。
[0013]进一步地，所述根据所述3D关键点位置X
reg
，计算出2D关键点投影位置，包括：
[0014]通过2D关键点投影位置的计算公式计算所述2D关键点投影位置，其中，所述2D关键点投影位置的计算公式为：
[0015]J
reg
＝Π
reg
(X
reg
)
[0016]其中，Π
reg
为将3D关键点投影到2D平面的操作，X
reg
为3D关键点位置。
[0017]进一步地，其特征在于，所述将所述人体图像数据输入HMR网络，得到SMPL
‑
X参数，
包括：
[0018]将所述人体图像数据输入HMR网络中，通过SMPL
‑
X参数计算公式计算SMPL
‑
X参数，其中，SMPL
‑
X参数计算公式为：
[0019]M
reg
＝M(θ
reg
,β
reg
)
[0020]其中，θ
reg
是人体动作姿态参数，β
reg
是人体形状参数，M是人体姿态函数。
[0021]进一步地，所述根据所述2D关键点投影位置，计算所述HMR网络的损失函数，包括：
[0022]根据所述2D关键点投影位置，通过2D关键点投影位置损失函数公式计算2D关键点投影位置损失函数，其中，2D关键点投影位置损失函数计算公式为：
[0023]L
2D
＝||J
reg
‑
J
gt
||
[0024]其中，J
reg
为2D关键点投影位置，J
gt
为2D关键点投影位置真值。
[0025]进一步地，所述SMPL
‑
X参数真值，包括θ
gt
人体动作姿态参数真值和β
gt
人体形状参数真值。
[0026]进一步地，所述根据所述SMPL
‑
X参数，计算所述HMR网络的损失函数，包括：
[0027]根据所述SMPL
‑
X参数，通过SMPL
‑
X参数损失函数计算公式计算SMPL
‑
X参数损失函数，其中，SMPL
‑
X参数损失函数计算公式为：
[0028]L
SMPL
‑
X
＝||θ
reg
‑
θ
gt
||+||β
reg
‑
β
gt
||
[0029]其中，θ
reg
是人体动作姿态参数，β
reg
是人体形状参数，θ
gt
是人体动作姿态参数真值，β
gt
是人体形状参数真值。
[0030]本申请提供一种SMPL
‑
X模型参数训练装置，所述装置包括：
[0031]数据获取模块，用于获取训练数据，其中，所述训练数据包括人体图像数据、2D关键点投影位置真值和SMPL
‑
X参数真值；
[0032]HMR网络处理模块，用于将所述人体图像数据输入HMR网络，得到2D关键点投影位置和SMPL
‑
X参数；
[0033]损失计算模块，用于根据所述2D关键点投影位置和所述SMPL
‑
X参数，计算所述HMR网络的损失函数；
[0034]真值优化模块，用于使用SMPLify网络优化所述2D关键点投影位置和所述SMPL
‑
X参数，根据优化后的2D关键点投影位置和优化后的SMPL
‑
X参数更新所述2D关键点位置投影真值和所述SMPL
‑
X参数真值。
[0035]本申请还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述任一项所述方法的步本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种SMPL
‑
X模型参数训练方法，其特征在于，所述方法包括：获取训练数据，其中，所述训练数据包括人体图像数据、2D关键点投影位置真值和SMPL
‑
X参数真值；将所述人体图像数据输入HMR网络，得到2D关键点投影位置和SMPL
‑
X参数；根据所述2D关键点投影位置和所述SMPL
‑
X参数，计算所述HMR网络的损失函数；使用SMPLify网络优化所述2D关键点投影位置和所述SMPL
‑
X参数，根据优化后的2D关键点投影位置和优化后的SMPL
‑
X参数更新所述2D关键点位置投影真值和所述SMPL
‑
X参数真值。2.根据权利要求1所述的SMPL
‑
X模型参数训练方法，其特征在于，所述将所述人体图像数据输入HMR网络，得到2D关键点投影位置，包括：将所述人体图像数据输入HMR网络，得到3D关键点位置X
reg
；根据所述3D关键点位置X
reg
，计算出2D关键点投影位置。3.根据权利要求2所述的SMPL
‑
X模型参数训练方法，其特征在于，所述根据所述3D关键点位置X
reg
，计算出2D关键点投影位置，包括：通过2D关键点投影位置的计算公式计算所述2D关键点投影位置，其中，所述2D关键点投影位置的计算公式为：J
reg
＝Π
reg
(X
reg
)其中，Π
reg
为将3D关键点投影到2D平面的操作，X
reg
为3D关键点位置。4.根据权利要求1所述的SMPL
‑
X模型参数训练方法，其特征在于，所述将所述人体图像数据输入HMR网络，得到SMPL
‑
X参数，包括：将所述人体图像数据输入HMR网络中，通过SMPL
‑
X参数计算公式计算SMPL
‑
X参数，其中，SMPL
‑
X参数计算公式为：M
reg
＝M(θ
reg
,β
reg
)其中，θ
reg
是人体动作姿态参数，β
reg
是人体形状参数，M人体姿态函数。5.根据权利要求1所述的SMPL
‑
X模型参数训练方法，其特征在于，所述根据所述2D关键点投影位置，计算所述HMR网络的损失函数，包括：根据所述2D关键点投影位置，通过2D关键点投影位置损失函数公式计算2D关键点投影位置损失函数，其中，2D关键点投影位置损失函数计算公式为：L

【专利技术属性】
技术研发人员：郑喜民，吴楚翘，舒畅，陈又新，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：