位置确定模型训练方法、位置确定方法、装置、介质制造方法及图纸

本公开涉及计算机技术领域，具体涉及一种位置确定模型训练方法、位置确定方法、位置确定模型训练装置、位置确定装置、计算机可读存储介质及电子设备，包括：获取检测对象样本数据；将2D关键位置信息以及3D关键位置信息输入第一待训练模型得到检测对象的预测3D位置信息；根据检测对象的预测3D位置信息与3D位置信息标签，对第一待训练模型的神经网络参数进行更新，以得到位置确定模型。通过本公开实施例的技术方案，可以解决现有技术中通过单摄像模组捕捉动作时位置不准确的问题。组捕捉动作时位置不准确的问题。组捕捉动作时位置不准确的问题。

【技术实现步骤摘要】
位置确定模型训练方法、位置确定方法、装置、介质


[0001]本公开涉及计算机
，具体而言，涉及位置确定模型训练方法、位置确定方法、位置确定模型训练装置、位置确定装置、计算机可读存储介质及电子设备。

技术介绍

[0002]随着互联网的快速发展，虚拟场景的应用领域也越来越广泛。例如，虚拟直播、虚拟穿戴、游戏互动、内容创作等场景，可以通过虚拟场景中的虚拟对象实现相应的业务需求。
[0003]在相关技术中，单摄像模组的动作补充方案的成本较低，可以通过单摄像模组捕捉人物的动作，并将捕捉到的动作映射到虚拟场景中，以实现业务需求。然而，现有技术中通过单摄像模组捕捉动作时，能够捕捉到人物的动作，但是难以确定人物在虚拟场景中的位置，在虚拟场景中容易出现虚拟对象执行了相应的动作，但移动的位置出现错误。举例而言，人物进行了走路动作，通过单摄像模组捕捉动作时，能够捕捉到腿部的弯曲变化，但是虚拟对象在虚拟场景中的位置不变。
[0004]需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0005]本公开的目的在于提供一种位置确定模型训练方法、位置确定模型训练装置、计算机可读存储介质及电子设备，可以解决现有技术中通过单摄像模组捕捉动作时位置不准确的问题。
[0006]本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
[0007]根据本公开的第一方面，提供了一种位置确定模型训练方法，包括：获取检测对象样本数据；其中，检测对象样本数据中包括2D关键位置信息、3D关键位置信息以及3D位置信息标签；其中，3D位置信息标签用于指示检测对象在3D虚拟环境中的位置；将2D关键位置信息以及3D关键位置信息输入第一待训练模型得到检测对象的预测3D位置信息；根据检测对象的预测3D位置信息与3D位置信息标签，对第一待训练模型的神经网络参数进行更新，以得到位置确定模型。
[0008]可选的，基于前述方案，第一待训练模型包括第一待训练子模型与第二待训练子模型，将2D关键位置信息以及3D关键位置信息输入第一待训练模型得到检测对象的预测3D位置信息，包括：将2D关键位置信息输入第一待训练子模型得到第一预测结果，将3D关键位置信息输入第二待训练子模型第二预测结果；根据第一预测结果与第二预测结果确定检测对象的预测3D位置信息。
[0009]可选的，基于前述方案，所述将所述2D关键位置信息以及所述3D关键位置信息输入第一待训练模型得到所述检测对象的预测3D位置信息，包括：将第一数量的所述2D关键
位置信息以及第二数量的所述3D关键位置信息输入所述第一待训练模型，得到第二数量的检测对象的预测3D位置信息；其中，所述第一数量的2D关键位置信息对应的检测对象样本数据为第一时间段内获取的数据，所述第二数量的3D关键位置信息为第二时间段内获取的数据；所述第二时间段位于所述第一时间段的时间区间内，所述第一数量大于第二数量。
[0010]可选的，基于前述方案，根据检测对象的预测3D位置信息与3D位置信息标签，对第一待训练模型的神经网络参数进行更新，以得到位置确定模型，包括：根据检测对象的预测3D位置信息与3D位置信息标签对第一待训练模型的神经网络参数进行更新，在第一待训练模型满足收敛条件时，将第一待训练模型确定为位置确定模型。
[0011]可选的，基于前述方案，在第一待训练模型满足收敛条件时，将第一待训练模型确定为位置确定模型，包括：获取多个检测对象的预测3D位置信息；其中，多个检测对象的预测3D位置信息是通过对第三时间段内的多个检测对象样本数据进行预测得到的；根据多个检测对象样本数据中的3D位置信息标签确定检测对象的运动速度；根据多个检测对象的预测3D位置信息确定检测对象的预测运动速度；在检测对象的运动速度与检测对象的预测运动速度的速度误差小于第一阈值时，第一待训练模型满足收敛条件，将第一待训练模型确定为位置确定模型。
[0012]可选的，基于前述方案，在第一待训练模型满足收敛条件时，将第一待训练模型确定为位置确定模型，包括：获取多个检测对象的预测3D位置信息；其中，多个检测对象的预测3D位置信息是通过对第四时间段内的多个检测对象样本数据进行预测得到的；根据多个检测对象样本数据中的3D位置信息标签确定检测对象的运动加速度；根据多个检测对象的预测3D位置信息确定检测对象的预测运动加速度；在检测对象的运动加速度与检测对象的预测运动加速度的加速度误差小于第二阈值时，第一待训练模型满足收敛条件，将第一待训练模型确定为位置确定模型。
[0013]可选的，基于前述方案，所述在所述第一待训练模型满足收敛条件时，将所述第一待训练模型确定为位置确定模型，包括：根据所述检测对象的预测3D位置信息与所述3D位置信息标签确定预测3D位置信息差值；在所述预测3D位置信息差值小于第三阈值时，所述第一待训练模型满足收敛条件，将所述第一待训练模型确定为位置确定模型。
[0014]可选的，基于前述方案，在获取检测对象样本数据之前，方法还包括：获取检测对象对应的图像，将检测对象对应的图像输入2D关键位置检测模型得到检测对象对应的2D关键位置信息；采用多视角重建方法获取检测对象对应的3D位置信息标签，以及获取检测对象对应的3D关键位置信息；根据检测对象对应的2D关键位置信息、检测对象对应的3D关键位置信息以及检测对象对应的3D位置信息标签确定检测对象样本数据。
[0015]可选的，基于前述方案，获取检测对象对应的3D关键位置信息，包括：将检测对象对应的2D关键位置信息输入3D关键位置预估模型得到检测对象对应的3D关键位置信息。
[0016]可选的，基于前述方案，根据检测对象对应的3D位置信息标签确定检测对象对应的3D关键位置信息；将检测对象对应的2D关键位置信息输入第二待训练模型得到预测3D关键位置信息；根据预测3D关键位置信息与3D关键位置信息对第二待训练模型的神经网络参数进行更新，得到3D关键位置预估模型。
[0017]根据本公开的第二方面，提供了一种位置确定方法，方法包括：获取检测对象对应的图像；将检测对象对应的图像输入2D关键位置检测模型得到检测对象对应的2D关键位置
信息；将检测对象对应的2D关键位置信息输入3D关键位置预估模型得到检测对象对应的3D关键位置信息；将检测对象对应的2D关键位置信息以及检测对象对应的3D关键位置信息输入位置确定模型，得到检测对象的3D位置信息；其中，3D位置信息用于指示检测对象在3D虚拟环境中的位置，位置确定模型是通过如上述任意一项的位置确定模型训练方法得到的。
[0018]根据本公开的第三方面，提供了一种位置确定模型训练装置，装置包括：样本数据获取单元，被配置为执行获取检测对象样本数据；其中，检测对象样本数据中包括2D关键位置信息、3D关键位置信息以及3D位置信息标签；其中，3D位置信息标签用于指示检测对象在3D虚拟环境中的位置；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种位置确定模型训练方法，其特征在于，所述方法包括：获取检测对象样本数据；其中，所述检测对象样本数据中包括2D关键位置信息、3D关键位置信息以及3D位置信息标签；其中，所述3D位置信息标签用于指示所述检测对象在3D虚拟环境中的位置；将所述2D关键位置信息以及所述3D关键位置信息输入第一待训练模型得到所述检测对象的预测3D位置信息；根据所述检测对象的预测3D位置信息与所述3D位置信息标签，对所述第一待训练模型的神经网络参数进行更新，以得到位置确定模型。2.根据权利要求1所述的方法，其特征在于，所述第一待训练模型包括第一待训练子模型与第二待训练子模型，所述将所述2D关键位置信息以及所述3D关键位置信息输入第一待训练模型得到所述检测对象的预测3D位置信息，包括：将所述2D关键位置信息输入所述第一待训练子模型得到第一预测结果，将所述3D关键位置信息输入所述第二待训练子模型第二预测结果；根据所述第一预测结果与所述第二预测结果确定所述检测对象的预测3D位置信息。3.根据权利要求1所述的方法，其特征在于，所述将所述2D关键位置信息以及所述3D关键位置信息输入第一待训练模型得到所述检测对象的预测3D位置信息，包括：将第一数量的所述2D关键位置信息以及第二数量的所述3D关键位置信息输入所述第一待训练模型，得到第二数量的检测对象的预测3D位置信息；其中，所述第一数量的2D关键位置信息对应的检测对象样本数据为第一时间段内获取的数据，所述第二数量的3D关键位置信息为第二时间段内获取的数据；所述第二时间段位于所述第一时间段的时间区间内，所述第一数量大于第二数量。4.根据权利要求1所述的方法，其特征在于，所述根据所述检测对象的预测3D位置信息与所述3D位置信息标签，对所述第一待训练模型的神经网络参数进行更新，以得到位置确定模型，包括：根据所述检测对象的预测3D位置信息与所述3D位置信息标签对所述第一待训练模型的神经网络参数进行更新，在所述第一待训练模型满足收敛条件时，将所述第一待训练模型确定为位置确定模型。5.根据权利要求4所述的方法，其特征在于，所述在所述第一待训练模型满足收敛条件时，将所述第一待训练模型确定为位置确定模型，包括：获取多个检测对象的预测3D位置信息；其中，所述多个检测对象的预测3D位置信息是通过对第三时间段内的多个检测对象样本数据进行预测得到的；根据所述多个检测对象样本数据中的3D位置信息标签确定所述检测对象的运动速度；根据所述多个检测对象的预测3D位置信息确定所述检测对象的预测运动速度；在所述检测对象的运动速度与所述检测对象的预测运动速度的速度误差小于第一阈值时，所述第一待训练模型满足收敛条件，将所述第一待训练模型确定为位置确定模型。6.根据权利要求4所述的方法，其特征在于，所述在所述第一待训练模型满足收敛条件时，将所述第一待训练模型确定为位置确定模型，包括：获取多个检测对象的预测3D位置信息；其中，所述多个检测对象的预测3D位置信息是通过对第四时间段内的多个检测对象样本数据进行预测得到的；
根据所述多个检测对象样本数据中的3D位置信息标签确定所述检测对象的运动加速度；根据所述多个检测对象的预测3D位置信息确定所述检测对象的预测运动加速度；在所述检测对象的运动加速度与所述检测对象的预测运动加速度的加速度误差小于第二阈值时，所述第一待训练模型满足收敛条件，将所述第一待训练模型确定为位置确定模型。7.根据权利要求4所述的方法，其特征在于，所述在所述第一待训练模型满足收敛条件时，将所述第一待训练模型确定为位置确定模型，包括：根据所述检测对象的预测3D位置信息与所述3D位置信息标签确定预测3D位置信息差值；在所述预测3D位置信息差值小于第三阈值时，所述第一待训练模型满足收敛条件，将所述第一待训练模型确定为位置确定模型。8.根据权利要求1所述的方法，其特征在于，在所述获取检测对象样本数据之前，所述方法还包括：获取检测对象对应的图...

【专利技术属性】
技术研发人员：吴昊潜，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：