【技术实现步骤摘要】
本公开的各实施例涉及3d姿态估计，尤其涉及一种3d姿态估计模型的训练方法、装置和计算机设备。
技术介绍
1、3d姿态估计是计算机视觉领域一个重要的研究方向，在虚拟现实、增强现实、人机交互、手语理解等领域中具有重要的研究意义和广泛的应用前景。
2、其中，3d手势估计中存在一些困难。目前的手势估计方法分为基于参数化模型的方法和基于非参数化模型的方法。其中，参数化模型例如mano，根据预定义的骨骼参数来进行手势估计，非参数化模型可以直接估计手势的骨骼关键点。3d手势估计的一个难点是处理遮挡问题。手指在不同姿态下可能发生遮挡，对于遮挡的情形，很容易带来训练的难度，影响实际推理时的准确性。当前的手势估计方法未能很好的处理这些遮挡的情况。
技术实现思路
1、本公开的各实施例的目的是提供一种用于3d姿态估计模型的训练方法、装置和计算机设备。
2、根据本公开的一个方面，提供了一种用于3d姿态估计模型的训练方法，其中，该方法包括以下步骤：
3、3d姿态估计模型接收样本图像集的输入，其中每个样本图像标注有骨骼关键点；
4、所述3d姿态估计模型根据所述样本图像来获得训练；其中，所述3d姿态估计模型计算所述样本图像中的骨骼关键点；如果当前样本图像中一个骨骼关键点的置信度达到预定的低置信条件，所述3d姿态估计模型降低相应骨骼关键点的损失函数的权重。
5、根据一些实施例，该方法还包括3d姿态估计模型为所述样本图像中的每个所述骨骼关键点计算一个3d热力
6、根据一些实施例，所述预定的低置信条件包括以下至少任一项：
7、设定一个第一阈值，如果一个所述骨骼关键点的3d热力图中最大值仍小于所述第一阈值，则认为当前骨骼关键点置信度低；
8、比较一个所述骨骼关键点的3d热力图中最大值与其他值的差值，如果所述差值小于一个第二阈值，则认为当前骨骼关键点置信度低。
9、根据一些实施例，将所述骨骼关键点的损失函数的权重降低为所述骨骼关键点的置信度。
10、根据一些实施例，将所述骨骼关键点的损失函数的权重降低为所述骨骼关键点的置信度的加权。
11、根据一些实施例，所述骨骼关键点为手部骨骼关键点。
12、根据一些实施例，该方法还包括训练好的所述3d姿态估计模型根据输入的待识别图像输入，计算其中各骨骼关键点的坐标，从而获得相应的3d姿态。
13、根据本公开的一个方面，还提供了一种3d姿态估计装置，包括：
14、接口模块，用于接收样本图像集的输入，其中每个样本图像标注有骨骼关键点；
15、姿态估计模块，用于根据所述样本图像来进行训练；其中，所述姿态估计模块计算所述样本图像中的骨骼关键点；如果当前样本图像中一个骨骼关键点的置信度达到预定的低置信条件，降低该骨骼关键点的损失函数的权重。
16、根据一些实施例，所述姿态估计模块还用于根据输入的待识别图像输入，计算其中各骨骼关键点的坐标，从而获得相应的3d姿态的装置。
17、根据本公开的一个方面，还提供了一种计算机设备，其中，该计算机设备包括处理器和存储器，所述存储器包括计算机可执行指令，当所述计算机可执行指令被所述处理器执行时，该设备被配置来执行根据本公开的一个方面的一种用于3d姿态估计模型的训练方法。
18、根据本公开的一个方面，还提供了一种计算机程序产品，包括计算机可执行指令，当所述计算机可执行指令被所述处理器执行时，该设备被配置来执行根据本公开的一个方面的一种用于3d姿态估计模型的训练方法。
19、本公开的各实施例通过在3d姿态估计模型的训练过程中识别被遮挡的骨骼关键点，并降低被遮挡骨骼关键点的损失函数的权重，使得3d姿态估计模型能够更关注未被遮挡的骨骼关键点。当用于3d手势估计中，本公开的优点将更加明显。由于手指在不同姿态下被遮挡的情形较多，本公开的各实施例通过在对3d姿态估计模型的训练过程中，降低被遮挡手部骨骼关键点的损失函数的权重，使得3d姿态估计模型能够更关注未被遮挡的手部骨骼关键点。
本文档来自技高网...【技术保护点】
1.一种用于3D姿态估计模型的训练方法，其中，该方法包括以下步骤：
2.根据权利要求1所述的方法，其中，在训练过程中，该方法还包括以下步骤：
3.根据权利要求2所述的方法，其中，所述预定的低置信条件包括以下至少任一项：
4.根据权利要求1至3中任一项所述的方法，其中，将所述骨骼关键点的损失函数的权重降低为所述骨骼关键点的置信度。
5.根据权利要求1至3中任一项所述的方法，其中，将所述骨骼关键点的损失函数的权重降低为所述骨骼关键点的置信度的加权。
6.根据权利要求5所述的方法，其中，所述骨骼关键点为手部骨骼关键点。
7.根据权利要求1、2、3或5所述的方法，其中，该方法还包括以下步骤：
8.一种3D姿态估计装置，包括：
9.一种计算机设备，其中，该计算机设备包括处理器和存储器，所述存储器包括计算机可执行指令，当所述计算机可执行指令被所述处理器执行时，该设备被配置来执行如权利要求1至7中任一项所述的方法。
10.一种计算机程序产品，包括计算机可执行指令，当所述计算机可执行指令被
...【技术特征摘要】
1.一种用于3d姿态估计模型的训练方法，其中，该方法包括以下步骤：
2.根据权利要求1所述的方法，其中，在训练过程中，该方法还包括以下步骤：
3.根据权利要求2所述的方法，其中，所述预定的低置信条件包括以下至少任一项：
4.根据权利要求1至3中任一项所述的方法，其中，将所述骨骼关键点的损失函数的权重降低为所述骨骼关键点的置信度。
5.根据权利要求1至3中任一项所述的方法，其中，将所述骨骼关键点的损失函数的权重降低为所述骨骼关键点的置信度的加权。
6.根据权利要求5所述的...
【专利技术属性】
技术研发人员：何涛，
申请(专利权)人：上海哔哩哔哩科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。