System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 姿态参数确定方法、装置及智能设备制造方法及图纸_技高网

姿态参数确定方法、装置及智能设备制造方法及图纸

技术编号:43599014 阅读:8 留言:0更新日期:2024-12-11 14:47
本申请公开了一种姿态参数确定方法、装置及智能设备,属于智能设备技术领域。方法包括:对智能设备在第一时刻采集到的第一图像进行处理,得到目标对象的第一感兴趣图像和第一蒙版图像;将第一感兴趣图像和第一蒙版图像输入训练好的姿态检测模型中,得到第一时刻下目标拍摄对象的第一姿态参数;其中,在模型训练过程中,姿态检测模型的损失值包括目标对象的蒙版损失值;蒙版损失值用于表征第一虚拟模型与训练样本中目标对象的第二蒙版图像的匹配度,且蒙版损失值与匹配度负相关;第一虚拟模型为目标拍摄对象的与第二姿态参数对应的虚拟模型;第二姿态参数为姿态检测模型基于训练样本预测得到的目标拍摄对象的姿态参数。

【技术实现步骤摘要】

本申请属于智能设备,具体涉及一种姿态参数确定方法、装置及智能设备


技术介绍

1、随着人机交互方式的不断发展,动作识别已经成为了扩展现实(extendedreality,xr)设备中主流的交互方式之一。

2、相关技术中,在进行部位1的动作识别之前,会预制一个部位1的模型。若当前识别的是用户a的部位1,会基于用户a的部位1的图像预测得到用户a的部位1的姿态参数,该姿态参数中会包括一个与用户a的部位1对应的全局大小参数。之后,利用用户a的部位1的姿态参数,对用户a的部位1的动作进行识别,具体实现时,会先将预制的部位1的模型与预测得到的用户a的部位1对应的全局大小参数的乘积,作为用户a的部位1的形状,然后进行后续的动作识别。在相关技术生成的部位1模型中,用户的部位1的形状使用全局大小参数来控制大小,未考虑到不同用户的同一部位的形状不同,因此,现有方式确定的姿态参数无法准确表征真实姿态,姿态参数的精确性低。


技术实现思路

1、本申请实施例的目的是提供一种姿态参数确定方法、装置及智能设备,能够解决姿态参数的精确性低的问题。

2、第一方面,本申请实施例提供了一种姿态参数确定方法,由智能设备执行,包括:

3、对所述智能设备在第一时刻采集到的第一图像进行处理,得到目标对象的第一感兴趣图像和第一蒙版图像;其中,所述目标对象为目标拍摄对象的成像;

4、将所述第一感兴趣图像和所述第一蒙版图像输入训练好的姿态检测模型中,得到所述第一时刻下所述目标拍摄对象的第一姿态参数;

5、其中,在所述姿态检测模型的训练过程中,所述姿态检测模型的损失值包括所述目标对象的蒙版损失值;所述蒙版损失值用于表征第一虚拟模型与训练样本中所述目标对象的第二蒙版图像的匹配度,且所述蒙版损失值与匹配度负相关;所述第一虚拟模型为所述目标拍摄对象的与第二姿态参数对应的虚拟模型;所述第二姿态参数为所述姿态检测模型基于所述训练样本预测得到的所述目标拍摄对象的姿态参数。

6、第二方面,本申请实施例提供了一种姿态参数确定装置,应用于智能设备,包括:

7、第一获取模块,用于对所述智能设备在第一时刻采集到的第一图像进行处理,得到目标对象的第一感兴趣图像和第一蒙版图像;其中,所述目标对象为目标拍摄对象的成像;

8、第二获取模块,用于将所述第一感兴趣图像和所述第一蒙版图像输入训练好的姿态检测模型中,得到所述第一时刻下所述目标拍摄对象的第一姿态参数;

9、其中,在所述姿态检测模型的训练过程中,所述姿态检测模型的损失值包括所述目标对象的蒙版损失值;所述蒙版损失值用于表征第一虚拟模型与训练样本中所述目标对象的第二蒙版图像的匹配度,且所述蒙版损失值与匹配度负相关;所述第一虚拟模型为所述目标拍摄对象的与第二姿态参数对应的虚拟模型;所述第二姿态参数为所述姿态检测模型基于所述训练样本预测得到的所述目标拍摄对象的姿态参数。

10、第三方面,本申请实施例提供了一种智能设备,该智能设备包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

11、第四方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

12、第五方面,本申请实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法。

13、第六方面,本申请实施例提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如第一方面所述的方法。

14、在本申请实施例中,可以先通过智能设备在第一时刻采集到的第一图像进行处理,得到目标对象的第一感兴趣图像和第一蒙版图像;然后将第一感兴趣图像和第一蒙版图像输入训练好的姿态检测模型中,得到第一时刻下目标拍摄对象的姿态参数。其中,在姿态检测模型的训练过程中,姿态检测模型的损失值包括目标对象的蒙版损失值;该蒙版损失值用于表征第一虚拟模型与训练样本中目标对象的第二蒙版图像的匹配度,且该蒙版损失值与该匹配度负相关;第一虚拟模型为目标拍摄对象的与第二姿态参数对应的虚拟模型;第二姿态参数为姿态检测模型基于训练样本预测得到的目标拍摄对象的姿态参数。可见,在本申请实施例的姿态检测模型的训练过程中,通过训练样本中目标对象的蒙版图像,对目标拍摄对象及其对应的虚拟模型之间的匹配度进行了约束,使得目标拍摄对象及其对应的虚拟模型之间的匹配度较高,如此,可以使得训练好的姿态检测模型预测得到的目标拍摄对象的姿态参数可以准确表征目标拍摄对象的真实姿态,从而可以提高姿态参数的确定精确性。

本文档来自技高网...

【技术保护点】

1.一种姿态参数确定方法,其特征在于,由智能设备执行,包括:

2.根据权利要求1所述的方法,其特征在于,所述将所述第一感兴趣图像和所述第一蒙版图像输入训练好的姿态检测模型中,得到所述第一时刻下所述目标拍摄对象的第一姿态参数之后,所述方法还包括:

3.根据权利要求2所述的方法,其特征在于,所述目标拍摄对象的姿态参数包括:所述目标拍摄对象的形状参数,所述目标拍摄对象的旋转参数,以及所述目标拍摄对象相对所述智能设备的主相机的运动参数;

4.根据权利要求1所述的方法,其特征在于,所述将所述第一感兴趣图像和所述第一蒙版图像输入训练好的姿态检测模型中,得到所述第一时刻下所述目标拍摄对象的第一姿态参数之前,所述方法还包括:

5.根据权利要求1所述的方法,其特征在于,所述智能设备包括:用于采集彩色图像的第一相机,以及用于采集灰度图像的第二相机;

6.根据权利要求5所述的方法,其特征在于,所述对所述第一彩色图像进行抠图处理,得到所述目标对象的第一蒙版图像,包括:

7.一种姿态参数确定装置,应用于智能设备,其特征在于,包括:p>

8.根据权利要求7所述的装置,其特征在于,所述装置还包括:

9.根据权利要求8所述的装置,其特征在于,所述目标拍摄对象的姿态参数包括:所述目标拍摄对象的形状参数,所述目标拍摄对象的旋转参数,以及所述目标拍摄对象相对所述智能设备的主相机的运动参数;

10.根据权利要求7所述的装置,其特征在于,所述装置还包括:

11.根据权利要求7所述的装置,其特征在于,所述智能设备包括:用于采集彩色图像的第一相机,以及用于采集灰度图像的第二相机;

12.根据权利要求11所述的装置,其特征在于,所述第二处理单元,具体用于:

13.一种智能设备,其特征在于,包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1至6中任一项所述的姿态参数确定方法的步骤。

...

【技术特征摘要】

1.一种姿态参数确定方法,其特征在于,由智能设备执行,包括:

2.根据权利要求1所述的方法,其特征在于,所述将所述第一感兴趣图像和所述第一蒙版图像输入训练好的姿态检测模型中,得到所述第一时刻下所述目标拍摄对象的第一姿态参数之后,所述方法还包括:

3.根据权利要求2所述的方法,其特征在于,所述目标拍摄对象的姿态参数包括:所述目标拍摄对象的形状参数,所述目标拍摄对象的旋转参数,以及所述目标拍摄对象相对所述智能设备的主相机的运动参数;

4.根据权利要求1所述的方法,其特征在于,所述将所述第一感兴趣图像和所述第一蒙版图像输入训练好的姿态检测模型中,得到所述第一时刻下所述目标拍摄对象的第一姿态参数之前,所述方法还包括:

5.根据权利要求1所述的方法,其特征在于,所述智能设备包括:用于采集彩色图像的第一相机,以及用于采集灰度图像的第二相机;

6.根据权利要求5所述的方法,其特征在于,所述对所述第一彩色图像进行抠图处理,得到...

【专利技术属性】
技术研发人员:宋韦宏郭飞罗燕飞
申请(专利权)人:维沃移动通信有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1