特征提取模型训练、手部动作识别方法、装置及电子设备制造方法及图纸

本申请提供一种特征提取模型训练、手部动作识别方法、装置及电子设备。方法包括：获取至少一帧目标图像；将至少一帧目标图像输入至三维结构图特征提取模型中，得到各帧目标图像中包括的目标关键点对应的三维结构图；目标关键点包括：手部的关键点；三维结构图特征提取模型为采用特征提取模型训练方法训练得到的；三维结构图包括：在三维坐标系下，目标图像中包括的各目标关键点之间的连接关系；根据各帧目标图像中包括的目标关键点对应的三维结构图，获取至少一帧目标图像对应的动作类型。本申请提高了手部动作识别效率。提高了手部动作识别效率。提高了手部动作识别效率。

【技术实现步骤摘要】
特征提取模型训练、手部动作识别方法、装置及电子设备


[0001]本申请涉及计算机技术，尤其涉及一种特征提取模型训练、手部动作识别方法、装置及电子设备。

技术介绍

[0002]在虚拟现实（Virtual Reality，VR）场景中，VR设备可以捕捉人手部动作，进行动作识别。例如，VR设备可以识别人的动作是在倒水、写字、拿手机等。或者，以智能监控设备为例，该智能监控设备也可以对拍摄到的人的手部动作进行识别，并执行人的手部动作对应的操作。
[0003]现有的手部动作识别方法例如有：基于手部光流图像的动作识别、基于三维（3
‑
dimension，3D）卷积的动作识别等。然而，上述现有的手部动作识别方法存在效率较低的问题。

技术实现思路

[0004]本申请提供一种特征提取模型训练、手部动作识别方法、装置及电子设备，以提高手部动作识别效率。
[0005]第一方面，本申请提供特征提取模型训练方法，包括：获取第一样本数据集；所述第一样本数据集包括：至少一个第一样本数据子集；所述第一样本数据子集包括：样本图像，以及，所述样本图像中包括的目标关键点对应的三维结构图标签；所述目标关键点包括：手部的关键点；所述三维结构图包括：在三维坐标系下，所述样本图像中包括的各目标关键点之间的连接关系；使用所述第一样本数据集训练第一预设模型，得到三维结构图特征提取模型；所述第一预设模型包括：第一预设子模型、第二预设子模型，以及，第三预设子模型；所述第一预设子模型用于对所述样本图像进行特征提取，得到所述样本图像中的各目标关键点对应的初始二维结构图，以及，各目标关键点对应的图像特征；所述第二预设子模型用于根据所述各目标关键点对应的图像特征，对所述各目标关键点对应的初始二维结构图进行调整，得到所述各目标关键点对应的目标二维结构图；所述二维结构图包括：在二维坐标系下，所述样本图像中包括的各目标关键点之间的连接关系；所述第三预设子模型用于将所述各目标关键点对应的目标二维结构图转换为三维结构图；所述三维结构图特征提取模型用于根据输入的目标图像，获取所述目标图像中包括的目标关键点对应的三维结构图。
[0006]可选的，所述目标关键点还包括：所述手部所持物体的关键点。
[0007]可选的，所述获取第一样本数据集，包括：获取至少一个初始样本图像；通过预设的图像分割模型，对所述初始样本图像进行图像分割，得到手部与所述手部所持物体的图像；将所述手部与所述手部所持物体的图像，作为所述样本图像；
根据所述样本图像，以及，所述样本图像中包括的目标关键点对应的三维结构图标签，获取所述第一样本数据集。
[0008]可选的，所述第二预设子模型，以及，所述第三预设子模型均包括至少一层图卷积层；所述图卷积层对应的图卷积公式中包括：参数化可训练邻接矩阵，所述使用所述第一样本数据集训练第一预设模型，得到三维结构图特征提取模型，包括：在使用所述第一样本数据集，对所述第一预设模型进行每一轮训练过程中，更新所述参数化可训练邻接矩阵中的参数，直到得到所述三维结构图特征提取模型。
[0009]可选的，所述第一预设模型的损失函数为所述第一预设子模型对应的第一子损失函数、所述第二预设子模型对应的第二子损失函数，以及，所述第三预设子模型对应的第三子损失函数的加权和。
[0010]可选的，在所述使用所述第一样本数据集训练第一预设模型，得到三维结构图特征提取模型之前，所述方法还包括：获取第二样本数据集；所述第二样本数据集包括：至少一个第二样本数据子集；所述第二样本数据子集包括：样本图像，以及，所述样本图像中包括的目标关键点对应的二维结构图标签；使用所述第二样本数据集训练第一初始模型，得到所述第一预设子模型；获取第三样本数据集；所述第三样本数据集包括：至少一个第三样本数据子集；所述第三样本数据子集包括：将样本图像输入所述第一预设子模型得到的所述样本图像中的各目标关键点对应的初始二维结构图、各目标关键点对应的图像特征，以及，所述样本图像中包括的目标关键点对应的二维结构图标签；使用所述第三样本数据集训练第二初始模型，得到所述第二预设子模型；根据所述第一预设子模型，以及，所述第二预设子模型，得到所述第一预设模型。
[0011]第二方面，本申请提供一种手部动作识别方法，所述方法包括：获取至少一帧目标图像；将所述至少一帧目标图像输入至三维结构图特征提取模型中，得到各帧所述目标图像中包括的目标关键点对应的三维结构图；所述目标关键点包括：手部的关键点；所述三维结构图特征提取模型为采用如第一方面任一项所述的方法训练得到的；所述三维结构图包括：在三维坐标系下，所述目标图像中包括的各目标关键点之间的连接关系；根据所述各帧所述目标图像中包括的目标关键点对应的三维结构图，获取所述至少一帧目标图像对应的动作类型。
[0012]可选的，所述目标关键点还包括：所述手部所持物体的关键点。
[0013]可选的，所述获取至少一帧目标图像包括：获取至少一帧初始图像；通过预设的图像分割模型，对所述初始图像进行图像分割，得到手部与所述手部所持物体的图像；将所述手部与所述手部所持物体的图像，作为所述目标图像。
[0014]可选的，所述根据所述各帧所述目标图像中包括的目标关键点对应的三维结构图，获取所述至少一帧目标图像对应的动作类型，包括：针对任意相邻的两帧目标图像对应的三维结构图，建立该两个三维结构图中相同
标识的目标关键点之间的连接关系，得到所述至少一帧目标图像对应的一个三维结构图；将所述至少一帧目标图像对应的一个三维结构图，输入预先训练好的手部动作识别模型，得到所述至少一帧目标图像对应的动作类型。
[0015]可选的，在所述获取所述至少一帧目标图像对应的动作类型之后，所述还包括：执行所述动作类型对应的目标操作。
[0016]第三方面，本申请提供一种特征提取模型训练装置，所述装置包括：获取模块，用于获取第一样本数据集；所述第一样本数据集包括：至少一个第一样本数据子集；所述第一样本数据子集包括：样本图像，以及，所述样本图像中包括的目标关键点对应的三维结构图标签；所述目标关键点包括：手部的关键点；所述三维结构图包括：在三维坐标系下，所述样本图像中包括的各目标关键点之间的连接关系；训练模块，用于使用所述第一样本数据集训练第一预设模型，得到三维结构图特征提取模型；所述第一预设模型包括：第一预设子模型、第二预设子模型，以及，第三预设子模型；所述第一预设子模型用于对所述样本图像进行特征提取，得到所述样本图像中的各目标关键点对应的初始二维结构图，以及，各目标关键点对应的图像特征；所述第二预设子模型用于根据所述各目标关键点对应的图像特征，对所述各目标关键点对应的初始二维结构图进行调整，得到所述各目标关键点对应的目标二维结构图；所述二维结构图包括：在二维坐标系下，所述样本图像中包括的各目标关键点之间的连接关系；所述第三预设子模型用于将所述各目标关键点对应的目标二维结构图转换为三维结构图；所述三维结构图特征提取模型用于根据输入的目标图像，获取所述目标图像中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种特征提取模型训练方法，其特征在于，所述方法包括：获取第一样本数据集；所述第一样本数据集包括：至少一个第一样本数据子集；所述第一样本数据子集包括：样本图像，以及，所述样本图像中包括的目标关键点对应的三维结构图标签；所述目标关键点包括：手部的关键点；所述三维结构图包括：在三维坐标系下，所述样本图像中包括的各目标关键点之间的连接关系；使用所述第一样本数据集训练第一预设模型，得到三维结构图特征提取模型；所述第一预设模型包括：第一预设子模型、第二预设子模型，以及，第三预设子模型；所述第一预设子模型用于对所述样本图像进行特征提取，得到所述样本图像中的各目标关键点对应的初始二维结构图，以及，各目标关键点对应的图像特征；所述第二预设子模型用于根据所述各目标关键点对应的图像特征，对所述各目标关键点对应的初始二维结构图进行调整，得到所述各目标关键点对应的目标二维结构图；所述二维结构图包括：在二维坐标系下，所述样本图像中包括的各目标关键点之间的连接关系；所述第三预设子模型用于将所述各目标关键点对应的目标二维结构图转换为三维结构图；所述三维结构图特征提取模型用于根据输入的目标图像，获取所述目标图像中包括的目标关键点对应的三维结构图。2.根据权利要求1所述的方法，其特征在于，所述目标关键点还包括：所述手部所持物体的关键点。3.根据权利要求2所述的方法，其特征在于，所述获取第一样本数据集，包括：获取至少一个初始样本图像；通过预设的图像分割模型，对所述初始样本图像进行图像分割，得到手部与所述手部所持物体的图像；将所述手部与所述手部所持物体的图像，作为所述样本图像；根据所述样本图像，以及，所述样本图像中包括的目标关键点对应的三维结构图标签，获取所述第一样本数据集。4.根据权利要求1
‑
3任一项所述的方法，其特征在于，所述第二预设子模型，以及，所述第三预设子模型均包括至少一层图卷积层；所述图卷积层对应的图卷积公式中包括：参数化可训练邻接矩阵，所述使用所述第一样本数据集训练第一预设模型，得到三维结构图特征提取模型，包括：在使用所述第一样本数据集，对所述第一预设模型进行每一轮训练过程中，更新所述参数化可训练邻接矩阵中的参数，直到得到所述三维结构图特征提取模型。5.根据权利要求1
‑
3任一项所述的方法，其特征在于，所述第一预设模型的损失函数为所述第一预设子模型对应的第一子损失函数、所述第二预设子模型对应的第二子损失函数，以及，所述第三预设子模型对应的第三子损失函数的加权和。6.根据权利要求1
‑
3任一项所述的方法，其特征在于，在所述使用所述第一样本数据集训练第一预设模型，得到三维结构图特征提取模型之前，所述方法还包括：获取第二样本数据集；所述第二样本数据集包括：至少一个第二样本数据子集；所述第二样本数据子集包括：样本图像，以及，所述样本图像中包括的目标关键点对应的二维结构图标签；使用所述第二样本数据集训练第一初始模型，得到所述第一预设子模型；获取第三样本数据集；所述第三样本数据集包括：至少一个第三样本数据子集；所述第
三样本数据子集包括：将样本图像输入所述第一预设子模型得到的所述样本图像中的各目标关键点对应的初始二维结构图、各目标关键点对应的图像特征，以及，所述样本图像中包括的目标关键点对应的二维结构图标签；使用所述第三样本数据集训练第二初始模型，得到所述第二预设子模型；根据所述第一预设子模型，以及，所述第二预设子模型，得到所述第一预设模型。7.一种手部动作识别方法，其特征在于，所述方法包括：获取至少一帧目标图像；将所述至少一帧目标图像输入至三维结构图特征提取模型中，得到各帧所述目标图像中包括的目标关键点对应的三维结构图；所述目标关键点包括：手部的关键点；所述三维结构图特征提取模型为采用如权利要求1
‑
...

【专利技术属性】
技术研发人员：梁书玉，周波，莫少锋，邹小刚，苗瑞，
申请(专利权)人：深圳市海清视讯科技有限公司，
类型：发明
国别省市：