一种手势轨迹的识别方法和装置制造方法及图纸

本申请涉及一种手势轨迹的识别方法和装置，其中，该方法包括：通过目标关键点检测模型检测视频中的手势关键点的坐标，得到第一长度的坐标序列，其中，第一长度的坐标序列用于指示视频中所展示的手部的手势轨迹，目标关键点检测模型是使用关键点检测样本对初始关键点检测模型进行训练得到的，关键点检测样本是标注了手势关键点对应坐标的样本图像；将第一长度的坐标序列与第二长度的模板坐标序列进行匹配，其中，第二长度的模板坐标序列用于指示目标手势轨迹；在第一长度的坐标序列与第二长度的模板坐标序列匹配成功的情况下，确定在视频中识别出目标手势轨迹。本申请解决了手势轨迹的识别准确度较低的技术问题。

A recognition method and device of gesture track

【技术实现步骤摘要】
一种手势轨迹的识别方法和装置
本申请涉及计算机领域，尤其涉及一种手势轨迹的识别方法和装置。
技术介绍
当前的手势识别主要集中在手势类别分类和手势位置检测，这些都是针对静态的手势识别。目前的手势识别方式对手势轨迹的识别效率较低，识别准确度无法达到要求。针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种手势轨迹的识别方法和装置。根据本申请实施例的一个方面，提供了一种手势轨迹的识别方法，包括：通过目标关键点检测模型检测视频中的手势关键点的坐标，得到第一长度的坐标序列，其中，所述第一长度的坐标序列用于指示所述视频中所展示的手部的手势轨迹，所述目标关键点检测模型是使用关键点检测样本对初始关键点检测模型进行训练得到的，所述关键点检测样本是标注了所述手势关键点对应坐标的样本图像；将所述第一长度的坐标序列与第二长度的模板坐标序列进行匹配，其中，所述第二长度的模板坐标序列用于指示目标手势轨迹；在所述第一长度的坐标序列与第二长度的模板坐标序列匹配成功的情况下，确定在所述视频中识别出所述目标手势轨迹。可选地，通过所述目标关键点检测模型检测视频中的手势关键点的坐标，得到所述第一长度的坐标序列包括：检测所述视频上的手势区域，其中，所述手势区域是所述视频中所展示的手部所在的区域；通过所述目标关键点检测模型检测所述手势区域中的手势关键点的坐标，得到所述第一长度的坐标序列。可选地，所述手势关键点包括多个关键点，其中，通过所述目标关键点检测模型检测视频中的手势关键点的坐标，得到所述第一长度的坐标序列包括：将所述视频中的多个关键帧输入所述目标关键点检测模型；获取所述目标关键点检测模型输出的所述多个关键帧中每个关键帧对应的关键点坐标集合，得到具有对应关系的多个关键帧和多个关键点坐标集合，其中，每个关键点坐标集合中包括所述多个关键点在所述每个关键帧上的坐标值，所述多个关键点中每个关键点对应的关键点坐标在所述每个关键点坐标集合中的位置与所述每个关键点在所述视频中所包括的手部上的位置对应；将所述多个关键点坐标集合按照所述多个关键帧的时间顺序排列得到的关键点坐标集合序列确定为所述第一长度的坐标序列。可选地，在将所述视频中的多个关键帧输入所述目标关键点检测模型之前，所述方法还包括：将所述关键点检测样本输入所述初始关键点检测模型，得到所述初始关键点检测模型输出的检测结果；根据所述检测结果与所述关键点检测样本所标注的多个手势关键点对应坐标确定目标损失函数的值，其中，所述目标损失函数是所述初始关键点检测模型所对应的损失函数；根据所述目标损失函数的值与目标值之间的关系对所述初始关键点检测模型的模型参数进行调整，直至所述目标损失函数的值与所述目标值之间的关系满足目标条件，得到所述目标关键点检测模型。可选地，将所述第一长度的坐标序列与第二长度的模板坐标序列进行匹配包括：获取所述第二长度的模板坐标序列；确定所述第一长度的坐标序列和所述第二长度的模板坐标序列之间的目标相似度；在所述目标相似度高于相似度阈值的情况下，确定所述第一长度的坐标序列与第二长度的模板坐标序列匹配成功。可选地，在所述第一长度与所述第二长度不同的情况下，确定所述第一长度的坐标序列和所述第二长度的模板坐标序列之间的目标相似度包括：使用所述第二长度的模板坐标序列Q＝q1,q2,…,qi,…,qn和所述第一长度的坐标序列C＝c1,c2,…,cj,…,cm建立n×m的目标矩阵网格，其中，所述目标矩阵网格的(i,j)处的元素为qi和cj之间的距离；从所述目标矩阵网格中查找最佳路径，其中，所述最佳路径对应的规整代价最小且所述最佳路径满足所述目标矩阵网格对应的约束条件；从所述最佳路径中获取所述目标相似度。可选地，在将所述第一长度的坐标序列与第二长度的模板坐标序列进行匹配之前，所述方法还包括：获取模板视频，其中，所述模板视频是展示了所述目标手势轨迹的视频；通过所述目标关键点检测模型检测所述模板视频中的手势关键点坐标，得到所述第二长度的模板坐标序列。根据本申请实施例的另一方面，还提供了一种手势轨迹的识别装置，包括：第一检测模块，用于通过目标关键点检测模型检测视频中的手势关键点的坐标，得到第一长度的坐标序列，其中，所述第一长度的坐标序列用于指示所述视频中所展示的手部的手势轨迹，所述目标关键点检测模型是使用关键点检测样本对初始关键点检测模型进行训练得到的，所述关键点检测样本是标注了所述手势关键点对应坐标的样本图像；匹配模块，用于将所述第一长度的坐标序列与第二长度的模板坐标序列进行匹配，其中，所述第二长度的模板坐标序列用于指示目标手势轨迹；第一确定模块，用于在所述第一长度的坐标序列与第二长度的模板坐标序列匹配成功的情况下，确定在所述视频中识别出所述目标手势轨迹。可选地，所述第一检测模块包括：第一检测单元，用于检测所述视频上的手势区域，其中，所述手势区域是所述视频中所展示的手部所在的区域；第二检测单元，用于通过所述目标关键点检测模型检测所述手势区域中的手势关键点的坐标，得到所述第一长度的坐标序列。可选地，所述手势关键点包括多个关键点，其中，所述第一检测模块包括：输入单元，用于将所述视频中的多个关键帧输入所述目标关键点检测模型；第一获取单元，用于获取所述目标关键点检测模型输出的所述多个关键帧中每个关键帧对应的关键点坐标集合，得到具有对应关系的多个关键帧和多个关键点坐标集合，其中，每个关键点坐标集合中包括所述多个关键点在所述每个关键帧上的坐标值，所述多个关键点中每个关键点对应的关键点坐标在所述每个关键点坐标集合中的位置与所述每个关键点在所述视频中所包括的手部上的位置对应；确定单元，用于将所述多个关键点坐标集合按照所述多个关键帧的时间顺序排列得到的关键点坐标集合序列确定为所述第一长度的坐标序列。可选地，所述装置还包括：输入模块，用于在将所述视频中的多个关键帧输入所述目标关键点检测模型之前，将所述关键点检测样本输入所述初始关键点检测模型，得到所述初始关键点检测模型输出的检测结果；第二确定模块，用于根据所述检测结果与所述关键点检测样本所标注的多个手势关键点对应坐标确定目标损失函数的值，其中，所述目标损失函数是所述初始关键点检测模型所对应的损失函数；调整模块，用于根据所述目标损失函数的值与目标值之间的关系对所述初始关键点检测模型的模型参数进行调整，直至所述目标损失函数的值与所述目标值之间的关系满足目标条件，得到所述目标关键点检测模型。可选地，所述匹配模块包括：第二获取单元，用于获取所述第二长度的模板坐标序列；第二确定单元，用于确定所述第一长度的坐标序列和所述第二长度的模板坐标序列之间的目标相似度；第三确定单元，用于在所述目本文档来自技高网...

【技术保护点】
1.一种手势轨迹的识别方法，其特征在于，包括：/n通过目标关键点检测模型检测视频中的手势关键点的坐标，得到第一长度的坐标序列，其中，所述第一长度的坐标序列用于指示所述视频中所展示的手部的手势轨迹，所述目标关键点检测模型是使用关键点检测样本对初始关键点检测模型进行训练得到的，所述关键点检测样本是标注了所述手势关键点对应坐标的样本图像；/n将所述第一长度的坐标序列与第二长度的模板坐标序列进行匹配，其中，所述第二长度的模板坐标序列用于指示目标手势轨迹；/n在所述第一长度的坐标序列与第二长度的模板坐标序列匹配成功的情况下，确定在所述视频中识别出所述目标手势轨迹。/n

【技术特征摘要】
1.一种手势轨迹的识别方法，其特征在于，包括：
通过目标关键点检测模型检测视频中的手势关键点的坐标，得到第一长度的坐标序列，其中，所述第一长度的坐标序列用于指示所述视频中所展示的手部的手势轨迹，所述目标关键点检测模型是使用关键点检测样本对初始关键点检测模型进行训练得到的，所述关键点检测样本是标注了所述手势关键点对应坐标的样本图像；
将所述第一长度的坐标序列与第二长度的模板坐标序列进行匹配，其中，所述第二长度的模板坐标序列用于指示目标手势轨迹；
在所述第一长度的坐标序列与第二长度的模板坐标序列匹配成功的情况下，确定在所述视频中识别出所述目标手势轨迹。


2.根据权利要求1所述的方法，其特征在于，通过所述目标关键点检测模型检测视频中的手势关键点的坐标，得到所述第一长度的坐标序列包括：
检测所述视频上的手势区域，其中，所述手势区域是所述视频中所展示的手部所在的区域；
通过所述目标关键点检测模型检测所述手势区域中的手势关键点的坐标，得到所述第一长度的坐标序列。


3.根据权利要求1所述的方法，其特征在于，所述手势关键点包括多个关键点，其中，通过所述目标关键点检测模型检测视频中的手势关键点的坐标，得到所述第一长度的坐标序列包括：
将所述视频中的多个关键帧输入所述目标关键点检测模型；
获取所述目标关键点检测模型输出的所述多个关键帧中每个关键帧对应的关键点坐标集合，得到具有对应关系的多个关键帧和多个关键点坐标集合，其中，每个关键点坐标集合中包括所述多个关键点在所述每个关键帧上的坐标值，所述多个关键点中每个关键点对应的关键点坐标在所述每个关键点坐标集合中的位置与所述每个关键点在所述视频中所包括的手部上的位置对应；
将所述多个关键点坐标集合按照所述多个关键帧的时间顺序排列得到的关键点坐标集合序列确定为所述第一长度的坐标序列。


4.根据权利要求3所述的方法，其特征在于，在将所述视频中的多个关键帧输入所述目标关键点检测模型之前，所述方法还包括：
将所述关键点检测样本输入所述初始关键点检测模型，得到所述初始关键点检测模型输出的检测结果；
根据所述检测结果与所述关键点检测样本所标注的多个手势关键点对应坐标确定目标损失函数的值，其中，所述目标损失函数是所述初始关键点检测模型所对应的损失函数；
根据所述目标损失函数的值与目标值之间的关系对所述初始关键点检测模型的模型参数进行调整，直至所述目标损失函数的值与所述目标值之间的关系满足目标条件，得到所述目标关键点检测模型。

【专利技术属性】
技术研发人员：赵突，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：北京;11