System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于骨骼角度特征的静态手语识别方法技术_技高网

基于骨骼角度特征的静态手语识别方法技术

技术编号:44929948 阅读:6 留言:0更新日期:2025-04-08 19:11
本发明专利技术公开了一种基于骨骼角度特征的静态手语识别方法,所属领域为手语识别领域,包括:基于Mediapipe方法获取历史数据集中的人体手部骨骼关节点坐标数据;对所述人体手部骨骼关节点坐标数据进行数据预处理,获得预处理数据集;构建长短时记忆网络模型,基于所述预处理数据集对所述长短时记忆网络模型进行训练,获得手语识别模型;基于所述手语识别模型对静态手语进行识别。本发明专利技术提出的方案在无需进行手部定位、裁剪与调整手部图像,并且对训练数据集的要求没传统方案高,只需研究者提供清晰的手部图像即可。

【技术实现步骤摘要】

本专利技术属于手语识别领域,尤其涉及一种基于骨骼角度特征的静态手语识别方法


技术介绍

1、手语识别是聋人社群进行沟通交流的主要语言。作为一门视觉化的语言,手语具有丰富的词汇和完备的语法。但是在日常生活中,听人由于缺少专业知识,很难看懂聋人的手语所表达的内容。这种沟通障碍给聋人日常生活带来了不便,尤其是在医院、银行、车站等公共场合。为了实现聋人和听人的自由沟通,手语识别是其中非常重要的技术环节。

2、现有的手语识别模型普遍面临着不准确度的问题,主要体现在对手势的标准化输入依赖。许多系统在实际应用中,难以应对手势的多样性和变形。当手摆放不正或处于非标准姿态时,这些模型的识别准确率显著下降,导致识别效果不佳。很多系统也未能充分利用手的空间位置与姿态信息,进一步降低了识别的精度和可靠性。


技术实现思路

1、为解决上述技术问题,本专利技术提供了一种基于骨骼角度特征的静态手语识别方法,包括:

2、基于mediapipe方法获取历史数据集中的人体手部骨骼关节点坐标数据;

3、对所述人体手部骨骼关节点坐标数据进行数据预处理,获得预处理数据集;

4、构建长短时记忆网络模型,基于所述预处理数据集对所述长短时记忆网络模型进行训练,获得手语识别模型;

5、基于所述手语识别模型对静态手语进行识别。

6、优选地,基于mediapipe方法获取历史数据集中的人体手部骨骼关节点坐标数据的过程包括:

7、获取历史数据集;

<p>8、基于mediapipe方法对所述历史数据集进行提取,获得21个人体手部骨骼关节点坐标数据。

9、优选地,对所述人体手部骨骼关节点坐标数据进行数据预处理的过程包括:

10、基于所述人体手部骨骼关节点坐标数据获取基准轴;

11、基于所述基准轴计算每一组线段作为向量的斜率;

12、基于所述斜率获取每一组向量与基准向量之间夹角的cossin值,基于所述cossin值获得所述预处理数据集;

13、优选地,基于所述基准轴计算每一组线段作为向量的斜率的表达式为:

14、

15、其中,k为斜率,为第一个点的横坐标,为第一个点的纵坐标,为第二个点的横坐标,为第二个点的纵坐标;

16、基于所述斜率获取每一组向量与基准向量之间夹角的cossin值的表达式为:

17、其中,为手指第一个关节与基准轴的夹角,k为斜率。

18、优选地,所述长短时记忆网络模型包括:lstm层、注意力机制层和全连接层;

19、所述lstm层用于提取点与点之间的依赖关系与特征;

20、所述注意力机制层用于为不同的骨骼关键点分配权重,获取加权特征;

21、所述全连接层用于对所述加权特征进行分类。

22、优选地,所述长短时记忆网络模型的损失函数为:

23、;

24、其中,c为手语类别数,yi为真实类别的独热编码标签,y’i为模型预测输出的概率,λ为正则化强度超参数,wj为神经网络中第j个权重参数,n为神经网络的总参数数量。

25、优选地,所述获得手语识别模型的过程还包括:将精确度与f1-score作为所述手语识别模型的评估指标。

26、优选地,所述精确度的计算表达式为:

27、;

28、其中,accuracy为精确度,sum()为计算一个数据集合中的所有数值的总和,为正确分类的样本数,为总样本数;

29、所述f1-score的计算表达式为:

30、;

31、其中,为f1分数,为精确率,为召回率。

32、另一方面,本专利技术还提供了一种电子设备,包括存储器、处理器以及存储在所述存储器中并且可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现所述方法。

33、另一方面,本专利技术还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现所述方法。

34、与现有技术相比,本专利技术具有如下优点和技术效果:

35、本专利技术通过对输入的图片做特殊的数据预处理,将从原始数据集的手势图片中提取出来的骨骼点位信息进行重新链接,将生成的几个骨骼点位与标准轴线之间的夹角的正弦和余弦值重新组成一份新的数据集,并结合lstm神经网络进行深度学习,从而得到性能更强的模型。这个模型可以实现对手势的多样性和不同的摆放方式进行有效识别,确保在各种姿态下仍能保持更高的准确率,增强了系统的鲁棒性。较传统的手语识别方案而言,本专利技术提出的方案在无需进行手部定位、裁剪与调整手部图像,并且对训练数据集的要求没传统方案高,只需研究者提供清晰的手部图像即可,无需对同一手势、不同位置、不同角度的情况进行大量样本采集,且同样的有效图片样本数,本文方法模型输入数据体量较传统方法减少55%,可有效节省研究的工作量与资源消耗。

本文档来自技高网
...

【技术保护点】

1.一种基于骨骼角度特征的静态手语识别方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,基于Mediapipe方法获取历史数据集中的人体手部骨骼关节点坐标数据的过程包括:

3.根据权利要求1所述的方法,其特征在于,基于所述基准轴计算每一组线段作为向量的斜率的表达式为:

4.根据权利要求1所述的方法,其特征在于,所述长短时记忆网络模型的损失函数为:

5.根据权利要求1所述的方法,其特征在于,所述获得手语识别模型的过程还包括:将精确度与F1-Score作为所述手语识别模型的评估指标。

6.根据权利要求5所述的方法,其特征在于,所述精确度的计算表达式为:

7.一种电子设备,包括存储器、处理器以及存储在所述存储器中并且可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现所述权利要求1-6任意一项所述方法。

8.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现所述权利要求1-6任意一项所述方法。

【技术特征摘要】

1.一种基于骨骼角度特征的静态手语识别方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,基于mediapipe方法获取历史数据集中的人体手部骨骼关节点坐标数据的过程包括:

3.根据权利要求1所述的方法,其特征在于,基于所述基准轴计算每一组线段作为向量的斜率的表达式为:

4.根据权利要求1所述的方法,其特征在于,所述长短时记忆网络模型的损失函数为:

5.根据权利要求1所述的方法,其特征在于,所述获得手语识别模型的过程还包括:将...

【专利技术属性】
技术研发人员:王鸿伟蒋天宇杨锦龙智慧来王荣海林捷辛勤芳吴豪杰
申请(专利权)人:泉州师范学院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1