【技术实现步骤摘要】
本专利技术涉及手势识别与交互，尤其是一种手部关键点检测方法。
技术介绍
1、手势通常指的是人在使用手臂时所体现出的具体动作与体位,因其具有强表现力和高度灵活性度等特点，使之成为人类最早使用的至今仍被广泛运用的一种交际工具。随着社会科技的发展，手势的交互对象也发生了改变，不仅仅用作于人与人之间沟通交流，还成为人与机器、类人智能机器与机器之间相互沟通的重要桥梁，因此成为广大科研人员研究的热点。而如何获得高精度、高准确率的手势识别已成为手势交互研究的关键。
2、手部关键点检测是整个手势识别系统中的重要一步，关键点检测的好坏直接影响到手势识别的准确率；同时由于手势具有高度的灵活性而容易产生各种朝向的手势，给手部关键点的检测增加了困难，使之成为手势识别系统中最具挑战性的一个任务。当前利用深度学习手段进行手部关键点检测的一般步骤：将含有手部的图像输入预先训练的手部关键点检测模型中，由该网络模型推理出手部21个关键点的位置坐标，这种方式在背景单一的情况可以取得较好的检测效果，但是并不能满足实际工程中的使用。
3、申请公布号为cn115273223a的专利技术专利提出了一种轻量化手部骨骼关键点定位方法。该方法主要包括：手部区域图像生成、基于域自适应学习的热图回归轻量化手部骨骼关键点定位网络生成手部21个骨骼关键点、关键点连接成手部骨架三个步骤。其中手部区域图像生成部分主要是由某一通用的单阶段目标检测算法组成，其作用是逐帧检测图像中的手部区域，将检测到的手部区域提取出来并进行缩放得到固定分辨率的手部区域图像；手部骨骼关键点
技术实现思路
1、本申请针对上述现有技术中的缺点，提供一种手部关键点检测方法，能够极大的解决因手势姿态复杂、弯曲而对关键点检测网络检测手部关键点造成的误差，能够对各个朝向、弯曲姿态下的手势进行较为准确的关键点检测，弥补了现有技术仅能在标准手势下准确检测的空白。
2、本专利技术所采用的技术方案如下：
3、一种手部关键点检测方法，其包括如下步骤：
4、s1：对手部区域检测与提取，对于提取到的图像进行逐帧检测，当检测到图像中有手存在时，提取出手部区域，并同时返回检测出的手掌区域中7个关键点的x-y坐标值；
5、s2：手掌朝向角度计算与角度补偿；提取至少两个关键点坐标，计算出代表手掌朝向的角度值α；根据计算出的角度值α得出补偿角度β，并进行角度补偿操作，使手部区域进入关键点检测网络之前保持垂直或平行于水平面方向，生成手部区域图像；
6、s3：手掌关键点检测：将处理后的手部区域图像输入至预先训练好的手部关键点检测网络中，生成21个手部关键点及其对应于平面直角坐标系的坐标；
7、s4：将21个骨骼关键点连接成手部骨架；重复上述步骤，针对手势视频生成基于手部骨架的动态手势表示，用于动态手势识别。
8、进一步地，所述步骤s1的图像检测和提取以及步骤s2的关键点提取均基于yolov5模型。
9、进一步地，所述步骤s2中，提取2个坐标，分别为手腕关节点坐标以及中指掌指掌关节点坐标，根据上述坐标计算手掌朝向角度值α。
10、进一步地，定义当手掌朝向与x轴正方向平行时，手掌朝向角度为0°，定义手腕关节点坐标为(x1，y1)以及中指掌指掌关节点坐标(x2，y2)，手掌朝向分别对应于平面直角坐标系中的四个不同的象限，手掌朝向角度α的计算算法即：
11、
12、其中，dx＝x2-x1,dy＝y2-y1且，当x2＝x1或y2＝y1时，α＝0即当手掌处于水平或垂直时规定手掌朝向角度为0°。
13、进一步地，基于所述手掌朝向α的计算算法，所述补偿角度β的计算算法为：
14、
15、进一步地，所述步骤s3中，经步骤s2角度补偿后输出的手部区域图像需要进行缩放生成固定分辨率的手部区域图像，再输入至预先训练好的手部关键点检测网络中。
16、相对现有技术而言，本专利技术的有益效果如下：
17、1、可以有效地去除干扰信息，倾斜手部图像可能会包含过多的和需要的手部区域无关的信息和背景。通过将手部图像分割出来，可以去除干扰因素，使得关键点检测算法更加专注于手部区域的关键点定位，从而提高准确率。
18、2、恢复标准形状。将倾斜手部图像的旋转至垂直或平行于水平面可以一定程度上恢复手掌的标准形状和姿态。关键点检测算法可以更准确地建模手部的形变和姿态变化，提高对关键点位置的识别准确率。
19、3、统一数据分布。将倾斜手部图像的旋转至垂直或平行于水平面可以使得手部图像分布更加集中。这有助于提高关键点检测算法的学习成本，从而可以在一定程度上提高关键点检测的准确率。故本专利技术所提及的关键点检测方法可以满足在各种手掌朝向下手部关键点的检测任务，且具有较高的检测精度。
本文档来自技高网...【技术保护点】
1.一种手部关键点检测方法，其特征在于：包括如下步骤：
2.如权利要求1所述的一种手部关键点检测方法，其特征在于：所述步骤S1的图像检测和提取以及步骤S2的关键点提取均基于Yolov5模型。
3.如权利要求2所述的一种手部关键点检测方法，其特征在于：所述步骤S2中，提取2个坐标，分别为手腕关节点坐标(0)以及中指掌指掌关节点坐标(9)，根据上述坐标计算手掌朝向角度值α。
4.如权利要求3所述的一种手部关键点检测方法，其特征在于：定义当手掌朝向与X轴正方向平行时，手掌朝向角度为0°，定义手腕关节点(0)坐标为(X1，Y1)以及中指掌指掌关节点(9)的坐标为(X2，Y2)，手掌朝向分别对应于平面直角坐标系中的四个不同的象限，手掌朝向角度α的计算算法即：
5.如权利要求4所述的一种手部关键点检测方法，其特征在于：基于所述手掌朝向α的计算算法，所述补偿角度β的计算算法为：
6.如权利要求1所述的一种手部关键点检测方法，其特征在于：所述步骤S3中，经步骤S2角度补偿后输出的手部区域图像需要进行缩放生成固定分辨率的手部区域图像，再输
...【技术特征摘要】
1.一种手部关键点检测方法，其特征在于：包括如下步骤：
2.如权利要求1所述的一种手部关键点检测方法，其特征在于：所述步骤s1的图像检测和提取以及步骤s2的关键点提取均基于yolov5模型。
3.如权利要求2所述的一种手部关键点检测方法，其特征在于：所述步骤s2中，提取2个坐标，分别为手腕关节点坐标(0)以及中指掌指掌关节点坐标(9)，根据上述坐标计算手掌朝向角度值α。
4.如权利要求3所述的一种手部关键点检测方法，其特征在于：定义当手掌朝向与x轴正方向平行时，手掌朝向角度为...
【专利技术属性】
技术研发人员：王臣豪，吴珩，苑孟凯，
申请(专利权)人：宁波春建电子科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。