一种手语识别方法及装置制造方法及图纸

本发明专利技术的实施例提供的手语识别方法及装置，通过获取手势图像并识别手势图像中的手部动作和位置，确定手势数据，根据手语表达模型匹配确定手语语义，以语音或文字方式输出语义序列。本发明专利技术提供的手语识别方法及装置，通过采集手势图像识别手语表达，实现将手语动作转换为语音或者文字输出，提高了手语识别的便捷性，方便手语使用者日常的沟通交流。方便手语使用者日常的沟通交流。方便手语使用者日常的沟通交流。

A sign language recognition method and device

【技术实现步骤摘要】
一种手语识别方法及装置


[0001]本专利技术涉及计算机图像及人机交互
，具体而言，涉及一种手语识别方法及装置。

技术介绍

[0002]手语是聋哑人之间交流沟通的重要方式，由于手语表达的复杂性，正常人学习和掌握手语存在较高的难度，从而导致多数正常人无法运用手语与聋哑人进行交流，往往需要专业的手语翻译进行翻译。
[0003]随着人工智能技术和计算机视觉技术的快速发展，移动智能设备的运算能力越来越强，便携度越来越高，同时语言障碍人群对于参与社会活动的需求也在不断增加，如何通过移动智能设备实现手语识别和翻译，提高语言障碍人群沟通交流的便捷性，是人工智能技术发展过程中亟待解决的技术问题之一。

技术实现思路

[0004]为了解决上述技术问题至少之一，本专利技术的实施例提出了一种手语识别方法，包括以下步骤：S101，根据第一预设时间间隔，获取连续多帧手势图像；S102，识别每一帧所述手势图像中手部图像的位置和姿态；S103，根据预设的手语表达模型，确定所述手势图像中手部图像对应的手语语义。
[0005]优选地，所述步骤S102，具体为：识别所述手势图像中手部关节点，确定所述手部图像的姿态；以及，识别所述手势图像中人脸特征点，确定所述手部图像相对于人脸的位置。
[0006]优选地，所述手部图像的姿态，包括：所述手部图像中每一个手指的伸直或弯曲状态，以及所述手部图像中手腕的旋转角度。
[0007]优选地，所述步骤S103，具体为：根据第二预设时间间隔，提取两帧或两帧以上的所述手势图像；根据所述手势图像中手部图像的姿态和位置变化，通过匹配预设的手语表达模型，确定所述手势图像中手部图像对应的手语语义。
[0008]优选地，所述步骤S103，还包括：根据预设语义模型，以语音或文字方式输出所述手语语义。
[0009]本专利技术的实施例同时提出了一种手语识别装置，该装置包括：图像获取模块，用于根据第一预设时间间隔，获取连续多帧手势图像；手势识别模块，用于识别每一帧所述手势图像中手部图像的位置和姿态；语义确定模块，用于根据预设的手语表达模型，确定所述手势图像中手部图像对应的手语语义。
[0010]优选地，所述手势识别模块，具体用于：识别所述手势图像中手部关节点，确定所述手部图像的姿态；以及，识别所述手势图像中人脸特征点，确定所述手部图像相对于人脸的位置。
[0011]优选地，所述手部图像的姿态，包括：所述手部图像中每一个手指的伸直或弯曲状
态，以及所述手部图像中手腕的旋转角度。
[0012]优选地，所述语义确定模块，具体用于：根据第二预设时间间隔，提取两帧或两帧以上的所述手势图像；以及，根据所述手势图像中手部图像的姿态和位置变化，通过匹配预设的手语表达模型，确定所述手势图像中手部图像对应的手语语义。
[0013]优选地，所述手语识别装置，还包括：语义输出模块，用于根据预设语义模型，以语音或文字方式输出所述手语语义。
[0014]本专利技术的附加方面和优点将在下面的描述部分中变得明显，或通过本专利技术的实践了解到。
附图说明
[0015]本专利技术的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
[0016]图1是本专利技术的实施例的手语识别方法的流程示意图；
[0017]图2是本专利技术的实施例的手部图像的示意图；
[0018]图3是本专利技术的实施例的手语识别装置的结构示意图。
具体实施方式
[0019]为了能够更清楚地理解本专利技术的上述目的、特征和优点，下面结合附图和具体实施方式对本专利技术进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
[0020]在下面的描述中阐述了很多具体细节以便于充分理解本专利技术，但是，本专利技术还可以采用其他不同于在此描述的其他方式来实施，因此，本专利技术的保护范围并不受下面公开的具体实施例的限制。
[0021]实施例一
[0022]本专利技术实施例提出一种手语识别方法，如图1所示，包括以下步骤：S101，根据第一预设时间间隔，获取连续多帧手势图像；S102，识别每一帧所述手势图像中手部图像的位置和姿态；S103，根据预设的手语表达模型，确定所述手势图像中手部图像对应的手语语义。
[0023]在该技术方案中，记录手语手势动作，根据第一预设时间间隔获取连续多帧手势图像，可以是连续拍摄的多帧手势图像，也可以是视频序列中的连续多帧图像。根据手势识别算法，对每一帧手势图像进行手势检测，手势识别算法包括OpenPose算法和DeepHand算法，确定手势图像中的手部图像的位置和姿态，根据预设间隔时间内手部图像的姿态和/或位置变化，通过手语表达模型匹配确定对应的手语语义。
[0024]在上述技术方案中，步骤S102，具体为：识别所述手势图像中手部关节点，确定所述手部图像的姿态；以及，识别所述手势图像中人脸特征点，确定所述手部图像相对于人脸的位置。
[0025]在该技术方案中，识别手势图像中的手部关节点，确定手部图像的姿态，手部图像的姿态包括手部图像中每一个手指的伸直或弯曲状态，以及手部图像中手腕的旋转角度。具体地，在手势图像中识别出手部图像，根据预设的手部骨骼模型，识别手部图像中预设数量的关节点，确定关节点在图像坐标系中的坐标，其中，预设关节点包括手指关节和/或手
腕关节，根据手指关节确定手指的伸直或弯曲状态，根据手腕关节确定手腕的旋转角度。如图2所示，预设的关节点包括：大拇指的指尖T0、第一指间关节点T1、第二指间关节点T2及指根T3，食指的指尖F0、第一指间关节点F1、第二指间关节点F2及指根F3，中指的指尖M0、第一指间关节点M1、第二指间关节点M2及指根M3，无名指的指尖R0、第一指间关节点R1、第二指间关节点R2及指根R3，小拇指的指尖L0、第一指间关节点L1、第二指间关节点L2及指根L3，以及腕关节点W。根据手部图像中每个手指上每两个相邻的关节点确定手指每一关节的关节向量，计算关节向量在图像坐标系中的方向角度；根据关节向量的方向角度，计算每个手指上每两个相邻关节对应的关节向量之间的旋转角之和，得到手指的弯曲角度；根据手指的弯曲角度，获取手指的姿态，即手指的伸直或弯曲状态，确定手部图像对应的手指姿态序列。以大拇指为例，依次连接大拇指上每两个相邻的关节点，确定每一关节的关节向量，具体地，大拇指包括指尖T0、第一指间关节点T1、第二指间关节点T2和指根T3四个关节点，依次连接指尖T0和第一指间关节点T1、第一指间关节点T1和第二指间关节点T2、第二指间关节点T2和指根T3，以及指根T3和腕关节点W，得到大拇指对应的四个关节向量T0T1、T1T2、T2T3和T3W，根据以下表达式确定该四个关节向量在图像坐标系中的方向角度：
[0026]degrees(atan(x1‑
x0,y1‑
y0))
[0027]其中，(x0,y0)和(x1,y1)分别为两个相邻关节点在图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种手语识别方法，其特征在于，包括以下步骤：S101，根据第一预设时间间隔，获取连续多帧手势图像；S102，识别每一帧所述手势图像中手部图像的位置和姿态；S103，根据预设的手语表达模型，确定所述手势图像中手部图像对应的手语语义。2.根据权利要求1所述的手语识别方法，其特征在于，所述步骤S102，具体为：识别所述手势图像中手部关节点，确定所述手部图像的姿态；以及，识别所述手势图像中人脸特征点，确定所述手部图像相对于人脸的位置。3.根据权利要求2所述的手语识别方法，其特征在于，所述手部图像的姿态，包括：所述手部图像中每一个手指的伸直或弯曲状态，以及所述手部图像中手腕的旋转角度。4.根据权利要求3所述的手语识别方法，其特征在于，所述步骤S103，具体为：根据第二预设时间间隔，提取两帧或两帧以上的所述手势图像；根据所述手势图像中手部图像的姿态和位置变化，通过匹配预设的手语表达模型，确定所述手势图像中手部图像对应的手语语义。5.根据权利要求4所述的手语识别方法，其特征在于，所述步骤S103，还包括：根据预设语义模型，以语音或文字方式输出所述手语语义。6.一种手语识别装置，其...

【专利技术属性】
技术研发人员：陈更，史凌波，
申请(专利权)人：国科易讯北京科技有限公司，
类型：发明
国别省市：