【技术实现步骤摘要】
本专利技术实施例涉及姿态识别，具体涉及一种动态手势识别方法、装置、设备及计算机可读存储介质。
技术介绍
1、在现有的手势识别方法中，通常利用固定长度和固定步长的滑动窗口截取视频帧组进行数据处理。然而实践中多个动态手势间的时间间隔并不相等，利用现有的数据处理方法容易导致滑动窗口重叠，不能保证截取到的视频帧组属于同一动态手势的轨迹以及截取到多余视频帧等，进而对于动态手势起始、结束位置的界定模糊，难以消除遮挡、快动作等导致的手部检测失败的影响，从而带来误识别问题，其耗时高和准确率低。另外，现有的手势识别模型的结构简单，不能表达不同尺度的特征，例如动态手势的时空演变规律和不同动态手势的多样变化，导致手势识别准确性低。
技术实现思路
1、鉴于上述问题，本专利技术实施例提供了一种动态手势识别方法、装置、设备及计算机可读存储介质，以提高动态手势识别的准确性。
2、根据本专利技术实施例的一个方面，提供了一种动态手势识别方法，所述方法包括：
3、提取待识别视频数据中的手势视频帧，并将不少于预设帧数的连续手势视频帧作为手势视频帧组，得到若干个手势视频帧组；
4、对每个所述手势视频帧组进行手部关键点提取，得到对应的3d手部关键点序列，依次将每个所述3d手部关键点序列输入识别模型，以使所述识别模型对每个所述3d关键点序列进行特征计算，得到空间特征和时间特征；分别对所述空间特征和所述时间特征进行特征变换，依次进行时空特征融合、多尺度特征提取和cbam特征增强处理，得到手势
5、在一种可选的方式中，所述提取待识别视频数据中的手势视频帧，并将不少于预设帧数的连续手势视频帧作为手势视频帧组，得到若干个手势视频帧组，包括：
6、检测视频数据的手势视频帧；所述手势视频帧包括：第一手势帧和第二手势帧；其中，所述第一手势帧为检测到手部的视频帧，所述第二手势帧为由于预设原因检测失败的视频帧；
7、利用一个可自适应调节长度的窗口截取待识别视频数据中的连续的手势视频帧，得到若干个手势视频帧组；
8、其中，每个所述手势视频帧组中所述第一手势帧的帧数为第一预设值，所述第二手势帧的帧数可自适应调节，所述第一手势帧的帧数和所述第二手势帧的帧数之和为所述窗口的长度；所述窗口的长度不小于第二预设值。
9、在一种可选的方式中，对每个所述手势视频帧组进行手部关键点提取，得到对应的3d手部关键点序列，依次将每个所述3d手部关键点序列输入识别模型，以使所述识别模型对每个所述3d关键点序列进行特征计算，得到空间特征和时间特征，包括：
10、提取每个所述手势视频帧组中每帧手势视频帧中的3d手部关键点；
11、将每帧所述3d手部关键点按照时间顺序排列，得到每个所述手势视频帧组的3d手部关键点序列；
12、设置3d手部关键点的关键点对，计算所述关键点对的距离信息；
13、将所述关键点对的距离信息按空间顺序进行排序，得到空间特征；
14、将3d手部关键点序列作为轨迹信息，提取第一预设尺度的轨迹信息，得到时间特征。
15、在一种可选的方式中，分别对所述空间特征和所述时间特征进行特征变换，依次进行时空特征融合、多尺度特征提取和cbam特征增强处理，得到手势时空特征，包括：
16、分别对所述空间特征和所述时间特征进行特征变换，将所述空间特征和所述时间特征变成到相同的维度上，得到变换后的特征；
17、将所述变换后的特征进行时空特征融合，得到融合后的特征数据；
18、按照第二预设尺度将融合后的特征数据进行特征提取，得到对应尺度的提取数据；
19、对所述提取数据进行cbam特征增强，得到手势时空特征。
20、在一种可选的方式中，分别对所述空间特征和所述时间特征进行特征变换，将所述空间特征和所述时间特征变成到相同的维度上，得到变换后的特征，包括：
21、将所述空间特征和所述时间特征依次输入到相同的卷积核和滤波器中，并利用池化操作将所述空间特征和所述时间特征的尺寸修改为预设尺寸，得到变换后的特征。
22、在一种可选的方式中，按照第二预设尺度将融合后的特征数据进行特征提取，得到对应尺度的提取数据，包括：
23、按照第二预设尺度，采用对应尺度的卷积核对融合后的特征数据进行特征提取，得到对应尺度的提取数据。
24、在一种可选的方式中，对所述提取数据进行cbam特征增强，得到手势时空特征，包括：
25、将所述提取数据输入cbam模块，以使所述cbam模块计算提取数据在预设维度上的注意力权重，将所述注意力权重输入特征图进行自适应特征加权，得到增强后的提取数据；将所述增强后的提取数据作为手势时空特征。
26、本实施例通过一个动态窗口来截取视频画面，减少了对于无效视频帧组和重复帧的处理耗时，具有更高的响应速度；避免了检索案件中某些视频帧组内可能存在无效甚至不相关手势的干扰，降低误识别率；本实施例对计算的时空特征先通过卷积模块进行特征变换到相同维度后融合在一起后，采用多尺度卷积模块提取不同尺度的特征，以捕捉动态手势的多样变化和时空演变规律，并采用cbam模块进行特征增强，关注手势的重要特征并抑制无效特征，而后再将特征映射到识别结果，从而提高手势识别准确性，同时本实施例并未增加过多的参数量和计算量，具有较高的实时性。本实施例能应对个别手部视频帧存在的短时遮挡和手速过快等问题，提高动态手势识别的准确性。
27、根据本专利技术实施例的另一方面，提供了一种动态手势识别装置，包括：动态提取模块和识别模块；
28、所述动态提取模块用于提取待识别视频数据中的手势视频帧，并将不少于预设帧数的连续手势视频帧作为手势视频帧组，得到若干个手势视频帧组；
29、所述识别模块用于对每个所述手势视频帧组进行手部关键点提取，得到对应的3d手部关键点序列，依次将每个所述3d手部关键点序列输入识别模型，以使所述识别模型对每个所述3d关键点序列进行特征计算，得到空间特征和时间特征；分别对所述空间特征和所述时间特征进行特征变换，依次进行时空特征融合、多尺度特征提取和cbam特征增强处理，得到手势时空特征；将所述手势时空特征进行特征映射，得到每个所述手势视频帧组对应的识别结果。
30、根据本专利技术实施例的另一方面，提供了一种动态手势识别设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如上述任意一项所述的动态手势识别方法的操作。
31、根据本专利技术实施例的又一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使动态手势识别设备/装置执行如上述任意一项所述的动态手势识别方法本文档来自技高网...
【技术保护点】
1.一种动态手势识别方法，其特征在于，所述方法包括：
2.根据权利要求1所述的动态手势识别方法，其特征在于，所述提取待识别视频数据中的手势视频帧，并将不少于预设帧数的连续手势视频帧作为手势视频帧组，得到若干个手势视频帧组，包括：
3.根据权利要求1所述的动态手势识别方法，其特征在于，对每个所述手势视频帧组进行手部关键点提取，得到对应的3D手部关键点序列，依次将每个所述3D手部关键点序列输入识别模型，以使所述识别模型对每个所述3D关键点序列进行特征计算，得到空间特征和时间特征，包括：
4.根据权利要求1所述的动态手势识别方法，其特征在于，分别对所述空间特征和所述时间特征进行特征变换，依次进行时空特征融合、多尺度特征提取和CBAM特征增强处理，得到手势时空特征，包括：
5.根据权利要求4所述的动态手势识别方法，其特征在于，分别对所述空间特征和所述时间特征进行特征变换，将所述空间特征和所述时间特征变成到相同的维度上，得到变换后的特征，包括：
6.根据权利要求4所述的动态手势识别方法，其特征在于，按照第二预设尺度将融合后的特征数
7.根据权利要求4所述的动态手势识别方法，其特征在于，对所述提取数据进行CBAM特征增强，得到手势时空特征，包括：
8.一种动态手势识别装置，其特征在于，所述装置包括：动态提取模块和识别模块；
9.一种动态手势识别设备，其特征在于，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一可执行指令，所述可执行指令在动态手势识别设备/装置上运行时，使得动态手势识别设备/装置执行如权利要求1-7任意一项所述的动态手势识别方法的操作。
...【技术特征摘要】
1.一种动态手势识别方法，其特征在于，所述方法包括：
2.根据权利要求1所述的动态手势识别方法，其特征在于，所述提取待识别视频数据中的手势视频帧，并将不少于预设帧数的连续手势视频帧作为手势视频帧组，得到若干个手势视频帧组，包括：
3.根据权利要求1所述的动态手势识别方法，其特征在于，对每个所述手势视频帧组进行手部关键点提取，得到对应的3d手部关键点序列，依次将每个所述3d手部关键点序列输入识别模型，以使所述识别模型对每个所述3d关键点序列进行特征计算，得到空间特征和时间特征，包括：
4.根据权利要求1所述的动态手势识别方法，其特征在于，分别对所述空间特征和所述时间特征进行特征变换，依次进行时空特征融合、多尺度特征提取和cbam特征增强处理，得到手势时空特征，包括：
5.根据权利要求4所述的动态手势识别方法，其特征在于，分别对所述空间特征和所述时间特征进行特征变换，将...
【专利技术属性】
技术研发人员：郑杰，朱正辉，蔡文生，张常华，
申请(专利权)人：广东保伦电子股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。