【技术实现步骤摘要】
本申请涉及计算机视觉，特别是涉及一种基于长短期记忆网络和transformer算法的人体动作识别方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
技术介绍
1、理解人的行为是计算机视觉中最重要的任务之一。通过人体动作识别方法对图像进行识别，得到人的动作类别，从而为后续人机交互、机器人技术和游戏控制等广泛的应用提供数据基础。
2、目前的人体动作识别方法，基于gcn网络（graph convolution network，图卷积网络）提取目标对象的各关键点数据各维度的位置特征，并根据各维度的位置特征构建关键点特征图。然后，基于mlp（multilayer perceptron，多层感知机）网络对关键点特征图进行图像识别，得到目标对象的动作识别结果。
3、然而，目前的人体动作识别方法，gcn网络会提取关键点数据各维度的位置特征，使得关键点特征图的数据量较大，进而使得mlp网络耗费大量的时间处理关键点特征图。因此，目前的图像识别方法的效率较低。
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种基于长短期记忆网络和transformer算法的人体动作识别方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
2、第一方面，本申请提供了一种基于长短期记忆网络和transformer算法的人体动作识别方法，包括：
3、获取图像数据对应的关键点热力图；所述关键点热力图中包含目标对象的各关键点数据；
4、根据目标
5、基于序列模型和激活函数对所述位置特征图进行图像识别，得到所述目标对象的动作识别结果。
6、在其中一个实施例中，所述根据目标循环神经网络提取所述关键点热力图中的目标维度的目标位置特征，并基于所述目标位置特征和所述关键点热力图构建所述目标对象的位置特征图，包括：
7、将所述关键点热力图输入目标循环神经网络中，通过所述目标循环神经网络提取每一所述关键点数据的全量维度的位置特征；
8、基于所述目标循环神经网络对所述全量维度的位置特征进行筛选，得到目标维度的目标位置特征；
9、根据各所述目标位置特征构建特征矩阵图，并拼接所述特征矩阵图和所述关键点热力图，得到所述目标对象的位置特征图。
10、在其中一个实施例中，所述基于序列模型和激活函数对所述位置特征图进行图像识别，得到所述目标对象的动作识别结果，包括：
11、对所述位置特征图进行划分，得到各初始位置特征子图，并对每一所述初始位置特征子图进行位置编码，得到位置特征子图；
12、基于各所述位置特征子图之间的位置关系，确定位置关系数据；
13、根据序列模型、所述位置关系数据和激活函数对各所述位置特征子图进行图像识别，得到输出结果，并基于所述输出结果确定所述目标对象的动作识别结果。
14、在其中一个实施例中，所述根据序列模型、所述位置关系数据和激活函数对各所述位置特征子图进行图像识别，得到输出结果，包括：
15、将各所述位置特征子图确定为补丁嵌入，并将目标动作类别数据和所述位置关系数据确定为类令牌；所述目标动作类别数据为需要分类的动作类别的动作特征数据；
16、根据序列模型对所述补丁嵌入和所述类令牌进行图像识别，得到初始输出结果；
17、根据所述激活函数对所述初始输出结果进行映射处理，得到输出结果。
18、在其中一个实施例中，所述输出结果包括目标动作类别的概率，所述基于所述输出结果确定所述目标对象的动作识别结果，包括：
19、判断所述目标动作类别的概率是否大于等于预设的概率阈值；
20、若所述概率大于等于所述概率阈值，确定所述目标对象的动作识别结果为目标动作类别；
21、若所述概率小于所述概率阈值，确定所述目标对象的动作识别结果为非目标动作类别。
22、在其中一个实施例中，所述根据目标循环神经网络提取所述关键点热力图中的目标维度的目标位置特征，并基于所述目标位置特征和所述关键点热力图构建所述目标对象的位置特征图之前，所述方法还包括：
23、获取图像样本集；所述图像样本集中包含图像训练样本集和图像验证样本集；
24、基于所述图像训练样本集对循环神经网络进行训练，得到训练后的循环神经网络，并基于所述图像验证样本集对所述训练后的循环神经网络进行验证，得到验证结果；
25、判断所述验证结果是否满足预设的训练完成条件；
26、在所述验证结果满足所述训练完成条件的情况下，确定所述训练后的循环神经网络为目标循环神经网络。
27、在其中一个实施例中，所述验证结果为损失值，所述判断所述验证结果是否满足预设的训练完成条件之后，所述方法还包括：
28、在所述验证结果不满足所述训练完成条件的情况下，基于所述损失值和链式算法确定梯度值；
29、根据梯度下降法和所述梯度值更新所述训练后的循环神经网络的参数；所述参数用于确定所述目标维度；
30、执行所述基于所述图像训练样本集对循环神经网络进行训练的步骤，直到所述验证结果满足所述训练完成条件。
31、在其中一个实施例中，所述获取图像数据对应的关键点热力图，包括：
32、获取初始图像数据，并按照预设的图像格式对所述初始图像数据进行预处理，得到图像数据；
33、基于人体姿态估计模型提取所述图像数据中目标对象的关键点数据，得到关键点热力图。
34、第二方面，本申请还提供了一种基于长短期记忆网络和transformer算法的人体动作识别装置，包括：
35、获取模块，用于获取图像数据对应的关键点热力图；所述关键点热力图中包含目标对象的各关键点数据；
36、提取模块，用于根据目标循环神经网络提取所述关键点热力图中的目标维度的目标位置特征，并基于所述目标位置特征和所述关键点热力图构建所述目标对象的位置特征图；
37、识别模块，用于基于序列模型和激活函数对所述位置特征图进行图像识别，得到所述目标对象的动作识别结果。
38、第三方面，本申请还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
39、获取图像数据对应的关键点热力图；所述关键点热力图中包含目标对象的各关键点数据；
40、根据目标循环神经网络提取所述关键点热力图中的目标维度的目标位置特征，并基于所述目标位置特征和所述关键点热力图构建所述目标对象的位置特征图；
41、基于序列模型和激活函数对所述位置特征图进行图像识别，得到所述目标对象的动作识别结果。
42、第四方面，本申请还提供了一种计算机可读本文档来自技高网...
【技术保护点】
1.一种基于长短期记忆网络和Transformer算法的人体动作识别方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述根据目标循环神经网络提取所述关键点热力图中的目标维度的目标位置特征，并基于所述目标位置特征和所述关键点热力图构建所述目标对象的位置特征图，包括：
3.根据权利要求1所述的方法，其特征在于，所述基于序列模型和激活函数对所述位置特征图进行图像识别，得到所述目标对象的动作识别结果，包括：
4.根据权利要求3所述的方法，其特征在于，所述根据序列模型、所述位置关系数据和激活函数对各所述位置特征子图进行图像识别，得到输出结果，包括：
5.根据权利要求3所述的方法，其特征在于，所述输出结果包括目标动作类别的概率，所述基于所述输出结果确定所述目标对象的动作识别结果，包括：
6.根据权利要求1所述的方法，其特征在于，所述根据目标循环神经网络提取所述关键点热力图中的目标维度的目标位置特征，并基于所述目标位置特征和所述关键点热力图构建所述目标对象的位置特征图之前，所述方法还包括：
7.
8.根据权利要求1所述的方法，其特征在于，所述获取图像数据对应的关键点热力图，包括：
9.一种基于长短期记忆网络和Transformer算法的人体动作识别装置，其特征在于，所述装置包括：
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。
...【技术特征摘要】
1.一种基于长短期记忆网络和transformer算法的人体动作识别方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述根据目标循环神经网络提取所述关键点热力图中的目标维度的目标位置特征，并基于所述目标位置特征和所述关键点热力图构建所述目标对象的位置特征图，包括：
3.根据权利要求1所述的方法，其特征在于，所述基于序列模型和激活函数对所述位置特征图进行图像识别，得到所述目标对象的动作识别结果，包括：
4.根据权利要求3所述的方法，其特征在于，所述根据序列模型、所述位置关系数据和激活函数对各所述位置特征子图进行图像识别，得到输出结果，包括：
5.根据权利要求3所述的方法，其特征在于，所述输出结果包括目标动作类别的概率，所述基于所述输出结果确定所述目标对象的动作识别结果，...
【专利技术属性】
技术研发人员：林鹏威，吕逸良，王湾湾，杨艳鑫，杨恒，王杨俊杰，李志涛，
申请(专利权)人：中电金信软件有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。