行为识别方法、装置、电子设备和计算机可读存储介质制造方法及图纸

本申请提供一种行为识别方法、装置、电子设备和计算机可读存储介质，该方法结合图卷积层和Transformer算法中的编码器对骨骼数据进行行为识别，从而实现了基于图卷积层和Transformer编码器的小模型即可对骨骼数据的行为进行识别；并且还实现了利用图卷积层对骨骼数据的充分分析。该方法所采用Transformer的编码器虽然只有两层，但能够很好地识别出骨骼数据在时间维度上的关联性，且两层的小结构能有更快的识别推理速度，从而使得设计的识别模型小并且具有较高的识别准确性。另外地，在该方法中，通过利用全局点的方式对图卷积层网络进行优化，使得图卷积层网络提取的特征表征骨骼的全局特征，从而进一步提高本方案对行为识别的准确性。识别的准确性。识别的准确性。

【技术实现步骤摘要】
行为识别方法、装置、电子设备和计算机可读存储介质


[0001]本申请涉及行为智能识别领域，具体而言，涉及一种行为识别方法、装置、电子设备和计算机可读存储介质。

技术介绍

[0002]在基于骨骼的人体动作识别方法中，可以通过人体骨骼的时间和空间变化来分析人体行为。由于骨骼不受服装变化、光照条件或复杂背景的限制，这种识别方法可靠性强且具有较广的应用场景。通常，在识别的过程中，人体骨架被分割成不同的身体部位，而识别系统识别人体各身体部位的位置以检测姿势，从而可以提高执法设施、学校、机场、银行、商业空间或办公楼的安全防范，另外一方面也检测可疑或异常的行为，在安全、行为监测等领域具有十分重要的意义和应用价值。
[0003]目前，骨骼数据的智能行为分析已是目前较为成熟的智能行为分析技术，对于骨骼行为识别的方法一般是采用深度神经网络进行自动识别，但目前所应用的分析系统或方法，其基于骨骼数据完成行为智能识别的前沿网络模型极大，难以部署到小算力设备上，并且识别过程复杂，速度慢。

技术实现思路

[0004]本申请实施例的目的在于提供一种行为识别方法、装置、电子设备和计算机可读存储介质，用以解决目前基于骨骼数据的智能行为识别方法存在的模型大、部署困难以及识别过程复杂速度慢的问题。
[0005]第一方面，本专利技术提供一种行为识别方法，包括：根据待识别骨骼信息和目标全局点信息构建，获得骨骼输入信息；其中，目标全局点表示待识别骨骼信息中每个骨骼点获取的信息比例一致的点；通过目标图卷积层对骨骼输入信息进行骨骼特征提取，获得第一特征信息；其中，第一特征信息表示待识别骨骼信息与目标全局点信息完成信息糅合后的信息；根据目标Transformer编码器和第一特征信息对待识别骨骼信息对应的行为进行识别。
[0006]上述设计的行为识别方法，本方案结合图卷积层和Transformer算法中的编码器对骨骼数据进行行为识别，从而基于图卷积层和Transformer编码器的小模型即可对骨骼数据的行为进行识别，并且图卷积层能够对充分分析骨骼数据，采用Transformer的编码器虽然只有两层，但能够很好地识别出骨骼数据在时间维度上的关联性，且两层的小结构能有更快的识别推理速度，从而使得设计的识别模型小并且具有较高的识别准确性，另外利用全局点的方式对图卷积层网络进行优化，使得图卷积层网络提取的特征表征骨骼的全局特征，从而进一步提高本方案的准确性。
[0007]在第一方面的可选实施方式中，根据目标Transformer编码器和第一特征信息对待识别骨骼信息对应的行为进行识别，包括：提取第一特征信息中的第标全局点特征信息，并根据目标全局点特征信息和目标时间向量生成编码输入数据；通过目标Transformer编码器对编码输入数据进行时间特征提取，获得第二特征信息，第二特征信息表示目标全局
点特征信息与目标时间向量完成信息糅合后的信息；根据第二特征信息对待识别骨骼信息对应的行为进行识别。
[0008]在上述实施方式中，本方案通过引入目标时间向量，从而使得第二特征信息中的时间维度特征可通过与其糅合后的目标时间向量表征，从而简化算法并提高准确性。
[0009]在第一方面的可选实施方式中，根据第二特征信息对待识别骨骼信息对应的行为进行识别，包括：提取所述第二特征信息中的目标时间向量特征信息；将目标时间向量特征信息输入多层感知机，获得多层感知机输出的每种行为类型对应的概率；根据每种行为类型对应的概率确定待识别骨骼信息对应的行为。
[0010]在上述实施方式中，本方案通过多层感知机基于第二特征信息进行行为类型识别，从而保障行为识别的准确性。
[0011]在第一方面的可选实施方式中，根据目标全局点特征信息和目标时间向量生成编码输入数据，包括：将目标全局点特征信息和目标时间向量进行拼接，获得第一拼接数据；对第一拼接数据添加位置编码，获得编码输入数据。
[0012]在上述实施方式中，本方案在引入目标时间向量基础上，添加位置编码，从而使得单独的Transformer编码器也可识别出骨骼信息中的时序，进而使得识别出的特征具有时间关联性，提高Transformer编码器的识别准确性。
[0013]在第一方面的可选实施方式中，通过目标图卷积层对所述骨骼输入信息进行特征提取，获得第一特征信息，包括：通过目标图卷积层对所述骨骼输入信息进行特征升维；对特征升维后的骨骼输入信息进行信息糅合，获得第一特征信息。
[0014]在第一方面的可选实施方式中，对特征升维后的骨骼输入信息进行信息糅合，获得第一特征信息，包括：根据特征升维后的骨骼输入信息与目标图邻接矩阵生成所述第一特征信息，所述目标图邻接矩阵通过预先对预设图邻接矩阵训练获得。
[0015]在第一方面的可选实施方式中，在根据待识别骨骼信息和目标全局点信息构建，获得骨骼输入信息之前，该方法还包括：获取骨骼样本数据集，所述骨骼样本数据集包括多个骨骼样本数据，每个骨骼样本数据包括骨骼点样本以及对应的行为标签；对多个骨骼样本数据进行归一化处理，获得归一化处理完成的多个骨骼样本数据；根据预设的全局点和归一化处理完成的每个骨骼样本数据构建多个骨骼样本输入数据；根据多个骨骼样本输入数据对预设的全局点、预设的图卷积层、预设时间向量以及预设的Transformer编码器进行训练，获得目标全局点、目标图卷积层、目标时间向量以及目标Transformer编码器。
[0016]在第一方面的可选实施方式中，根据多个骨骼样本输入数据对预设的全局点、预设的图卷积层、预设时间向量以及预设的Transformer编码器进行训练，包括：从多个骨骼样本输入数据中选择一组骨骼样本输入数据作为当前骨骼样本输入集；将当前骨骼样本输入集输入预设的图卷积层中，获得每个当前骨骼样本输入数据对应的第一特征信息；提取每个当前骨骼样本输入数据对应的第一特征信息中的预设全局点特征信息，并根据预设全局点特征信息和预设时间向量生成编码样本输入数据；将编码样本输入数据输入预设的Transformer编码器中，获得每个编码样本输入数据对应的第二特征信息并基于第二特征信息和预设多层感知机得到对应的分类结果；通过每个骨骼样本输入数据对应的第一特征信息、每个编码样本输入数据对应的第二特征信息以及对应的行为标签，通过对比损失函数计算当前骨骼样本输入集对应的训练损失；根据训练损失、反向传播算法及优化算法对
预设全局点、预设的图卷积层、预设时间向量以及预设的Transformer编码器分别对应的各个参数进行更新迭代；判断当前迭代累计次数是否超过预设的迭代次数，或预设全局点、预设的图卷积层、预设时间向量以及预设的Transformer编码器分别对应的各个参数是否收敛；若当前迭代累计次数超过预设的迭代次数或所述预设全局点、预设的图卷积层、预设时间向量以及预设的Transformer编码器分别对应的各个参数收敛，则获得目标全局点、目标图卷积层、目标时间向量以及目标Transformer编码器；若当前迭代累计次数没有超过预设的迭代次数且所述预本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种行为识别方法，其特征在于，包括：根据待识别骨骼信息和目标全局点信息构建，获得骨骼输入信息；其中，所述目标全局点表示待识别骨骼信息中每个骨骼点获取的信息比例一致的点；通过目标图卷积层对所述骨骼输入信息进行骨骼特征提取，获得第一特征信息；其中，所述第一特征信息表示所述待识别骨骼信息与目标参考点信息完成信息糅合后的信息；根据目标Transformer编码器和所述第一特征信息对所述待识别骨骼信息对应的行为进行识别。2.根据权利要求1所述的方法，其特征在于，所述根据目标Transformer编码器和所述第一特征信息对所述待识别骨骼信息对应的行为进行识别，包括：提取所述第一特征信息中的目标全局点特征信息，并根据目标全局点特征信息和目标时间向量生成编码输入数据；通过目标Transformer编码器对所述编码输入数据进行时间特征提取，获得第二特征信息；其中，所述第二特征信息表示所述目标全局点特征信息与目标时间向量完成信息糅合后的信息；根据所述第二特征信息对所述待识别骨骼信息对应的行为进行识别。3.根据权利要求2所述的方法，其特征在于，所述根据所述第二特征信息对所述待识别骨骼信息对应的行为进行识别，包括：提取所述第二特征信息中的目标时间向量特征信息；将所述目标时间向量特征信息输入多层感知机，获得所述多层感知机输出的每种行为类型对应的概率；根据每种行为类型对应的概率确定所述待识别骨骼信息对应的行为。4.根据权利要求2所述的方法，其特征在于，所述根据目标全局点特征信息和目标时间向量生成编码输入数据，包括：将所述目标全局点特征信息和目标时间向量进行拼接，获得第一拼接数据；对所述第一拼接数据添加位置编码，获得所述编码输入数据。5.根据权利要求1所述的方法，其特征在于，所述通过目标图卷积层对所述骨骼输入信息进行特征提取，获得第一特征信息，包括：通过目标图卷积层对所述骨骼输入信息进行特征升维；对特征升维后的骨骼输入信息进行信息糅合，获得所述第一特征信息。6.根据权利要求5所述的方法，其特征在于，所述对特征升维后的骨骼输入信息进行信息糅合，获得第一特征信息，包括：根据特征升维后的骨骼输入信息与目标邻接矩阵生成所述第一特征信息；其中，所述目标邻接矩阵通过预先训练获得。7.根据权利要求1
‑
6中任一项所述的方法，其特征在于，在所述根据待识别骨骼信息和目标全局点信息构建，获得骨骼输入信息之前，所述方法还包括：获取骨骼样本数据集；其中，所述骨骼样本数据集包括多个骨骼样本数据，每个骨骼样本数据包括骨骼点样本以及对应的行为标签；对所述多个骨骼样本数据进行归一化处理，获得归一化处理完成的多个骨骼样本数据；
根据预设的全局点和归一化处理完成的每个骨骼样本数据构建多个骨骼样本输入数据；根据多个骨骼样本输入数据对预设...

【专利技术属性】
技术研发人员：邹昆，张伟熙，董帅，
申请(专利权)人：电子科技大学中山学院，
类型：发明
国别省市：