一种识别方法、训练方法、装置、设备及存储介质制造方法及图纸

本申请实施例提供了一种识别方法，该方法包括：获取包括至少两个姿态序列的待识别数据；对待识别数据进行特征提取，得到第一级图卷积数据；对第一级图卷积数据中的至少两个特征序列，进行第一级三维图卷积处理，得到第一级三维卷积结果；对第一级图卷积数据进行第一级二维图卷积处理，得到第一级二维卷积结果；基于第一级图卷积数据、第一级三维卷积结果以及第一级二维卷积结果，识别目标对象的姿态类型。本申请实施例还提供了一种神经网络训练方法、识别装置、神经网络训练装置、电子设备以及计算机存储介质。计算机存储介质。计算机存储介质。

【技术实现步骤摘要】
一种识别方法、训练方法、装置、设备及存储介质


[0001]本申请涉及信息
，尤其涉及一种识别方法、神经网络训练方法、识别装置、神经网络训练装置、电子设备以及计算机可读存储介质。

技术介绍

[0002]近年来，通过采集的姿态信息来识别行为的行为识别技术，在安防监控、无人商超、教育娱乐、智慧交通、智能家居等领域得到了广泛的应用。但是，行为识别技术中所采用的行为识别模型，通常是通过理想状态下采集的无噪声、无遮挡、无卡顿的样本数据训练得到的。在实际的行为识别场景中，数据采集的噪声、姿态行为被遮挡以及采集设备的卡顿等情况，都会对采集数据产生强大的干扰，此时，基于上述样本数据训练得到的行为识别模型，对携带有大量干扰信息的待识别数据的识别准确率大大下降。

技术实现思路

[0003]本申请实施例提供了一种识别方法、神经网络训练方法、识别装置、神经网络训练装置以及计算机可读存储介质。
[0004]本申请实施例提供的识别方法，能够对各种应用场景下包括在目标对象被遮挡或数据采集设备卡顿的情况下、采集得到的待识别数据进行精准的姿态类型识别，从而能够抵御由于待识别数据中缺失信息带来的风险，实现了在更广泛的应用场景中实现姿态类型的高效精准识别。
[0005]本申请实施例提供的技术方案是这样的：
[0006]本申请实施例提供了一种识别方法，所述方法包括：
[0007]获取包括至少两个姿态序列的待识别数据；其中，所述姿态序列包括目标对象任一姿态的多个节点信息；
[0008]对所述待识别数据进行特征提取，得到第一级图卷积数据；其中，所述第一级图卷积数据包括每一所述姿态序列的特征序列；
[0009]对所述第一级图卷积数据中的至少两个特征序列进行第一级三维图卷积处理，得到第一级三维卷积结果；其中，所述第一级三维卷积结果，包括所述第一级图卷积数据中的局部特征信息；
[0010]对所述第一级图卷积数据进行第一级二维图卷积处理，得到第一级二维卷积结果；其中，所述第一级二维卷积结果，包括所述第一级图卷积数据中各个所述局部特征信息之间的关联关系；
[0011]基于所述第一级图卷积数据、所述第一级三维卷积结果以及所述第一级二维卷积结果，识别所述目标对象的姿态类型。
[0012]本申请实施例还提供了一种神经网络训练方法，所述神经网络包括第一网络和第二网络；其中，所述第一网络用于进行特征提取；所述第二网络，用于对所述第一网络的输出数据进行图卷积处理；所述第二网络，至少包括用于实现第一级三维图卷积处理的第一
级三维图卷积网络、以及用于实现第一级二维图卷积处理的第一级二维图卷积网络；方法包括：
[0013]获取包括多个姿态序列的样本数据；其中，所述姿态序列，包括任一对象的任一姿态的多个节点信息；
[0014]基于所述第一网络，对所述样本数据进行特征提取，得到第一级特征序列；其中，所述第一级特征序列包括每一姿态序列的特征序列；
[0015]基于所述第一级三维图卷积网络，对所述第一级特征序列中的至少两个特征序列，进行所述第一级三维图卷积处理，得到第一级三维结果；其中，所述第一级三维结果，包括所述第一级特征序列中的局部特征信息；
[0016]基于所述第一级二维图卷积网络，对所述第一级特征序列进行所述第一级二维图卷积处理，得到第一级二维结果；其中，所述第一级二维结果，包括所述第一特征序列中各个所述局部特征信息之间的关联关系；
[0017]基于所述第一级特征序列、所述第一级三维结果以及所述第一级二维结果，识别任一对象的姿态类型；
[0018]基于所述姿态类型，对所述第一网络以及所述第二网络进行训练，得到训练完成的神经网络。
[0019]本申请实施例还提供了一种识别装置，所述识别装置包括：第一获取模块、第一处理模块以及第一识别模块；其中：
[0020]所述第一获取模块，用于获取包括至少两个姿态序列的待识别数据；其中，所述姿态序列包括目标对象任一姿态的多个节点信息；
[0021]所述第一处理模块，用于对所述待识别数据进行特征提取，得到第一级图卷积数据；对所述第一级图卷积数据中的至少两个特征序列，进行第一级三维图卷积处理，得到第一级三维卷积结果；对所述第一级图卷积数据进行第一级二维图卷积处理，得到第一级二维卷积结果；其中，所述第一级图卷积数据包括每一姿态序列的特征序列；所述第一级三维卷积结果，包括所述第一级图卷积数据中的局部特征信息；所述第一级二维卷积结果，包括所述第一级图卷积数据中各个所述局部特征信息之间的关联关系；
[0022]所述第一识别模块，用于基于所述第一级图卷积数据、所述第一级三维卷积结果以及所述第一级二维卷积结果，识别所述目标对象的姿态类型。
[0023]本申请实施例还提供了一种神经网络训练装置，所述神经网络包括第一网络和第二网络；其中，所述第一网络用于进行特征提取；所述第二网络，用于对所述第一网络的输出数据进行图卷积处理；所述第二网络，至少包括用于实现第一级三维图卷积处理的第一级三维图卷积网络、以及用于实现第一级二维图卷积处理的第一级二维图卷积网络；所述装置包括第二获取模块、第二处理模块以及第二识别模块；其中：
[0024]所述第二获取模块，用于获取包括多个姿态序列的样本数据；其中，所述姿态序列，包括任一对象的任一姿态的多个节点信息；
[0025]所述第二处理模块，用于基于所述第一网络，对所述样本数据进行特征提取，得到第一级特征序列；基于所述第一级三维图卷积网络，对所述第一级特征序列中的至少两个特征序列，进行所述第一级三维图卷积处理，得到第一级三维结果；基于所述第一级二维图卷积网络，对所述第一级特征序列进行所述第一级二维图卷积处理，得到第一级二维结果；
其中，所述第一级特征序列包括每一姿态序列的特征序列；所述第一级三维结果，包括所述第一级特征序列中的局部特征信息；所述第一级二维结果，包括所述第一特征序列中各个所述局部特征信息之间的关联关系；
[0026]所述第二识别模块，用于基于所述第一级特征序列、所述第一级三维结果以及所述第一级二维结果，识别任一对象的姿态类型；
[0027]所述第二处理模块，还用于基于所述姿态类型，对所述第一网络以及所述第二网络进行训练，得到训练完成的神经网络。
[0028]本申请实施例还提供了一种电子设备，所述电子设备包括如处理器和存储器以及通信总线，其中，所述通信总线用于实现所述处理器与所述存储器之间的通信连接；所述处理器用于执行所述存储器中存储的计算机程序，以实现如前任一的所述识别方法或如前任一所述的神经网络训练方法。
[0029]本申请实施例还提供了一种计算机可读存储介质，所述可读存储介质能够被处理器执行，以实现如前任一所述的识别方法或如前任一所述的神经网络训练方法。
[0030]如此，本申请实施例所提供的识别方法中，首先获取待识别数据中每一姿态序列对应的特征序列，再对第一级图卷积数据中的至少两个特征序列进行第一级三维图卷积处理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种识别方法，其特征在于，所述方法包括：获取包括至少两个姿态序列的待识别数据；其中，所述姿态序列包括目标对象任一姿态的多个节点信息；对所述待识别数据进行特征提取，得到第一级图卷积数据；其中，所述第一级图卷积数据包括每一所述姿态序列的特征序列；对所述第一级图卷积数据中的至少两个所述特征序列进行第一级三维图卷积处理，得到第一级三维卷积结果；其中，所述第一级三维卷积结果，包括所述第一级图卷积数据中的局部特征信息；对所述第一级图卷积数据进行第一级二维图卷积处理，得到第一级二维卷积结果；其中，所述第一级二维卷积结果，包括所述第一级图卷积数据中各个所述局部特征信息之间的关联关系；基于所述第一级图卷积数据、所述第一级三维卷积结果以及所述第一级二维卷积结果，识别所述目标对象的姿态类型。2.根据权利要求1的方法，其特征在于，所述基于所述第一级图卷积数据、所述第一级三维卷积结果以及所述第一级二维卷积结果，识别所述目标对象的姿态类型，包括：对所述第一级三维卷积结果以及所述第一级二维卷积结果进行融合，得到第一级激活数据；其中，所述第一级激活数据，表示从所述第一级图卷积数据中识别得到的特征信息；基于所述第一级激活数据以及所述第一级图卷积数据，识别所述姿态类型。3.根据权利要求2的方法，其特征在于，所述基于第一级激活数据以及所述第一级图卷积数据，识别所述姿态类型，包括：基于第k-1级激活数据以及第k-1级图卷积数据，确定第k级图卷积数据；其中，k为大于1的整数；所述第k级图卷积数据，包括第k-1级图卷积数据中未被识别的特征序列；基于所述第k级图卷积数据，得到第k级激活数据；其中，所述第k级激活数据，表示从所述第k级图卷积数据中识别得到的特征信息；基于所述第一级激活数据至所述第k级激活数据，识别所述姿态类型。4.根据权利要求3的方法，其特征在于，所述基于第k级图卷积数据，得到第k级激活数据，包括：将所述第k级图卷积数据中的至少两个特征序列，进行第k级三维图卷积处理，得到第k级三维卷积结果；将所述第k级图卷积数据进行第k级二维图卷积处理，得到第k级二维卷积结果；基于所述第k级三维卷积结果以及所述第k级二维卷积结果，得到所述第k级激活数据。5.根据权利要求1的方法，其特征在于，所述对第一级图卷积数据中的至少两个特征序列进行第一级三维图卷积处理，包括：确定滑动窗口；基于所述滑动窗口，从所述第一级图卷积数据中获取至少两个所述特征序列；基于至少两个所述特征序列，确定第一级三维数据；其中，所述第一级三维数据包括至少两个所述特征序列中的每一节点、以及至少两个所述特征序列中任意两个节点之间的关联关系；对所述第一级三维数据进行所述第一级三维图卷积处理。
6.根据权利要求1的方法，其特征在于，所述对待识别数据进行特征提取，得到第一级图卷积数据，包括：从所述待识别数据中获取第一数据；其中，所述第一数据，表示与所述待识别数据对应的至少两个维度的数据；对所述第一数据中每一维度的数据分别进行特征提取，得到第二数据；基于所述第二数据，得到所述第一级图卷积数据。7.根据权利要求6的方法，其特征在于，所述至少两个维度，包括以下维度中的至少两个：距离维度、速度维度、位置维度。8.一种神经网络训练方法，其特征在于，所述神经网络包括第一网络和第二网络；其中，所述第一网络用于进行特征提取；所述第二网络，用于对第一网络的输出数据进行图卷积处理；所述第二网络，至少包括用于实现第一级三维图卷积处理的第一级三维图卷积网络、以及用于实现第一级二维图卷积处理的第一级二维图卷积网络；方法包括：获取包括多个姿态序列的样本数据；其中，所述姿态序列，包括任一对象的任一姿态的多个节点信息；基于所述第一网络，对所述样本数据进行特征提取，得到第一级特征序列；其中，所述第一级特征序列包括每一所述姿态序列的特征序列；基于所述第一级三维图卷积网络，对所述第一级特征序列中的至少两个特征序列，进行所述第一级三维图卷积处理，得到第一级三维结果；其中，所述第一级三维结果，包括所述第一级特征序列中的局部特征信息；基于所述第一级二维图卷积网络，对所述第一级特征序列进行所述第一级二维图卷积处理，得到第一级二维结果；其中，所述第一级二维结果，包括所述第一特征序列中各个所述局部特征信息之间的关联关系；基于所述第一级特征序列、所述第一级三维结果以及所述第一级二维结果，识别所述任一对象的姿态类型；基于所述姿态类型，对所述第一网络以及所述第二网络进行训练，得到训练完成的神经网络。9.根据权利要求8的方法，其特征在于，基于所述第一级特征序列、所述第一级三维结果以及所述第一级二维结果，识别所述任一对象的姿态类型，包括：对所述第一级三维结果以及所述第一级二维结果进行融合，得到第一级识别结果；基于所述第一级特征序列以及所述第一级识别结果，识别所述姿态类型。10.根据权利要求9的方法，其特征在于，所述第二网络，还包括用于实现第k级三维图卷积处理的第k级三维图卷积网络、以及用于实现第k级二维图卷积处理的第k级二维图卷积网络；其中，k为大于1的整数；所述基于所述第一级特征序列以及所述第一级识别结果，识别所述姿态类型，包括：基于第k-1级识别结果以及第k-1级特征序列，确定第k级特征序列；其中，所述第k级特征序列，包括所述第k...

【专利技术属性】
技术研发人员：丁晓璐，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：