运动状态识别方法、装置、电子设备和存储介质制造方法及图纸

本申请提供了一种运动状态识别方法、装置、电子设备和计算机可读存储介质，属于图像识别领域。该方法通过将待识别的第一时刻的第一图像的至少两个关键点转化为图结构数据，从而将采用图结构数据来表示目标行人的姿态；然后再将图结构数据输入识别模型，通过识别模型对图结构数据进行处理，从而得到在第一时刻该目标行人的运动状态。通过上述过程，将结构复杂的第一图像转化为结构简单的图结构数据，提高了后续运动状态识别的效率。而由于关键点数据与图结构数据中的节点对应，因此图结构数据也反映了目标行人的姿态，电子设备将图结构数据输入识别模型，可以通过识别模型更加精准的识别出目标行人的运动状态。识别出目标行人的运动状态。识别出目标行人的运动状态。

【技术实现步骤摘要】
运动状态识别方法、装置、电子设备和存储介质


[0001]本申请涉及图像识别领域，特别涉及一种运动状态识别方法、装置、电子设备和计算机可读存储介质。

技术介绍

[0002]随着智能驾驶的到来，智能车成为各大厂商重点研究的目标。智能驾驶安全性也决定着智能车能否真正大面积投入使用。智能驾驶中的行人保护功能是体现智能驾驶安全性的重要部分，智能驾驶系统中的行人感知与识别的性能直接决定了行人保护功能的可靠性。
[0003]相关技术中，行人感知通常依赖于视觉感知系统，视觉感知系统中包括感知模块和识别模块。感知模块用于确定行人的边界矩形框、中心点，对行人的边界矩形框、中心点对进行感知融合处理进而得到行人当前的位置、速度等信息。识别模块用于接收感知模块发送的信息，利用行人的位置、速度等信息对行人未来的运动状态进行识别。
[0004]但是，行人通常具有机动性强、速度低、目标小等特性，行人可能根据当前的情况随时改变自身的运动状态，行人的这种特性导致视觉感知系统根据行人当前的位置、速度等信息识别行人运动状态的准确性不高。

技术实现思路

[0005]本申请实施例提供了一种运动状态识别方法、装置、电子设备和计算机可读存储介质。能够提高运动状态识别的准确性，所述技术方案如下：
[0006]第一方面，提供了一种运动状态识别方法，方法包括：
[0007]获取第一时刻的第一图像，所述第一图像包括目标行人；
[0008]将所述第一图像中的至少两个关键点转化为图结构数据，每个关键点对应于所述图结构数据中的一个节点，所述至少两个关键点用于表示所述目标行人的姿态；
[0009]将所述图结构数据输入识别模型，所述识别模型用于识别所述目标行人的运动状态；
[0010]通过所述识别模型对所述图结构数据进行处理，得到在所述第一时刻所述目标行人的不同运动状态分别对应的第一目标概率；
[0011]将所述第一目标概率符合目标条件的运动状态确定为在所述第一时刻所述目标行人的运动状态。
[0012]在上述过程中，电子设备可以基于关键点将结构复杂的第一图像转化为结构简单的图结构数据，提高了后续运动状态识别的效率。由于关键点数据与图结构数据中的节点对应，因此图结构数据也反映了目标行人的姿态，电子设备将图结构数据输入识别模型，可以通过识别模型更加精准的识别出目标行人的运动状态。
[0013]在一种可能的实施方式中，所述通过所述识别模型对所述图结构数据进行处理，得到在所述第一时刻所述目标行人的不同运动状态分别对应的第一目标概率包括：
[0014]提取所述图结构数据中每个节点的空域特征；
[0015]基于每个节点的注意力权重，将所述空域特征进行融合，得到所述第一时刻的融合特征；
[0016]基于所述第一时刻的融合特征和所述第一时刻之前的第二时刻的空时融合特征，确定所述第一时刻的空时融合特征，所述空时融合特征用于表示所述目标行人的姿态在时间和空间上的变化；
[0017]基于所述空时融合特征和在所述第二时刻所述目标行人的不同运动状态分别对应的第二目标概率，得到在所述第一时刻所述目标行人的不同运动状态分别对应的第一目标概率。
[0018]其中，空域特征，也可以称为空间域特征、像素域特征，用于指示像素点在图像中的位置，在本申请实施例中，节点的空域特征用于反映节点在图像中的位置以及节点之间的连接关系。
[0019]在上述过程中，电子设备可以通过第二时刻的空时融合特征和第一时刻的融合特征，确定第一时刻的空时融合特。由于第二时刻的空时融合特征反映了目标行人在第二时刻的姿态变化情况，根据第二时刻空时融合特征和第一时刻的融合特征就可以反映目标行人从第二时刻到第一时刻的姿态变化情况，也即是第一时刻的空时融合特征。基于第一时刻的空时融合特征和第二目标概率输出的识别结果也就更加精准。
[0020]在一种可能的实施方式中，所述注意力权重的确定方法包括：
[0021]基于所述图结构数据的空域特征和所述每个关键点对应的参数矩阵，确定所述注意力权重。
[0022]在一种可能的实施方式中，所述提取所述图结构数据中每个节点的空域特征包括：
[0023]通过所述识别模型的空域特征提取层对所述图结构数据进行图卷积处理，得到所述图结构数据中每个节点的空域特征。
[0024]在一种可能的实施方式中，所述基于所述空时融合特征和在所述第二时刻所述目标行人的不同运动状态分别对应的第二目标概率，得到在所述第一时刻所述目标行人的不同运动状态分别对应的第一目标概率包括：
[0025]基于所述空时融合特征，确定在所述第一时刻所述目标行人的不同运动状态分别对应的初始概率；
[0026]基于所述初始概率和在所述第二时刻所述目标行人的不同运动状态分别对应的第二目标概率，输出在所述第一时刻所述目标行人的不同运动状态分别对应的第一目标概率。
[0027]在一种可能的实施方式中，所述基于所述空时融合特征，确定在所述第一时刻所述目标行人的不同运动状态分别对应的初始概率包括：
[0028]将所述空时融合特征映射为第一概率序列，将所述第一概率序列中对应位置的数值，输出为在所述第一时刻所述目标行人的不同运动状态分别对应的初始概率。
[0029]在一种可能的实施方式中，所述基于所述初始概率和在所述第二时刻所述目标行人的不同运动状态分别对应的第二目标概率，输出在所述第一时刻所述目标行人的不同运动状态分别对应的第一目标概率包括：
[0030]基于所述初始概率和在所述第二时刻所述目标行人的不同运动状态分别对应的第二目标概率，确定归一化因子，所述归一化因子为多种运动状态对应的所述初始概率和所述第二目标概率的乘积和；
[0031]基于所述归一化因子、所述初始概率和所述第二目标概率，确定在所述第一时刻所述目标行人的不同运动状态分别对应的第一目标概率。
[0032]在上述实现方式中，电子设备在确定第一目标概率时参考了第二目标概率，由于目标行人的运动状态在相邻时刻是连续的，这样可以提高第一目标概率的精度，也就提高了运动状态识别的准确性。
[0033]在一种可能的实施方式中，响应于所述第一目标概率大于第一概率阈值，将所述第一概率阈值确定为所述第一目标概率；
[0034]响应于所述第一目标概率小于第二概率阈值，将所述第二概率阈值确定为所述第一目标概率；所述第一概率阈值大于所述第二概率阈值。
[0035]在一些可能的情况下，服务器通过模型可能计算的某个运动状态的第一目标概率过大，接近1，而其他概率接近于0，在这种情况下，识别模型可能会陷入局部最优解，导致错误，采用上述实现方式，服务器可以将第一目标概率的取值范围确定在第一概率阈值和第二概率阈值之间，避免了上述错误的发生。
[0036]在一种可能的实施方式中，所述将所述第一图像中的至少两个关键点转化为图结构数据之前，所述方法还包括：
[0037]对所述第一图像中的至少两个关键点进行平移和缩本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种运动状态识别方法，其特征在于，所述方法包括：获取第一时刻的第一图像，所述第一图像包括目标行人；将所述第一图像中的至少两个关键点转化为图结构数据，每个关键点对应于所述图结构数据中的一个节点，所述至少两个关键点用于表示所述目标行人的姿态；将所述图结构数据输入识别模型，所述识别模型用于识别所述目标行人的运动状态；通过所述识别模型对所述图结构数据进行处理，得到在所述第一时刻所述目标行人的不同运动状态分别对应的第一目标概率；将所述第一目标概率符合目标条件的运动状态确定为在所述第一时刻所述目标行人的运动状态。2.根据权利要求1所述的方法，其特征在于，所述通过所述识别模型对所述图结构数据进行处理，得到在所述第一时刻所述目标行人的不同运动状态分别对应的第一目标概率包括：提取所述图结构数据中每个节点的空域特征；基于每个节点的注意力权重，将所述空域特征进行融合，得到所述第一时刻的融合特征；基于所述第一时刻的融合特征和所述第一时刻之前的第二时刻的空时融合特征，确定所述第一时刻的空时融合特征，所述空时融合特征用于表示所述目标行人的姿态在时间和空间上的变化；基于所述空时融合特征和在所述第二时刻所述目标行人的不同运动状态分别对应的第二目标概率，得到在所述第一时刻所述目标行人的不同运动状态分别对应的第一目标概率。3.根据权利要求2所述的方法，其特征在于，所述注意力权重的确定方法包括：基于所述图结构数据的空域特征和所述每个关键点对应的参数矩阵，确定所述注意力权重。4.根据权利要求2所述的方法，其特征在于，所述提取所述图结构数据中每个节点的空域特征包括：通过所述识别模型的空域特征提取层对所述图结构数据进行图卷积处理，得到所述图结构数据中每个节点的空域特征。5.根据权利要求2所述的方法，其特征在于，所述基于所述空时融合特征和在所述第二时刻所述目标行人的不同运动状态分别对应的第二目标概率，得到在所述第一时刻所述目标行人的不同运动状态分别对应的第一目标概率包括：基于所述空时融合特征，确定在所述第一时刻所述目标行人的不同运动状态分别对应的初始概率；基于所述初始概率和在所述第二时刻所述目标行人的不同运动状态分别对应的第二目标概率，输出在所述第一时刻所述目标行人的不同运动状态分别对应的第一目标概率。6.根据权利要求5所述的方法，其特征在于，所述基于所述空时融合特征，确定在所述第一时刻所述目标行人的不同运动状态分别对应的初始概率包括：将所述空时融合特征映射为第一概率序列，将所述第一概率序列中对应位置的数值，输出为在所述第一时刻所述目标行人的不同运动状态分别对应的初始概率。
7.根据权利要求5所述的方法，其特征在于，所述基于所述初始概率和在所述第二时刻所述目标行人的不同运动状态分别对应的第二目标概率，输出在所述第一时刻所述目标行人的不同运动状态分别对应的第一目标概率包括：基于所述初始概率和在所述第二时刻所述目标行人的不同运动状态分别对应的第二目标概率，确定归一化因子，所述归一化因子为多种运动状态对应的所述初始概率和所述第二目标概率的乘积和；基于所述归一化因子、所述初始概率和所述第二目标概率，确定在所述第一时刻所述目标行人的不同运动状态分别对应的第一目标概率。8.根据权利要求5所述的方法，其特征在于，响应于所述第一目标概率大于第一概率阈值，将所述第一概率阈值确定为所述第一目标概率；响应于所述第一目标概率小于第二概率阈值，将所述第二概率阈值确定为所述第一目标概率；所述第一概率阈值大于所述第二概率阈值。9.一种运动状态识别装置，其特征在于，所述装置包括：第一图像获取模块，用于获...

【专利技术属性】
技术研发人员：李飞，范时伟，李向旭，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：