【技术实现步骤摘要】
本申请涉及自动驾驶领域，尤其涉及一种行人意图识别方法、装置、电子设备及存储介质。
技术介绍
1、随着自动驾驶技术的迅速发展，车辆在复杂城市环境中安全、高效地行驶成为亟待解决的问题。行人作为道路使用者的重要组成部分，其行为的不可预测性给自动驾驶系统带来巨大挑战。
2、为提高自动驾驶车辆的安全性和行驶效率，行人意图识别技术应运而生。行人意图识别通过对行人当前行为和状态的分析，预测其未来可能的行动，如是否准备穿越马路或突然改变方向。其准确性直接影响自动驾驶系统的决策和规划，在自动驾驶领域具有广泛的应用前景。首先，该技术能显著提高复杂交通环境中的安全性和可靠性，减少交通事故。其次，它能优化行驶路径和行为决策，提高行驶效率和乘坐舒适度。此外，行人意图识别还可应用于智能交通系统、智慧城市和安全监控等领域，推动交通管理和公共安全的智能化发展。因此，行人意图识别是高阶自动驾驶技术中的关键部分。通过深度学习和时序建模等先进技术，能显著提升环境感知和行为决策能力，为实现更安全、高效的自动驾驶铺平道路。
3、然而，当前自动驾驶技术中的行人意图识别方法准确性不足，无法满足自动驾驶车辆的需求。
技术实现思路
1、为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种行人意图识别方法、装置、电子设备及存储介质。
2、第一方面，本申请提供了一种行人意图识别方法，包括：
3、获取对车辆行驶环境采集的图像帧序列；
4、基于所述图像帧序列确定行
5、将所述多源信息特征序列输入时空注意力图卷积模型，得到时空关联特征，所述时空关联特征用于表征所述行人目标和与其关联的交互对象之间的时空关联关系；
6、基于所述时空关联特征确定行人目标的穿行意图。
7、可选地，基于所述图像帧序列确定行人目标和与其关联的交互对象的多源信息特征序列，包括：
8、基于所述图像帧序列确定目标图像序列及目标边框序列；
9、基于所述目标图像序列及所述目标边框序列确定行人目标和与其关联的交互对象的多源信息特征序列。
10、可选地，基于所述目标图像序列及所述目标边框序列确定行人目标和与其关联的交互对象的多源信息特征序列，包括：
11、确定所述图像帧序列的每个图像帧中行人目标与交互对象的最大数量；
12、基于所述最大数量及所述目标图像序列确定行人目标和与其关联的交互对象的视觉特征序列；
13、基于所述最大数量及所述目标边框序列确定行人目标和与其关联的交互对象的动态特征序列；
14、基于所述视觉特征序列和所述动态特征序列确定所述多源信息特征序列。
15、可选地，基于所述最大数量及所述目标图像序列确定行人目标和与其关联的交互对象的视觉特征序列，包括：
16、针对所述目标图像序列中的每个目标图像，对所述目标图像中的行人目标进行视觉特征提取，得到行人目标特征；
17、对所述目标图像中的交互对象进行视觉特征提取，得到交互对象特征；
18、基于所述最大数量将所述行人目标特征和所述交互对象特征进行拼接，得到拼接特征；
19、将所述目标图像序列中的每个目标图像对应的所述拼接特征进行级联，得到所述视觉特征序列。
20、可选地，基于所述最大数量及所述目标边框序列确定行人目标和与其关联的交互对象的动态特征序列，包括：
21、针对所述目标边框序列中的每个目标边框，确定行人目标检测框的第一位置信息和所述交互对象检测框的第二位置信息；
22、基于所述最大数量将所述行人目标的第一位置信息和所述交互对象的第二位置信息进行拼接，得到拼接位置信息；
23、将所述目标边框序列中的每个所述目标边框对应的所述拼接位置信息进行级联，得到所述动态特征序列。
24、可选地，基于所述视觉特征序列和所述动态特征序列确定所述多源信息特征序列，包括：
25、获取车辆速度数据；
26、基于所述车辆速度数据确定不同时刻对应的车辆速度特征，以作为车辆特征序列；
27、将所述车辆速度特征序列、所述视觉特征序列和所述动态特征序列确定为所述多源信息特征序列。
28、可选地，将所述多源信息特征序列输入时空注意力图卷积模型，得到时空关联特征，包括：
29、基于所述多源信息特征序列及预设的第一时空注意力图卷积模块确定行人目标和与其关联的交互对象之间的语义关系特征及第一时间关系特征；
30、基于所述多源信息特征序列及预设的第二时空注意力图卷积模块确定行人目标和与其关联的交互对象之间的空间关系特征及第二时间关系特征；
31、将所述语义关系特征、所述空间关系特征、所述第一时间关系特征和所述第二时间关系特征进行融合，得到所述时空关联特征。
32、可选地，基于所述多源信息特征序列及预设的第一时空注意力图卷积模块确定行人目标和与其关联的交互对象之间的语义关系特征，包括：
33、将所述多源信息特征序列中的视觉特征序列输入第一时空注意力图卷积模块，得到行人目标和与其关联的交互对象之间的语义关系特征；
34、或者，
35、将所述多源信息特征序列中的视觉特征序列和车辆速度特征序列输入第一时空注意力图卷积模块，得到行人目标和与其关联的交互对象之间的语义关系特征。
36、可选地，基于所述多源信息特征序列及预设的第二时空注意力图卷积模块确定行人目标和与其关联的交互对象之间的空间关系特征，包括：
37、将所述多源信息特征序列中的动态特征序列输入第二时空注意力图卷积模块，得到行人目标和与其关联的交互对象之间的空间关系特征；
38、或者，
39、将所述多源信息特征序列中的动态特征序列和车辆速度特征序列输入第二时空注意力图卷积模块，得到行人目标和与其关联的交互对象之间的空间关系特征。
40、可选地，所述第一时空注意力图卷积模块包括：第一图卷积单元、第一注意力单元及第一时间卷积单元；
41、所述第一图卷积单元，用于基于邻接矩阵生成星形图，所述星形图以行人目标为中心节点、以与行人目标关联的所述交互对象为非中心节点，所述邻接矩阵中包含所述行人目标、与其关联的所述交互对象及所述行人目标与所述交互对象之间的关联关系；
42、所述第一注意力单元，用于基于所述视觉特征序列确定所述星形图中每个节点的节点视觉特征序列，利用注意力机制根据各所述节点视觉特征序列确定所述行人目标和所述交互对象之间的语义关系特征；
43、所述第一时间卷积单元，用于基于所述目标图像序列中每个目标图像的时间信息确定所述行人目标和所述交互对象之间的第一时间关系特征。
44、可选地，所述第二时空注意力图卷积模块包括：第二图卷积单元、第二注意力单元及第二时本文档来自技高网...
【技术保护点】
1.一种行人意图识别方法，其特征在于，包括：
2.根据权利要求1所述的行人意图识别方法，其特征在于，基于所述图像帧序列确定行人目标和与其关联的交互对象的多源信息特征序列，包括：
3.根据权利要求2所述的行人意图识别方法，其特征在于，基于所述目标图像序列及所述目标边框序列确定行人目标和与其关联的交互对象的多源信息特征序列，包括：
4.根据权利要求3所述的行人意图识别方法，其特征在于，基于所述最大数量及所述目标图像序列确定行人目标和与其关联的交互对象的视觉特征序列，包括：
5.根据权利要求3所述的行人意图识别方法，其特征在于，基于所述最大数量及所述目标边框序列确定行人目标和与其关联的交互对象的动态特征序列，包括：
6.根据权利要求3所述的行人意图识别方法，其特征在于，基于所述视觉特征序列和所述动态特征序列确定所述多源信息特征序列，包括：
7.根据权利要求1所述的行人意图识别方法，其特征在于，将所述多源信息特征序列输入时空注意力图卷积模型，得到时空关联特征，包括：
8.根据权利要求7所述的行人意图识别方
9.根据权利要求7所述的行人意图识别方法，其特征在于，基于所述多源信息特征序列及预设的第二时空注意力图卷积模块确定行人目标和与其关联的交互对象之间的空间关系特征，包括：
10.根据权利要求7所述的行人意图识别方法，其特征在于，所述第一时空注意力图卷积模块包括：第一图卷积单元、第一注意力单元及第一时间卷积单元；
11.根据权利要求7所述的行人意图识别方法，其特征在于，所述第二时空注意力图卷积模块包括：第二图卷积单元、第二注意力单元及第二时间卷积单元；
12.根据权利要求1所述的行人意图识别方法，其特征在于，基于所述时空关联特征确定行人目标的穿行意图，包括：
13.一种行人意图识别装置，其特征在于，包括：
14.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有行人意图识别方法的程序，所述行人意图识别方法的程序被处理器执行时实现权利要求1-12任一所述的行人意图识别方法的步骤。
...【技术特征摘要】
1.一种行人意图识别方法，其特征在于，包括：
2.根据权利要求1所述的行人意图识别方法，其特征在于，基于所述图像帧序列确定行人目标和与其关联的交互对象的多源信息特征序列，包括：
3.根据权利要求2所述的行人意图识别方法，其特征在于，基于所述目标图像序列及所述目标边框序列确定行人目标和与其关联的交互对象的多源信息特征序列，包括：
4.根据权利要求3所述的行人意图识别方法，其特征在于，基于所述最大数量及所述目标图像序列确定行人目标和与其关联的交互对象的视觉特征序列，包括：
5.根据权利要求3所述的行人意图识别方法，其特征在于，基于所述最大数量及所述目标边框序列确定行人目标和与其关联的交互对象的动态特征序列，包括：
6.根据权利要求3所述的行人意图识别方法，其特征在于，基于所述视觉特征序列和所述动态特征序列确定所述多源信息特征序列，包括：
7.根据权利要求1所述的行人意图识别方法，其特征在于，将所述多源信息特征序列输入时空注意力图卷积模型，得到时空关联特征，包括：
8.根据权利要求7所述的行人意图识别方法，其特征在于，基于所述多源信息特征序列及预设的第一时空注意力图卷积模块确定行...
【专利技术属性】
技术研发人员：谭雪峰，吴锐，
申请(专利权)人：重庆长安科技有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。