【技术实现步骤摘要】
本专利技术涉及自主行动预测和智能行为决策领域，具体涉及一种基于多尺度空间感知的智能体行动预测方法。
技术介绍
1、智能体模型搭建重点涵盖实体模型、感知模型、行为模型、决策模型和控制模型，其中行为模型是驱动实体模型有效实现特定目标的原动力，基于感知特征提取，形成决策和控制的数据来源和依据。目前行为模型的设计重点还是基于动力学、规则和专家经验数据进行预测，针对特定任务的规则方法需要耗费巨大的人力和资源进行设计，且无法有效抵抗知识盲区和实现创新探索，容易陷入局部次优困境。
2、目前主流的行动预测为基于栅格化地图数据特征为行动预测提供重要的几何信息，通过卷积神经网络(cnn)对地图场景内的节点相对位置构成的空间特征进行提取，为运动预测提取有用的背景信息。基于递归神经网络(rnn)，如长短时记忆(lstm)等通过提取智能体历史轨迹数据的时序特征，采用线性或非线性方法拟合自主行动的时序关系，生成未来轨迹坐标。这类型处理方法不可避免地损失了高清地图的部分关键信息，并且忽略了同一场景视野下具有相同时序特征的历史轨迹之间的交互关系。基于图神经网络的轨迹预测方法目前只考虑了对行动实体之间的节点交互关系，没有将地图中复杂繁多的地图要素节点信息进行融合考量。
3、因此，现有基于规则的行动预测方法具有设计复杂、缺乏多任务泛用性等技术问题，且目前已有的各类型神经网络相关预测方法均无法满足复杂地图环境下的全要素交互关系覆盖需求。
技术实现思路
1、本专利技术的目的是解决，提供一种基于多尺
2、为了实现上述任务，本专利技术采用以下技术方案：
3、一种基于多尺度空间感知的智能体行动预测方法，包括：地图空间结构建模、历史轨迹特征提取、特征融合以及多模态行动预测，其中：
4、所述地图空间结构建利用多尺度图卷积神经网络对应用场景地图中的二维矢量地图数据进行地图特征提取，得到高维地图特征信息；
5、所述历史轨迹特征提取采用卷积神经网络和特征金字塔网络提取应用场景地图内所有智能体的高维轨迹数据特征；
6、所述特征融合通过自注意力机制将地图空间结构建模和历史轨迹特征提取得到的高维地图特征信息、高维轨迹数据特征信息进行相关性建模融合，获取具有方向信息的智能体轨迹融合特征；
7、所述多模态轨迹预测利用智能体轨迹融合特征进行预测回归和置信度评分，输出行动预测的多模态完整轨迹坐标和对应的置信度评分，为智能体行动提供辅助决策。
8、进一步地，所述应用场景地图应能提供具有二维鸟瞰图矢量坐标格式的地图数据，地图数据包含应用场景地图内所有智能体的历史行为轨迹数据，车道中心线具有车道坐标信息，包括车道的初始和结束位置坐标。
9、进一步地，所述地图空间结构建利用多尺度图卷积神经网络对应用场景中的二维矢量地图数据进行地图特征提取，得到高维地图特征信息，包括：
10、91-1)利用mlp网络对车道坐标信息进行信息映射，表示为其中li表示建模的第i个车道节点，和分别表示地图数据中第i个车道中心线的初始和结束位置坐标，vi表示第i个车道中心点位置；mlpshape表示利用mlp网络对车道节点的长度进行特征提取；mlploc表示利用mpl网络对车道节点的中心位置特征进行提取；应用场景地图内的所有li构成高维地图数据l，其中li为l的第i行；
11、(1-2)根据高维地图数据l，利用gcn网络学习高维地图数据节点之间的关联信息；其中，gcn网络依据车道节点的4种连接类型，分别对前向、后向、左邻和右邻采用gcn网络进行处理，表示为：f＝lw0+∑j∈{q，h，z，y}ajlwj，其中，w0为车道节点原始信息权重，设置为单位矩阵；j表示第，种连接类型，q，h，z，y分别表示车道节点的前向、后向、左邻、右邻在地图中的物理连接关系，aj和wj分别表示第j种连接类型的邻接矩阵和权重矩阵；
12、(1-3)选择车道节点是否具有地面标志标线作为附加权重对aj进行限制处理，具体表示为：得到f＝lw0+∑j∈{q，h，z，y}a′jlwj；其中，i为与地面标志标线相关的识别矩阵，即不具有地面标志标线的车道节点的连接关系矩阵；
13、(1-4)依据步骤(1-3)得到筛选的a′j后，最终的高维地图特征信息表示为：其中c为扩展尺度因子数，kc是第c个尺度因子。
14、进一步地，所述历史轨迹特征提取采用卷积神经网络和特征金字塔网络提取应用场景地图内所有智能体的高维轨迹数据特征，包括：
15、采用cnn网络对场景内所有智能体的历史行为轨迹数据进行特征提取，得到历史轨迹特征t，同时使用特征金字塔fpn网络融合历史轨迹特征t中不同尺度的特征值，输出具有时间序列特征的高维轨迹数据特征t′。
16、进一步地，t′由历史轨迹特征t中的不同节点信息通过拼接操作获得，表示为t′＝concat(tmi，δmi,mj，tmj)，其中tmi是t特征变量中的第mi个历史轨迹节点特征信息，δmi,mj＝mlp(tmj-tmi)表示采用mlp编码进行不同历史轨迹节点tmj、tmi的位置差特征信息的提取过程，然后通过concat进行直接拼接操作，得到高维轨迹数据特征t′。
17、进一步地，所述特征融合通过自注意力机制将地图空间结构建模和历史轨迹特征提取得到的高维地图特征信息、高维轨迹数据特征信息进行相关性建模融合，获取具有方向信息的智能体轨迹融合特征，包括：
18、(3-1)将历史轨迹特征提取得到的历史轨迹融合信息t′通过自注意力机制进行特征融合，计算过程表示为：其中d为键向量k的维度，表示层归一化和relu运算，softmax表示归一化指数函数；自注意力机制的查询、键和值向量分别表示为q，k，v，利用高维轨迹数据特征t′经过三个不同的线性层分别得到，表示为：q＝t′wq，k＝t′wk，v＝t′wv；其中，wq，wk，wv分别表示q，k，v的权重矩阵；
19、(3-2)将历史轨迹特征信息和高维地图特征信息f信息通过交叉注意力机制进行进一步融合，表示为：其中<-，·>表示内积运算，即交叉注意力算子的权重矩阵是通过将注意力机制的查询向量和键向量kf相乘计算得到的，然后通过对值向量vf进行加权从而输出具有方向信息的智能体轨迹融合特征z。
20、进一步地，所述多模态轨迹预测利用智能体轨迹融合特征进行预测回归和置信度评分，输出行动预测的多模态完整轨迹坐标和对应的置信度评分，为智能体行动提供合理的辅助决策，包括：
21、(4-1)将提取的智能体轨迹融合特征z通过第一个mlp分支网络进行回归运算，形成多模态完整轨迹bev坐标，表示为表示第m个智能体第k条行动的第t步bev坐标，k为可设置参数，表示k条行动轨迹预测；
22、(4-本文档来自技高网...
【技术保护点】
1.一种基于多尺度空间感知的智能体行动预测方法，其特征在于，包括：地图空间结构建模、历史轨迹特征提取、特征融合以及多模态行动预测，其中：
2.根据权利要求1所述的基于多尺度空间感知的智能体行动预测方法，其特征在于，所述应用场景地图应能提供具有二维鸟瞰图矢量坐标格式的地图数据，地图数据包含应用场景地图内所有智能体的历史行为轨迹数据，车道中心线具有车道坐标信息，包括车道的初始和结束位置坐标。
3.根据权利要求1所述的基于多尺度空间感知的智能体行动预测方法，其特征在于，所述地图空间结构建利用多尺度图卷积神经网络对应用场景中的二维矢量地图数据进行地图特征提取，得到高维地图特征信息，包括：
4.根据权利要求1所述的基于多尺度空间感知的智能体行动预测方法，其特征在于，所述历史轨迹特征提取采用卷积神经网络和特征金字塔网络提取应用场景地图内所有智能体的高维轨迹数据特征，包括：
5.根据权利要求4所述的基于多尺度空间感知的智能体行动预测方法，其特征在于，高维轨迹数据特征T′由历史轨迹特征T中的不同节点信息通过拼接操作获得，表示为T′＝concat(t
6.根据权利要求1所述的基于多尺度空间感知的智能体行动预测方法，其特征在于，所述特征融合通过自注意力机制将地图空间结构建模和历史轨迹特征提取得到的高维地图特征信息、高维轨迹数据特征信息进行相关性建模融合，获取具有方向信息的智能体轨迹融合特征，包括：
7.根据权利要求1所述的基于多尺度空间感知的智能体行动预测方法，其特征在于，所述多模态轨迹预测利用智能体轨迹融合特征进行预测回归和置信度评分，输出行动预测的多模态完整轨迹坐标和对应的置信度评分，为智能体行动提供合理的辅助决策，包括：
8.根据权利要求1所述的基于多尺度空间感知的智能体行动预测方法，其特征在于，在多模态轨迹预测的MLP训练过程中，依据多模态完整轨迹BEV坐标Pm,reg和置信度评分Om,cls，结合已有数据集中每个智能体的轨迹真值，损失函数中的分类损失和回归损失分别采用最大边缘损失和平滑L1损失，即L＝Lcls+Lreg，其中损失函数对模型进行训练；具体地，M为智能体个数，∈表示损失函数的边界值，取值为0.2；是智能体m在t步的BEV坐标真值，reg(x)＝∑id(xi)，xi是x的第i个元素，d(xi)是平滑L1损失。
9.一种行动预测设备，包括处理器、存储器以及存储在所述存储器中的计算机程序；其特征在于，处理器执行计算机程序时，实现根据权利要求1-8中任一项所述基于多尺度空间感知的智能体行动预测方法。
10.一种计算机可读存储介质，所述介质中存储有计算机程序；其特征在于，计算机程序被处理器执行时，实现根据权利要求1-8中任一项所述基于多尺度空间感知的智能体行动预测方法。
...【技术特征摘要】
1.一种基于多尺度空间感知的智能体行动预测方法，其特征在于，包括：地图空间结构建模、历史轨迹特征提取、特征融合以及多模态行动预测，其中：
2.根据权利要求1所述的基于多尺度空间感知的智能体行动预测方法，其特征在于，所述应用场景地图应能提供具有二维鸟瞰图矢量坐标格式的地图数据，地图数据包含应用场景地图内所有智能体的历史行为轨迹数据，车道中心线具有车道坐标信息，包括车道的初始和结束位置坐标。
3.根据权利要求1所述的基于多尺度空间感知的智能体行动预测方法，其特征在于，所述地图空间结构建利用多尺度图卷积神经网络对应用场景中的二维矢量地图数据进行地图特征提取，得到高维地图特征信息，包括：
4.根据权利要求1所述的基于多尺度空间感知的智能体行动预测方法，其特征在于，所述历史轨迹特征提取采用卷积神经网络和特征金字塔网络提取应用场景地图内所有智能体的高维轨迹数据特征，包括：
5.根据权利要求4所述的基于多尺度空间感知的智能体行动预测方法，其特征在于，高维轨迹数据特征t′由历史轨迹特征t中的不同节点信息通过拼接操作获得，表示为t′＝concat(tmi,δmi,mj,tmj)，其中tmi是t特征变量中的第mi个历史轨迹节点特征信息，δmi,mj＝mlp(tmj-tmi)表示采用mlp编码进行不同历史轨迹节点tmj、tmi的位置差特征信息的提取过程，然后通过concat进行直接拼接操作，得到高维轨迹数据特征t′。
6.根据权利要求1所述的基于多尺度空间感知的智能体行动预测方法，...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。