车辆轨迹预测方法技术

公开了一种车辆轨迹预测方法

【技术实现步骤摘要】
车辆轨迹预测方法、神经网络预测模型训练方法、装置
[0001]本申请要求于
2023
年6月
15
日提交的
、
申请号为
63/508,355
的美国专利申请的优先权，其全部内容通过引用结合在本申请中
。


[0002]本公开涉及智能驾驶
，尤其涉及一种车辆轨迹预测方法
、
神经网络预测模型训练方法
、
装置
。

技术介绍

[0003]随着社会经济的快速发展，智能驾驶技术得到了广泛应用
。
在智能驾驶场景
(
如自动驾驶场景或辅助驾驶场景
)
中，智能驾驶技术对汽车安全行驶尤为重要
。
通常可以通过车辆中的传感器采集车辆周围的环境信息，并根据车辆周围的环境信息以及车辆的行驶信息，预测和规划车辆的行驶轨迹
。
但是，智能驾驶场景通常非常复杂
、
且存在诸多不确定和多变的因素，因此如何在复杂多变的驾驶场景中，为车辆规划行驶轨迹，以确保自动驾驶的安全性成为了亟待解决的技术问题
。

技术实现思路

[0004]目前轨迹预测方法无法在复杂多变的驾驶场景中，确保自动驾驶的安全性
。
[0005]为了解决上述技术问题，本公开提供了一种车辆轨迹预测方法
、
神经网络预测模型训练方法
、
装置，在轨迹预测时通过综合考虑环境的多模态性和不确定性，因此预测的轨迹能够在复杂多变的驾驶场景中，确保自动驾驶的安全性
。
[0006]本公开的第一方面，提供了一种车辆轨迹预测方法，包括：基于车辆在行驶过程中的自车行驶数据以及车辆的环境数据确定车辆当前时间点的栅格图像数据；基于神经网络预测模型对栅格图像数据进行处理，得到多维度特征图；基于多维度特征图
、
自车尺寸数据和环境数据，预测车辆在未来预设时间段的轨迹
。
[0007]基于本方案，由于栅格图像数据能够较为全面的提供自车所处的时空环境，通过神经网络预测模型对该栅格图像数据进行处理后能够得到考虑环境多模态和不确定性的多维度特征图
。
再结合该多维度特征图
、
车辆尺寸数据和环境数据预测车辆轨迹时，充分考虑了环境的多模态性和不确定性，因此预测的轨迹能够在复杂多变的驾驶场景中，确保自动驾驶的安全性
。
[0008]本公开的第二方面，提供了一种神经网络预测模型训练方法，包括：确定多组样本栅格图像数据和样本栅格图像数据对应的多维度样本特征图；多维度样本特征图包括样本轨迹矢量
、
样本多模态热力图和样本占据栅格图；基于初始神经网络预测模型对样本栅格图像数据进行处理，得到预测多维度特征图；预测多维度特征图包括预测自车多模态热力图，目标对象对应的预测占据栅格图，以及预测轨迹矢量；以预测多维度特征图作为初始神经网络预测模型的初始训练输出，多维度样本特征图作为监督信息，迭代训练初始神经网络预测模型得到训练后的神经网络预测模型
。
[0009]本公开的第三方面，提供了一种车辆轨迹预测装置，包括：确定模块，用于基于车辆在行驶过程中的自车行驶数据以及车辆的环境数据确定车辆当前时间点的栅格图像数据；处理模块，用于基于神经网络预测模型对确定模块确定的栅格图像数据进行处理，得到多维度特征图；优化模块，用于基于自车尺寸数据
、
环境数据和处理模块确定的所述多维度特征图，预测车辆在未来预设时间段的轨迹
。
[0010]本公开的第四方面，提供了一种神经网络预测模型训练装置，包括：确定模块，用于确定多组样本栅格图像数据和样本栅格图像数据对应的多维度样本特征图；多维度样本特征图包括样本轨迹预测图
、
样本多模态热力图和样本占据栅格图；预测模块，用于基于初始神经网络预测模型对确定模块确定的样本栅格图像数据进行处理，得到预测多维度特征图；预测多维度特征图包括预测自车多模态热力图，目标对象对应的预测占据栅格图，以及预测轨迹矢量；训练模块，用于以预测多维度特征图作为初始神经网络预测模型的初始训练输出，多维度样本特征图作为监督信息，迭代训练初始神经网络预测模型得到训练后的神经网络预测模型
。
[0011]本公开的第五方面，提供了一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，执行本公开第一方面提出的车辆轨迹预测方法或者第二方面提出的神经网络预测模型训练方法
。
[0012]本公开的第六方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述任一所述的方法
。
[0013]本公开的第七方面，提供了一种电子设备，该电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述任一所述的方法
。
附图说明
[0014]图1是本公开一示例性实施例提供的车辆轨迹预测方法的流程示意图
。
[0015]图2是本公开另一示例性实施例提供的车辆轨迹预测方法的流程示意图
。
[0016]图3是本公开又一示例性实施例提供的车辆轨迹预测方法的流程示意图
。
[0017]图4是本公开一示例性实施例提供的神经网络预测模型的结构示意图
。
[0018]图5是本公开一示例性实施例提供的与后处理运动规划器连接的神经网络预测模型的结构示意图
。
[0019]图6是本公开又一示例性实施例提供的车辆轨迹预测方法的流程示意图
。
[0020]图7是本公开又一示例性实施例提供的车辆轨迹预测方法的流程示意图
。
[0021]图8是本公开一示例性实施例提供的避让鸟瞰栅格图的生成示意图
。
[0022]图9是本公开一示例性实施例提供的神经网络预测模型训练方法的流程示意图
。
[0023]图
10
是本公开另一示例性实施例提供的神经网络预测模型训练方法的流程示意图
。
[0024]图
11
是本公开又一示例性实施例提供的神经网络预测模型训练方法的流程示意图
。
[0025]图
12
是本公开一示例性实施例提供的一种车辆轨迹预测装置的结构图
。
[0026]图
13
是本公开另一示例性实施例提供的一种车辆轨迹预测装置的结构图
。
[0027]图
14
是本公开又一示例性实施例提供的一种车辆轨迹预测装置的结构图
。
[0028]图
15
是本公开一示例性实施例提供的一种神经网络预测模型训练装置的结构图
。
[0029]图
16
是本公开一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种车辆轨迹预测方法，包括：基于车辆在行驶过程中的自车行驶数据以及所述车辆的环境数据确定所述车辆当前时间点的栅格图像数据；基于神经网络预测模型对所述栅格图像数据进行处理，得到多维度特征图；基于所述多维度特征图
、
自车尺寸数据和所述环境数据，预测所述车辆在未来预设时间段的轨迹
。2.
根据权利要求1所述的方法，其中，所述基于神经网络预测模型对所述栅格图像数据进行处理，得到多维度特征图，包括：基于所述神经网络预测模型中的热力图预测子模型对所述栅格图像数据进行处理，得到自车多模态热力图；基于所述神经网络预测模型中的占据栅格预测子模型对所述栅格图像数据进行处理，得到目标对象对应的占据栅格图；基于所述神经网络预测模型中的轨迹预测子模型对所述栅格图像数据进行处理，得到初始轨迹矢量；其中，所述多维度特征图包括所述自车多模态热力图
、
所述目标对象对应的占据栅格图和所述初始轨迹矢量
。3.
根据权利要求1所述的方法，其中，所述基于神经网络预测模型对所述栅格图像数据进行处理，得到多维度特征图，包括：基于神经网络预测模型中的编码层对所述栅格图像数据进行处理，得到编码特征数据；基于所述神经网络预测模型中的中间处理层对所述编码特征数据进行处理，得到中间特征数据；基于所述神经网络预测模型中的后处理层对所述中间特征数据进行处理，得到所述多维度特征图
。4.
根据权利要求3所述的方法，其中，所述基于所述神经网络预测模型中的中间处理层对所述编码特征数据进行处理，得到中间特征数据，包括：基于所述中间处理层中的融合层对所述编码特征数据进行处理，得到融合特征数据；基于所述中间处理层中的数据处理层对所述编码特征数据的维度进行处理，得到合并特征数据；其中，所述中间特征数据包括所述融合特征数据和所述合并特征数据
。5.
根据权利要求4所述的方法，其中，所述基于所述神经网络预测模型中的后处理层对所述中间特征数据进行处理，得到所述多维度特征图，包括：基于所述后处理层中的热力图预测层对所述融合特征数据进行处理，得到自车多模态热力图；基于所述后处理层中的占据栅格预测层对所述融合特征数据进行处理，得到目标对象对应的占据栅格图；基于所述后处理层中的轨迹预测层对所述合并特征数据进行处理，得到初始轨迹矢量；其中，所述多维度特征图包括所述自车多模态热力图
、
所述目标对象对应的占据栅格
图和所述初始轨迹矢量
。6.
根据权利要求2或5所述的方法，其中，所述基于所述多维度特征图
、
自车尺寸数据和所述环境数据，预测所述车辆在未来预设时间段的轨迹，包括：基于所述初始轨迹矢量
、
所述目标对象对应的占据栅格图
、
所述自车多模态热力图
、
自车尺寸数据和所述环境数据，确定避让鸟瞰栅格图；基于所述避让鸟瞰栅格图和所述自车多模态热力图，对所述初始轨迹矢量进行迭代优化，得到所述车辆在未来预设时间段的轨迹
。7.
根据权利要求6所述的方法，其中，所述基于所述初始轨迹矢量
、
所述目标对象对应的占据栅格图
、
所述自车多模态热力图
、
自车尺寸数据和所述环境数据，确定避让鸟瞰栅格图，包括：基于所述自车尺寸数据和所述初始轨迹矢量，确定自车预测占据栅格图；基于所述目标对象对应的占据栅格图和所述环境数据，确定不可行驶区域的区域栅格图；对所述区域栅格图和所述自车预测占据栅格图进行卷积处理，得到所述避让鸟瞰栅格图
。8.
一种神经网络预测模型训练方法，包括：确定多组样本栅格图像数据和所述样本栅格图像数据对应的多维度样本特征图；所述多维度样本特征图包括样本轨迹矢量
、
样本多模态热力图和样本占据栅格图；基于初始神经网络预测模型对所述样本栅格图像数据进行处理，得到预测多维度特征图；所述预测多维度特征图包括预测自车多模态热力图，目标对象对应的预测占据栅格图，以及预测轨迹矢量；以所述预测多维度特征图作为所述初始神经网络预测模型的初始训练输出，所述多维度样本特征图作为监督信息，迭代训练...

【专利技术属性】
技术研发人员：胡义涵，李堃，梁平原，
申请(专利权)人：地平线机器人有限公司，
类型：发明
国别省市：