基于目标局部终点与多头注意力机制的轨迹预测方法技术

本发明专利技术公开了一种基于目标局部终点与多头注意力机制的轨迹预测方法：步骤1：获取数据集；步骤2：根据目标的历史轨迹及实际局部终点位置信息，预测目标局部终点位置；步骤3：采用社会池化操作提取社交信息，得到特征向量；步骤4：将特征向量输入长短期记忆网络得到目标的预测轨迹；步骤5，进行迭代训练得到训练好的轨迹预测模型；步骤6，将待检测的图像或视频输入训练好的轨迹预测模型，得到目标的预测轨迹。本发明专利技术实现了在复杂交通场景下通过特定信息丰富目标轨迹特征进行精确高效的行人轨迹预测。预测。预测。

【技术实现步骤摘要】
基于目标局部终点与多头注意力机制的轨迹预测方法


[0001]本专利技术属于自动驾驶
，涉及一种行人轨迹预测的方法。

技术介绍

[0002]轨迹预测作为自动驾驶需要解决的核心问题，是保障自动驾驶汽车安全稳定行驶的关键。但在不断变化的复杂道路环境中，目标间存在着隐含的相互作用力和不确定性，大大增加了建模难度。
[0003]传统的目标轨迹预测方法主要通过运动学和动力学模型，如卡尔曼滤波等方法，这种方法没有考虑到环境中其他参与者对被预测目标的影响，完全依靠动力学进行轨迹预测，没有考虑社会力等一些环境因素。随着深度学习的发展，利用手工设计的特征去学习行人运动而不是基于数据驱动，这导致模型只适合在简单场景下使用，无法适用到复杂的场景中。在基于深度学习轨迹预测模型中，通过历史轨迹信息进行未来轨迹的预测，并让模型通过数据自动化地学习到相互作用的影响，从而生成更精确的轨迹。而在交通场景中，参与者往往首先确定轨迹终点，然后选择一条适当的路径到达该终点，但是这些模型以目标与周围参与者位置的欧式距离作为社会池化层的线索不能很好的处理复杂的道路情况。
[0004]除此之外，基于LSTM的模型长时预测能力较差，其预测误差随预测时长的增加而急剧增加。而对于长时预测能力较强的Transformer模型，训练难度较大，需要大量的数据进行驱动，其模型参数量与计算量巨大，使得模型过于复杂，成为其目前的主要短板。

技术实现思路

[0005]本专利技术的目的是提供一种基于目标局部终点与多头注意力机制的轨迹预测方法，以解决现有技术中存在的不能很好的处理复杂的道路情况及模型过于复杂的技术问题。
[0006]为实现上述目的，本专利技术提出如下技术方案予以解决：
[0007]一种基于目标局部终点与多头注意力机制的轨迹预测方法，具体包括以下步骤：
[0008]步骤1：获取数据并整理，得到数据集；建立训练集和测试集；
[0009]步骤2：根据步骤1得到的训练集中的目标的历史轨迹及实际局部终点位置信息，预测目标局部终点位置；
[0010]步骤3：根据步骤2得到的预测目标局部终点位置信息，采用社会池化操作提取社交信息，得到特征向量X
k
；
[0011]步骤4：将步骤3得到的特征向量X
k
输入长短期记忆网络得到目标的预测轨迹；
[0012]步骤5，将步骤1得到的训练集通过步骤2、3、4进行训练得到轨迹预测模型，并使用测试集对轨迹预测模型进行测试，如果不满足要求则继续迭代训练，直至得到训练好的轨迹预测模型；
[0013]步骤6，将待检测的一系列图像或待检测的视频输入训练好的轨迹预测模型，得到目标的预测轨迹。
[0014]进一步的，所述步骤1中，所述数据集采用Stanford Drone斯坦福无人机数据集。
[0015]进一步的，所述步骤1中，所述步骤2包括如下子步骤：
[0016]步骤21：将步骤1得到的训练集中的第k个目标实际终点位置和该目标的历史轨迹分别通过终点编码器和轨迹编码器生成对应的特征信息；其中，i表示时间点，t
p
表示预测终点之前的一个时间点，t
p
＝8，t
f
表示预测的时间终点；
[0017]步骤22：将步骤21得到的特征信息组合拼接送入条件变分自编码器的潜在编码器进行训练，得到潜在变量的关键变量μ,σ；
[0018]步骤23：从高斯分布中随机取样得到可能的局部终点特征Z，再与步骤21中轨迹编码器生成的特征信息进行融合之后送入条件变分自编码器的潜在解码器，得到预测的目标局部终点位置
[0019]进一步的，所述步骤1中，所述步骤3包括如下子步骤：
[0020]步骤31：将步骤2得到的预测目标局部终点位置信息送入终点编码器，将得到的特征与步骤21中轨迹编码器生成的特征信息进行融合之后得到特征向量；
[0021]步骤32：将步骤31得到的特征向量送入三个全连接层网络通过多次训练得到三个不同的全连接层网络权重，从中提取出特征向量Q、K、V；
[0022]步骤33：将特征向量Q、K、V进行融合，融合之后的特征向量X
k
中包含了每一个目标从其他邻居目标提取的社交信息。
[0023]进一步的，所述步骤33中，将特征向量Q、K、V采用下式进行融合：
[0024][0025]其中，d
k
为特征向量Q、K、V的维度，目的是为了防止训练过程中梯度消失。M
ij
为掩码矩阵，负责标记和预测目标在时间上和空间上有关系的目标。
[0026]进一步的，所述步骤1中，所述掩码矩阵M
ij
的公式如下：
[0027][0028]其中，t
dist
为人为设置的距离阈值，表示目标对应的帧号。
[0029]进一步的，所述距离阈值为100。
[0030]进一步的，所述步骤1中，所述步骤4具体包括如下子步骤：
[0031]步骤41：将步骤3得到的特征向量X
k
中时间维度上时刻t对应的向量x
t
作为当前时刻的输入值，当t＝1时，将当前时刻的输入值作为前一时刻隐状态h
t
‑1；
[0032]步骤42：将当前时刻的输入值x
t
与前一时刻隐状态h
t
‑1通过公式(4)～(6)得到f
t
、i
t
、
[0033]f
t
＝σ(W
f
·
[h
t
‑1,x
t
]+b
f
)
ꢀꢀꢀꢀ
(4)
[0034]i
t
＝σ(W
i
·
[h
t
‑1,x
t
]+b
i
)
ꢀꢀꢀꢀ
(5)
[0035][0036]其中，W和b表示对应不同门网络的权重和偏置，W
f
为遗忘门权重矩阵，W
i
为输入门
权重矩阵，W
C
为细胞状态权重矩阵，b
f
为遗忘门偏置，b
i
为输入门偏置，b
C
为细胞状态偏置，h
t
‑1表示前一时刻隐状态的输出，σ表示网络中的激活函数是sigmoid函数，tanh表示网络中的激活函数是tanh函数；
[0037]步骤43：通过公式(7)和(8)得到当前时刻t的隐状态h
t
。
[0038]o
t
＝σ(W
o
[h
t
‑1,x
t
]+b
o
)
ꢀꢀꢀꢀ
(7)
[0039]h
t
＝o
t...

【技术保护点】

【技术特征摘要】
1.一种基于目标局部终点与多头注意力机制的轨迹预测方法，其特征在于，具体包括以下步骤：步骤1：获取数据并整理，得到数据集；建立训练集和测试集；步骤2：根据步骤1得到的训练集中的目标的历史轨迹及实际局部终点位置信息，预测目标局部终点位置；步骤3：根据步骤2得到的预测目标局部终点位置信息，采用社会池化操作提取社交信息，得到特征向量X
k
；步骤4：将步骤3得到的特征向量X
k
输入长短期记忆网络得到目标的预测轨迹；步骤5，将步骤1得到的训练集通过步骤2、3、4进行训练得到轨迹预测模型，并使用测试集对轨迹预测模型进行测试，如果不满足要求则继续迭代训练，直至得到训练好的轨迹预测模型；步骤6，将待检测的一系列图像或待检测的视频输入训练好的轨迹预测模型，得到目标的预测轨迹。2.如权利要求1所述的目标局部终点与多头注意力机制的轨迹预测方法，其特征在于，所述步骤1中，所述数据集采用Stanford Drone斯坦福无人机数据集。3.如权利要求1所述的目标局部终点与多头注意力机制的轨迹预测方法，其特征在于，所述步骤1中，所述步骤2包括如下子步骤：步骤21：将步骤1得到的训练集中的第k个目标实际终点位置和该目标的历史轨迹分别通过终点编码器和轨迹编码器生成对应的特征信息；其中，i表示时间点，t
p
表示预测终点之前的一个时间点，t
p
＝8，t
f
表示预测的时间终点；步骤22：将步骤21得到的特征信息组合拼接送入条件变分自编码器的潜在编码器进行训练，得到潜在变量的关键变量μ,σ；步骤23：从高斯分布中随机取样得到可能的局部终点特征Z，再与步骤21中轨迹编码器生成的特征信息进行融合之后送入条件变分自编码器的潜在解码器，得到预测的目标局部终点位置4.如权利要求1所述的目标局部终点与多头注意力机制的轨迹预测方法，其特征在于，所述步骤1中，所述步骤3包括如下子步骤：步骤31：将步骤2得到的预测目标局部终点位置信息送入终点编码器，将得到的特征与步骤21中轨迹编码器生成的特征信息进行融合之后得到特征向量；步骤32：将步骤31得到的特征向量送入三个全连接层网络通过多次训练得到三个不同的全连接层网络权重，从中提取出特征向量Q、K、V；步骤33：将特征向量Q、K、V进行融合，融合之后的特征向量X
k
中包含了每一个目标从其他邻居目标提取的社交信息。5.如权利要求1所述的目标局部终点与多头注意力机制的轨迹预测方法，其特征在于，所述步骤33中，将特征向量Q、K、V采用下式进行融合：其中，dk为特征向量Q、K、V的维度，目的是为了防止训练过程中梯度消失。Mij为掩码矩
阵，负责标记和预测目标在时间上和空间上有关系的目标。6.如权利要求1所述的目标局部终点与多头注意力机制的轨迹预测方法，其特征在于，所述步骤1中，所述掩码矩阵M
ij
的公...

【专利技术属性】
技术研发人员：刘占文，李文倩，王超，李超，王洋，齐明远，丁璠，谭华春，孙士杰，赵彬岩，员惠莹，杨楠，贾晓航，
申请(专利权)人：长安大学，
类型：发明
国别省市：