基于时空注意力与对比表示学习的行人轨迹预测方法技术

本发明专利技术涉及行人轨迹预测技术领域，具体公开了基于时空注意力与对比表示学习的行人轨迹预测方法，所述方法包括：步骤一、输入行人轨迹信息，获取行人轨迹数据并整理，得到数据集；建立训练集和测试集；所述数据集是采用行人轨迹预测的基准数据集ETH和UCY数据集；步骤二、采用图注意力机制进行时间特征提取和交互特征提取；步骤三、通过自动标注的方法自动生成正负样本；步骤四、基于所述步骤三生成的正负样本，进行对比表示学习；步骤五、将融合后的行人轨迹特征信息通过Info

【技术实现步骤摘要】
基于时空注意力与对比表示学习的行人轨迹预测方法


[0001]本专利技术涉及行人轨迹预测
，具体涉及基于时空注意力与对比表示学习的行人轨迹预测方法。

技术介绍

[0002]由于行人轨迹的无序性和复杂性特征，其难点主要表现在：(1)人与人之间的交互是复杂的且难以捕捉的；特别是行人在移动过程中需要预测场景中其他行人的轨迹的能力，从而动态的调整自己的路线，而这种能力是难以通过建模实现的。(2)行人轨迹预测是一个多模态问题；基于行人过多的轨迹，应当产生多条可能的未来轨迹，因此在进行轨迹输出时，需要在考虑合理性的同时也需要考虑多样性。(3)轨迹输出的自洽性；对于轨迹预测而言，如果输出的轨迹会产生碰撞，那么不但无法逻辑自洽，而且在应用层面可能带来巨大的风险，这通常是不能接受的。
[0003]目前，国内外已经有多名学者对轨迹预测的行人交互问题，进行了深入研究。基于RNN的方法通过其潜在状态来捕获行人的运动，并通过合并行人的潜在状态来模拟人与人之间的交互作用。Social LSTM是循环神经网络在行人轨迹预测领域的典型应用，它通过池化层建模行人之间的相互作用。近年来，Transformer网络在自然语言处理领域(NLP)方面取得了突破性的进展，与RNN相比，Transformer架构的主要好处是使用自我注意显著改善了时间建模，可以更好的捕捉行人之间潜在的互动；然而，无论是利用RNN模型或是自注意力机制进行人与人交互建模，往往都会忽略空间结构信息；而通过图神经网络的特殊形式，让行人交互的空间结构的信息得到了直观且有效的利用，SGCN就是图卷积神经网络在行人轨迹预测领域的经典应用，效果得到了良好的提升，但仍然存在时序信息提取不足的问题。
[0004]总结以上还是存在行人轨迹预测结果的碰撞问题的难题，对于轨迹预测结果而言，若产生碰撞，则会带来模型自洽问题甚至安全问题；有的避免碰撞方法是对预测结果强行加上一个手工的约束函数，这种物理约束的方法可能导致预测轨迹的生硬，在合理性上稍显欠缺；更多的深度学习模型通常通过让模型学习行人交互问题的建模来解决碰撞问题，这种方法通常通过数据驱动数据集的学习，可以产生合理轨迹，但当产生碰撞情景时却无法修复——因为模型一直在学习正确的社会交互，不知道何为“错误情况”。因此减少碰撞的难度在于碰撞样本的缺失和训练方法的选择。

技术实现思路

[0005]本专利技术的目的在于提供基于时空注意力与对比表示学习的行人轨迹预测方法，解决以下技术问题：
[0006](1)怎样实现合理的轨迹预测，避免轨迹预测模式崩溃；
[0007](2)如何降低输出轨迹的碰撞率同时达到提高输出轨迹的安全性和逻辑自洽的效果。
[0008]本专利技术的目的可以通过以下技术方案实现：
[0009]基于时空注意力与对比表示学习的行人轨迹预测方法，所述方法包括：
[0010]步骤一、输入行人轨迹信息，获取行人轨迹数据并整理，得到数据集；建立训练集和测试集；所述数据集是采用行人轨迹预测的基准数据集ETH和UCY数据集；
[0011]步骤二、采用图注意力机制进行时间特征提取和交互特征提取；
[0012]步骤三、通过自动标注的方法自动生成正负样本；
[0013]步骤四、基于所述步骤三生成的正负样本，进行对比表示学习；
[0014]步骤五、将融合后的行人轨迹特征信息通过Info
‑
GAN解码器输出预测轨迹。
[0015]优选地，所述预测轨迹的问题表示为根据过去一段时间内的轨迹来推断出未来一段时间的可能轨迹：
[0016]假设场景中有N个行人，且行人过去轨迹定义为行人未来预测轨迹定义为行人未来真实轨迹定义为
[0017]则问题可以描述为已知行人i以及场景中其他行人j的历史时间段1到T
obs
的轨迹目标为预测他在未来时间段T
obs
+1到T
pre
时间段内的轨迹即表示为：
[0018][0019][0020][0021][0022]优选地，所述步骤二中，具体为：
[0023]时间特征提取：获取时间T
obs
内场景中N个人的轨迹数据，将这N个人的轨迹数据分别提取出来，形成N个时间图；对行人i的轨迹点做出图注意力机制；
[0024]空间特征提取：获取每个时间点t场景中的N个人，并根据N个人之间的空间信息就形成T
obs
个空间图；
[0025]根据所述T
obs
个空间图对行人i和行人j在t时刻的的轨迹点做出图注意力机制。
[0026]优选地，所述步骤三中自动生成正负样本的方法为：
[0027]所述正负样本包括正样本和负样本；且正样本即普通的数据集中的轨迹(无碰撞样本)，而负样本则是碰撞样本；
[0028]正样本生成公式：
[0029]负样本生成公式：
[0030]其中，即为行人i在t+t0时刻的正样本，只有一个；为行人i在t+t0时刻的真实位置坐标，∈为常数，作为随机噪声；
[0031]即为行人i在t+t0时刻的负样本；为行人i的邻居j在t+t0时刻的真实位置坐标，同样∈为随机噪声。
[0032]优选地，所述步骤四中对比学习的内容为：
[0033]通过学习数据样本与噪声样本之间的数据分布的区别，具体通过训练一个分类器以学习数据样本与噪声样本之间的区别。
[0034]优选地，所述步骤三产生的正负样本之后，引入对比学习的损失函数：
[0035][0036]其中，q代表查询样本，k
+
代表正样本，k
‑
代表负样本；
[0037]且在轨迹预测任务中分别为预测行人i的过去的轨迹向量、预测行人i的未来的真实轨迹向量、行人i的邻居j的未来真实轨迹向量；s()为度量函数。
[0038]优选地，所述步骤五的预测轨迹输出方法具体为：
[0039]通过将生成器输入噪声z分为了(z，c)两个部分，其中z为随机噪声，c为可解释的隐变量；
[0040]将对比学习的损失函数分为两部分：
[0041](1)噪声z的损失与GAN相同；
[0042](2)噪声c引入了新的互信息损失I(c；G(z,c))，即info
‑
GAN的损失函数可以写为：
[0043][0044]其中，V(D,G)为模块三框图中的生成器损失和对抗损失，I(c；G(z,c))为互信息损失。
[0045]本专利技术的有益效果：
[0046](1)针对行人交互复杂抽象，特征提取困难问题，提出一种基于图注意力机制的轨迹预测模型，该模型采用对时间特征与空间特征分别建模方法，利用图自注意力技术进行轨迹预测。
[0047](2)长期以来的轨迹预测任务的指标大多聚焦在准确率，即预测轨迹与真实轨迹的吻合率上，但碰撞率也是一个尤为关键的指标。为此，本系统加入了对比表示学习模块来降低碰撞率。且针对现实数据集中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于时空注意力与对比表示学习的行人轨迹预测方法，其特征在于，所述方法包括：步骤一、输入行人轨迹信息，获取行人轨迹数据并整理，得到数据集；建立训练集和测试集；所述数据集是采用行人轨迹预测的基准数据集ETH和UCY数据集；步骤二、采用图注意力机制进行时间特征提取和交互特征提取；步骤三、通过自动标注的方法自动生成正负样本；步骤四、基于所述步骤三生成的正负样本，进行对比表示学习；步骤五、将融合后的行人轨迹特征信息通过Info
‑
GAN解码器输出预测轨迹。2.根据权利要求1所述的基于时空注意力与对比表示学习的行人轨迹预测方法，其特征在于，所述预测轨迹的问题表示为根据过去一段时间内的轨迹来推断出未来一段时间的可能轨迹：假设场景中有N个行人，且行人过去轨迹定义为行人未来预测轨迹定义为行人未来真实轨迹定义为则问题可以描述为已知行人i以及场景中其他行人j的历史时间段1到T
obs
的轨迹目标为预测他在未来时间段T
obs
+1到T
pre
时间段内的轨迹即表示为：即表示为：即表示为：即表示为：3.根据权利要求2所述的基于时空注意力与对比表示学习的行人轨迹预测方法，其特征在于，所述步骤二中，具体为：时间特征提取：获取时间T
obs
内场景中N个人的轨迹数据，将这N个人的轨迹数据分别提取出来，形成N个时间图；对行人i的轨迹点做出图注意力机制；空间特征提取：获取每个时间点t场景中的N个人，并根据N个人之间的空间信息就形成T
obs
个空间图；根据所述T
obs
个空间图对行人i和行人j在t时刻的的轨迹点做出图注意力机制。4.根据权利要求1所述的基于时空注意力与对比...

【专利技术属性】
技术研发人员：张德平，朱鹏飞，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：