一种基于注意力机制的生成式对抗轨迹预测方法技术

本发明专利技术公开了一种基于注意力机制的生成式对抗轨迹预测方法，该方法设计了一种基于注意力机制的生成式对抗网络，并使用改进的损失函数来对生成式对抗网络进行训练。该方法首先利用基于长短时记忆网络LSTM构成的编码器模块从行人轨迹中提取行人运动的隐藏特征，然后利用一个基于注意力机制的池化模块对同一场景中的行人进行影响力权重分配以充分提取行人之间的交互信息，最后通过一个解码器模块输出网络预测的行人轨迹坐标。本发明专利技术提出的方法可以提高轨迹的预测精度，同时可以生成多条遵循社会规范的预测轨迹，其可以用于移动机器人的导航规划系统中，从而有助于机器人导航系统在与人共融的环境中规划更加合理有效的路径。

【技术实现步骤摘要】
一种基于注意力机制的生成式对抗轨迹预测方法
本专利技术涉及人工智能领域，特别是涉及到一种基于注意力机制的生成式对抗轨迹预测方法。
技术介绍
行人轨迹预测是指根据行人过往一段时间的运动轨迹来预测其未来一段时间的运动轨迹。随着移动服务机器人与自动驾驶等领域的兴起，在动态场景中进行行人轨迹预测成为了一个热门的研究方向。行人轨迹的正确预测有助于智能导航系统规划出更加合理有效的路径。然而行人轨迹预测问题是极其复杂的，行人的运动具有一定的随机性，其在决策的过程中也是比较主观灵活的，因而行人轨迹具有多样性的特征。其次，行人在行走的过程中，行人的轨迹受到周围动态环境的影响，行人通常会根据自己的常识以及社会规范来调整自己的路径。上述特征使得行人轨迹预测问题充满挑战性。在行人轨迹预测问题中，如何对行人之间的交互进行有效的建模对于行人轨迹预测非常重要。目前主流的方法大都基于深度学习技术来学习行人之间的交互作用，从而对行人轨迹进行预测。其中，基于长短时记忆网络LSTM的方法已经被证明在处理时序问题时非常奏效，但是基于LSTM的方法无法对行人之间的空间关系进行有效建模。为了解决这一问题，Alahi等在LSTM网络模型的基础上提出了社会长短期记忆网络(S-LSTM)，该模型通过对空间进行网格化处理，并根据网格对每个行人周围行人的不同特征进行隐藏池化，利用池化的结果预测出多条符合社会规范的轨迹(见“Sociallstm:Humantrajectorypredictionincrowdedspaces，CVPR2016”)。由于该方法仅仅只能建模目标行人局部区域内的行人交互作用，无法高效模拟场景中所有行人的交互。Gupta等将生成式对抗网络引入到行人轨迹预测问题当中，提出了社会对抗网络模型，通过对生成器与判别器进行反向训练以及一个池化模块提取场景中所有行人的交互信息，生成了多种符合社会规范的轨迹，并且提升了预测精度(见“SocialGAN:Sociallyacceptabletrajectorieswithgenerativeadversarialnetworks，CVPR2018”)。但是该方法在提取行人之间的交互信息时仅仅考虑了行人之间的空间位置关系，忽略了周围行人运动方向、速度等因素对目标行人未来轨迹的影响，因而无法对行人之间的交互信息进行充分提取。此外，基于生成式对抗网络的方法在网络训练过程中极易出现生成器与判别器强弱不均衡的现象，从而导致梯度消失难以训练的问题。针对以上问题，广东工业大学申请了专利号为202010110743.X，专利名称为一种基于长短期记忆的行人轨迹预测方法，该专利技术公开了一种基于长短期记忆的行人轨迹预测方法，主要包括以下步骤：对数据进行预处理，转换为一个[行人数量，4]的矩阵；引入注意力机制选择对当前行人行走时的方向、速度等指标产生影响的信息，并通过全连接层连接所有当前位置信息；将同一场景下全局行人的历史状态隐藏信息输入池化层进行池化，达到“共享”全局隐藏信息的目的；通过长短期记忆单元将当前状态下所有行人的历史状态隐藏信息的池化张量，当前行人的位置信息以及经注意力机制所选择的对行人产生影响的信息，转化为长短期记忆序列信息；将当前的状态信息通过一个多层感知机结构转化到坐标空间，生成预测轨迹序列：该专利仍然存在如下缺陷：首先该专利在注意力机制方面，获取注意力权重的方法仅仅考虑了第i个行人相对于第j个行人的相对位置信息，并未将行人j的速度、相对于行人i的运动方向、与行人i的相对距离等因素综合考虑进去来获取注意力机制的，因此申请人改进了注意力权重的方式为：为了刻画行人j对目标行人i运动产生的影响，注意力池化模块将行人j的速度矢量vj、行人i和行人j之间的距离矢量dij、行人i的速度矢量vi与行人j之间的距离矢量dij的夹角aij的余弦值cosaij、行人i的速度矢量vi与行人j的速度矢量vj的夹角bij的余弦值cosbij合并为特征向量qij送入一个使用softmax函数作为激活函数的多层全连接网络，从而获得场景中行人j对目标行人i的注意力权重。其次本申请针对传统GAN网络在训练过程中存在的生成器与判别器强弱不匹配导致训练梯度消失难以训练的问题，通过修改损失函数，训练过程中在判别器端引入随时间减小的噪声，改善了模型的训练效果，提升了轨迹的预测精度。GAN网络的损失函数可以表示为：Ltran_GAN＝Ex[logD(x)]+Ez[log(1-D(G(z)))]而我们改进的GAN网络的损失函数表示为：LGAN＝Ex[logh(D(x))]+Ez[log(1-h(D(G(z))))]其中，h(·)表示随时间减小的噪声函数。这样改进的好处在于在网络训练初期，训练数据集数据分布和生成器生成数据分布交集很小，因此判别器可以轻易地区分真实数据与生成数据，从而网络缺乏训练梯度。因此，训练初期在判别器端添加一定的噪声使得训练数据与生成数据存在一定的交集。随着训练时间的增加，生成器生成数据的分布逐渐接近真实数据分布，此时逐渐减小噪声仍可以保证网络具备一定的训练梯度，从而改善网络的训练效果。
技术实现思路
为了解决上述存在问题。本专利技术提供一种基于注意力机制的生成式对抗轨迹预测方法，以充分提取行人之间的交互信息从而提升轨迹预测的精度。若将该方法用于服务机器人的导航规划系统中，可有助于服务机器人在与人共融的动态环境中规划出更加合理有效的路径，从而提高导航的舒适性。本专利技术提供一种基于注意力机制的生成式对抗轨迹预测方法,其特征在于，包括以下步骤：步骤1：将行人轨迹数据预处理并送入编码器进行编码处理；步骤2：将编码后的向量送入一个基于注意力机制的池化模块进行影响力权重分配并得到池化向量；步骤3：使用一个基于LSTM网络的解码器输出行人的预测轨迹；步骤4：利用改进后的损失函数使用Adam算法对生成器与判别器进行对抗训练；步骤5：将行人的观测轨迹送入训练好的网络模型的生成器中，得到预测的行人轨迹坐标。进一步的，步骤1所述的对行人轨迹进行编码处理，包括：网络接收行人的历史轨迹并通过一个单层的全连接网络作为嵌入层，将行人i在t时刻的位置变化信息转化为一个固定长度的特征向量然后将该向量送入一个LSTM网络进行编码处理，学习轨迹数据的时序特征，得到行人i在t时刻的隐藏状态其中，f(·)是一个采用ReLU激活函数的嵌入层，Wf和Wencoder分别是嵌入层和LSTM网络的权重参数，并且LSTM网络的参数由场景中的所有行人共享。进一步的，步骤2所述的通过基于注意力机制的池化模块来对同一场景中的行人进行影响力权重分配，并输出表征行人交互信息的池化向量，包括：为了刻画行人j对目标行人i运动产生的影响，模块首先使用池化的方式获取池化向量hij，并将行人j的速度矢量vj、行人i和行人j之间的距离矢量dij、行人i的速度矢量vi与行人j之间的距离矢量dij的夹角aij的余弦值cosaij、行人i的速度矢量vi与行人j的速度矢量vj的夹角本文档来自技高网...

【技术保护点】
1.一种基于注意力机制的生成式对抗轨迹预测方法,其特征在于，包括以下步骤：/n步骤1：将行人轨迹数据预处理并送入编码器进行编码处理；/n步骤2：将编码后的向量送入一个基于注意力机制的池化模块进行影响力权重分配并得到池化向量；/n步骤3：使用一个基于LSTM网络的解码器输出行人的预测轨迹；/n步骤4：利用改进后的损失函数使用Adam算法对生成器与判别器进行对抗训练；/n步骤5：将行人的观测轨迹送入训练好的网络模型的生成器中，得到预测的行人轨迹坐标。/n

【技术特征摘要】
1.一种基于注意力机制的生成式对抗轨迹预测方法,其特征在于，包括以下步骤：
步骤1：将行人轨迹数据预处理并送入编码器进行编码处理；
步骤2：将编码后的向量送入一个基于注意力机制的池化模块进行影响力权重分配并得到池化向量；
步骤3：使用一个基于LSTM网络的解码器输出行人的预测轨迹；
步骤4：利用改进后的损失函数使用Adam算法对生成器与判别器进行对抗训练；
步骤5：将行人的观测轨迹送入训练好的网络模型的生成器中，得到预测的行人轨迹坐标。


2.根据权利要求1所述的一种基于注意力机制的生成式对抗轨迹预测方法，其特征在于：步骤1所述的对行人轨迹进行编码处理，包括：
网络接收行人的历史轨迹并通过一个单层的全连接网络作为嵌入层，将行人i在t时刻的位置变化信息转化为一个固定长度的特征向量然后将该向量送入一个LSTM网络进行编码处理，学习轨迹数据的时序特征，得到行人i在t时刻的隐藏状态






其中，f(·)是一个采用ReLU激活函数的嵌入层，Wf和Wencoder分别是嵌入层和LSTM网络的权重参数，并且LSTM网络的参数由场景中的所有行人共享。


3.根据权利要求1所述的一种基于注意力机制的生成式对抗轨迹预测方法，其特征在于：步骤2所述的通过基于注意力机制的池化模块来对同一场景中的行人进行影响力权重分配，并输出表征行人交互信息的池化向量，包括：
为了刻画行人j对目标行人i运动产生的影响，模块首先使用池化的方式获取池化向量hij，并将行人j的速度矢量vj、行人i和行人j之间的距离矢量dij、行人i的速度矢量vi与行人j之间的距离矢量dij的夹角aij的余弦值cosaij、行人i的速度矢量vi与行人j的速度矢量vj的夹角bij的余弦值cosbij合并为特征向量qij送入一个使用softmax函数作为激活函数的多层全连接网络，从而获得场景中行人j对目标行人i的注意力权重；
之后，将场景中所有其他行人相对于目标行人i的池化向量汇聚为最终的池化向量Hi，并将不同行人的注意力权重合并为权重矩阵Watten_i，最后，将权重矩阵Watten_i与汇聚的池化向量Hi相乘得到特征向量phi，并通过最大值池化的方式得到目标行人i的池化向量pi，该池化向量表征目标行人i做出决策所需要的信息，直观上理解，通过采用注意力机制得到场景中所有人对目标行人i未来轨迹影响的权值，从而汇总出目标行人i做出决策所需要的信息pi，从而达到行人交互建模的目的，具体的公式计算如下所示：
qij＝[vj,dij,cosaij,cosbij]
qi＝[qi1,qi2,...,qij,...,qiN]
Watten_i＝s(qi；Ws)
Hi＝[hi1,hi2,...,hij,...,hiN]
pi＝maxpool(Watten_iHi)
其中，s(·)表示使用softmax激活函数的多层全连接网络，Ws为该网络的权重参数。


4.根据权利要求1所述的一种基于注意力机制的生成式对抗轨迹预测方法，其特征在于：...

【专利技术属性】
技术研发人员：房芳，张鹏鹏，周波，钱堃，甘亚辉，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏;32