一种联合时空信息和社交互动特征的行人轨迹预测方法技术

本发明专利技术公开了一种联合时空信息和社交互动特征的行人轨迹预测方法，属于计算机视觉技术和自动驾驶领域，包括如下步骤：步骤1、获取行人历史轨迹，并利用基于多层感知机的运动轨迹映射模块初步编码行人的历史轨迹信息；步骤2、构建行人轨迹预测网络模型预测轨迹分布；步骤3、训练得到最优的行人轨迹预测网络模型；步骤4、基于最优的行人轨迹预测网络模型，采集当前帧的前8个时间步真实位置作为行人已知的观测轨迹数据，预测未来12个时间步的运动轨迹。本发明专利技术深度挖掘轨迹预测过程中行人自我运动与场景内行人间社交互动的潜在时空信息，显著提高了行人轨迹预测的精确性与合理性。提高了行人轨迹预测的精确性与合理性。提高了行人轨迹预测的精确性与合理性。

【技术实现步骤摘要】
一种联合时空信息和社交互动特征的行人轨迹预测方法


[0001]本专利技术属于计算机视觉技术和自动驾驶领域，具体涉及一种联合时空信息和社交互动特征的行人轨迹预测方法。

技术介绍

[0002]随着计算机技术和深度学习算法的飞速发展，自动化、智能化技术成为如今研究广泛关注的领域。行人未来轨迹的准确推理和预测作为自动驾驶、高级驾驶辅助系统、高级监控系统、智能机器人导航等领域中的关键组成部分，一直是国内外学者研究的热点。行人轨迹预测的基本原理是通过引入行人位置、自我运动历史、行人与环境、行人间交互等信息，根据行人在过去时间段内的轨迹来预测行人在未来固定时刻的位置坐标。由于行人轨迹的高动态性、随机性以及与所处环境之间复杂的交互，行人未来轨迹的准确预测一直是一个具有挑战性的问题。
[0003]纵观近些年研究状况，根据轨迹预测模型建立的方式大致分为两类，即基于模型驱动的建模方法和基于数据驱动的建模方法。基于模型驱动的建模方法是针对一些特定场景，依靠人为设定的能量函数模型，模拟行人自身以及行人间的运动关系，从而对行人轨迹进行预测。其中较为经典的模型有基于社会力的行人轨迹预测模型、基于马尔科夫决策和高斯过程的行人轨迹预测模型、基于运动学模型和物理约束的行人轨迹预测模型、基于聚类的行人轨迹预测模型等。但是，基于模型驱动的建模方法模型能力不强、泛化能力差，无法对行人成群出行等社会行为进行很好的表达，并且难以对行人在周围环境影响下产生的复杂运动信息进行有效的捕获。基于数据驱动的建模方法将行人轨迹预测问题看作是时间序列预测问题，通过对大量数据的统计分析，借助机器学习或深度学习出色的拟合能力和表达能力，对行人运动序列的相关性进行建模，从而实现行人轨迹预测。基于数据驱动的建模方法主要有两种：基于循环神经网络的模型和基于组合网络的模型。由于循环神经网络很难在长时间序列中进行学习连接获得信息，且只能记住短期存储序列。因此基于循环神经网络的预测模型目前大都使用循环神经网络的变种网络，包括长短时记忆网络和门控循环单元。基于循环神经网络的模型虽然具备显著的序列建模能力，但缺乏直观的高层时空结构，难以有效地表达行人间复杂的空间交互影响特性。近几年，许多学者关注将注意力机制、图卷积网络、生成对抗网络等加入到循环神经网络中构成组合网络，可以更好地对场景中行人的社交互动进行建模，来提高行人轨迹预测的准确性、合理性和可解释性。
[0004]现有技术存在的缺陷：目前基于数据驱动的建模方法大多采用编码器
‑
解码器的结构，但是当前的编码模块局限于使用循环神经网络及其变种来编码行人的运动时序信息，随着运动时序长度的增加，后输入的序列信息会覆盖之前输入的信息。而且由于行人轨迹的高动态性和随机性，行人之间的社交互动是复杂而抽象的。因此，深度挖掘行人复杂多变的运动时序特性以及行人与其他行人之间的社交互动特性，联合不同的信息（如历史轨迹信息、社交互动信息等）进行长时间序列下行人轨迹预测是很有必要的。

技术实现思路

[0005]为了解决上述问题，本专利技术提出了一种联合时空信息和社交互动特征的行人轨迹预测方法，对长时间序列下行人自身的时序运动特性和行人与其他行人之间的交互性特征进行深度刻画，设计了一种基于长短时记忆网络编码器—解码器结构的行人轨迹预测方法。
[0006]本专利技术的技术方案如下：
[0007]一种联合时空信息和社交互动特征的行人轨迹预测方法，包括如下步骤：步骤1、获取行人历史轨迹，并利用基于多层感知机的运动轨迹映射模块初步编码行人的历史轨迹信息；步骤2、构建行人轨迹预测网络模型预测轨迹分布，行人轨迹预测模型包括依次连接的三个模块：结合长短时记忆网络和特征注意力机制的运动时空特征编码模块、基于图卷积神经网络的行人社交互动信息传递模块和融入拉普拉斯混合分布思想的多模态未来轨迹解码模块；步骤3、训练得到最优的行人轨迹预测网络模型；步骤4、基于最优的行人轨迹预测网络模型，采集当前帧的前8个时间步真实位置作为行人已知的观测轨迹数据，预测未来12个时间步的运动轨迹。
[0008]进一步地，步骤1中，在轨迹数据输入编码模块之前，利用运动轨迹映射模块初步编码行人的历史轨迹信息，得到行人运动特征，(t=1,2,
…
,T)表示第t帧场景中所有行人的运动特征，N表示某一帧场景中行人的数量，表示嵌入特征空间的维度，以此作为运动时空特征编码模块的输入数据。
[0009]进一步地，步骤2的具体过程如下：步骤2.1、基于结合长短时记忆网络和特征注意力机制的运动时空特征编码模块，挖掘行人自身对观测时段内历史轨迹特征向量的时间依赖性，选择性捕获行人自我运动序列的时空关联信息；步骤2.2、在时序特征提取基础上，通过分析行人自身运动与其周围其他行人间存在复杂相互作用的特点，基于图卷积神经网络的行人社交互动信息传递模块建模同一场景内行人间的社交互动特征；步骤2.3、基于融入拉普拉斯混合分布思想的多模态未来轨迹解码模块对行人历史轨迹时空关联信息和社交互动特征进行综合分析与解码，预测轨迹分布以捕获未来轨迹的不确定性，得到行人的多模态未来运动轨迹。
[0010]进一步地，在结合长短时记忆网络和特征注意力机制的运动时空特征编码模块中，定义一个观测历史轨迹序列，其中T表示观测历史轨迹的帧数，N表示某一帧场景中行人的数量，2为行人在横向x和纵向y两个方向上的位置；如公式（1）所示，利用长短时记忆网络对行人历史轨迹序列进行建模，提取行人运动序列的时空关联信息，；； (1)；
；；其中，表示长短期记忆网络的门函数，、、和分别表示更新门、遗忘门、输出门和单元门；和分别表示将第t帧的输入状态与第t
‑
1帧的隐藏状态连接到长短期记忆网络单元的权重矩阵，、、、分别表示更新门、遗忘门、输出门、单元门将第t帧的输入状态连接到长短期记忆网络单元的权重矩阵；、、、分别表示更新门、遗忘门、输出门、单元门将第t
‑
1帧的隐藏状态连接到长短期记忆网络单元的权重矩阵；表示偏置，、、、分别表示更新门偏置、遗忘门偏置、输出门偏置和单元门偏置；表示第t帧的输入状态，对应第t帧场景中行人的运动特征，表示第t
‑
1帧的隐藏状态，表示第t帧的隐藏状态；表示sigmoid激活函数，tanh表示Tanh激活函数，表示逐元素相乘；将各帧长短时记忆网络的输出连结得行人的初步时空关联信息，表示行人i在观测时间段内第t帧的时空关联信息；在编码模块引入特征注意力机制，综合挖掘行人当前的运动轨迹位置信息及其历史运动特征，通过公式（2）对行人当前的轨迹位置信息及其初步提取的时空关联信息进行显著性打分， (2)；其中，为显著性得分，为计算行人复合轨迹注意力得分的归一化指数函数，为权重，为行人i运动特征；最后，使用基于多层感知机的自适应加权融合，生成行人自我运动序列时空关联信息的编码向量，以反映其在前帧内的运动特征；表示注意力池化层，表示行人i在观测时间序列内第t帧的自我运动序列时空关联信息。
[0011]进一步地，在基于图卷积神经网络的行人社交互动本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种联合时空信息和社交互动特征的行人轨迹预测方法，其特征在于，包括如下步骤：步骤1、获取行人历史轨迹，并利用基于多层感知机的运动轨迹映射模块初步编码行人的历史轨迹信息；步骤2、构建行人轨迹预测网络模型预测轨迹分布，行人轨迹预测模型包括依次连接的三个模块：结合长短时记忆网络和特征注意力机制的运动时空特征编码模块、基于图卷积神经网络的行人社交互动信息传递模块和融入拉普拉斯混合分布思想的多模态未来轨迹解码模块；步骤3、训练得到最优的行人轨迹预测网络模型；步骤4、基于最优的行人轨迹预测网络模型，采集当前帧的前8个时间步真实位置作为行人已知的观测轨迹数据，预测未来12个时间步的运动轨迹。2.根据权利要求1所述联合时空信息和社交互动特征的行人轨迹预测方法，其特征在于，所述步骤1中，在轨迹数据输入编码模块之前，利用运动轨迹映射模块初步编码行人的历史轨迹信息，得到行人运动特征，(t=1,2,
…
,T)表示第t帧场景中所有行人的运动特征，N表示某一帧场景中行人的数量，表示嵌入特征空间的维度，以此作为运动时空特征编码模块的输入数据。3.根据权利要求1所述联合时空信息和社交互动特征的行人轨迹预测方法，其特征在于，所述步骤2的具体过程如下：步骤2.1、基于结合长短时记忆网络和特征注意力机制的运动时空特征编码模块，挖掘行人自身对观测时段内历史轨迹特征向量的时间依赖性，选择性捕获行人自我运动序列的时空关联信息；步骤2.2、在时序特征提取基础上，通过分析行人自身运动与其周围其他行人间存在复杂相互作用的特点，基于图卷积神经网络的行人社交互动信息传递模块建模同一场景内行人间的社交互动特征；步骤2.3、基于融入拉普拉斯混合分布思想的多模态未来轨迹解码模块对行人历史轨迹时空关联信息和社交互动特征进行综合分析与解码，预测轨迹分布以捕获未来轨迹的不确定性，得到行人的多模态未来运动轨迹。4.根据权利要求1所述联合时空信息和社交互动特征的行人轨迹预测方法，其特征在于，在结合长短时记忆网络和特征注意力机制的运动时空特征编码模块中，定义一个观测历史轨迹序列，其中T表示观测历史轨迹的帧数，N表示某一帧场景中行人的数量，2为行人在横向x和纵向y两个方向上的位置；如公式（1）所示，利用长短时记忆网络对行人历史轨迹序列进行建模，提取行人运动序列的时空关联信息，；； (1)；；
；其中，表示长短期记忆网络的门函数，、、和分别表示更新门、遗忘门、输出门和单元门；和分别表示将第t帧的输入状态与第t
‑
1帧的隐藏状态连接到长短期记忆网络单元的权重矩阵，、、、分别表示更新门、遗忘门、输出门、单元门将第t帧的输入状态连接到长短期记忆网络单元的权重矩阵；、、、分别表示更新门、遗忘门、输出门、单元门将第t
‑
1帧的隐藏状态连接到长短期记忆网络单元的权重矩阵；表示偏置，、、、分别表示更新门偏置、遗忘门偏置、输出门偏置和单元门偏置；表示第t帧的输入状态，对应第t帧场景中行人的运动特征，表示第t
‑
1帧的隐藏状态，表示第t帧的隐藏状态；表示sigmoid激活函数，tanh表示Tanh激活函数，表示逐元素相乘；将各帧长短时记忆网络的输出连结得行人的初步时空关联信息，表示行人i在观测时间段内第t帧的时空关联信息；在编码模块引入特征注意力机制，综合挖掘行人当前的运动轨迹位置信息及其历史运动特征，通过公式（2）对行人当前的轨迹位置信息及其初步提取的时空关联信息进行显著性打分， (2)；其中，为显著性得分，为计算行人...

【专利技术属性】
技术研发人员：杜俊健，杨俊涛，康志忠，彭城，
申请(专利权)人：山东科技大学，
类型：发明
国别省市：