一种面向自动驾驶汽车的过街行人群体多模态轨迹预测方法技术

本发明专利技术公开了一种面向自动驾驶汽车的过街行人群体多模态轨迹预测方法，依据自动驾驶车获取的多源信息构建人车社会交互图；基于人车社会交互图，运用图团体检测算法实现行人结伴识别；运用朴素贝叶斯模型实现行人从众识别与人车交互识别，完成人车时空信息的社会交互标签嵌入，确定行人的不同交互方式与交互对象；基于输入信息与交互标签，经由多模态轨迹预测模块，计算未来短期行人及行人群体轨迹；基于未来短时轨迹，更新未来人车时空状态信息；储存未来短时轨迹，拼接为长时轨迹序列。本发明专利技术在轨迹短时预测中，加入了对过街场景语义信息的特征提取，更适用于泛化要求高、场景复杂、计算实时性强的自动驾驶应用场景。计算实时性强的自动驾驶应用场景。计算实时性强的自动驾驶应用场景。

【技术实现步骤摘要】
一种面向自动驾驶汽车的过街行人群体多模态轨迹预测方法


[0001]本专利技术属于自动驾驶决策算法领域，具体涉及一种面向自动驾驶汽车过街行人群体多模态轨迹预测方法。

技术介绍

[0002]自动驾驶是新一轮科技革命与交通运输融合发展的高地。近几年，自动驾驶汽车技术发展迅速，许多科技公司推出的自动驾驶方案(特斯拉FSD、百度Apollo、小马智行等)正向高级别的自动驾驶迈进。但与此同时，人们仍然对自动驾驶车辆的安全存在很大的质疑。过街行人轨迹预测是自动驾驶技术中的重要组成部分和研究领域。提高过街行人群体轨迹预测的准确性，将更有效地保证自动驾驶汽车在行驶中的安全性，减少交通参与者的生命财产损失。
[0003]行人过街是行人行为的一个特殊场景。该场景中，不但需考虑行人间的交互还要关注行人与车辆的博弈。此外，过街的环境因素也远比人行道内部复杂。因此近年来，交互感知和多模态对于轨迹预测的重要性已被关注。现有长时轨迹预测方法主要为直接预测或仅简单迭代预测。但行人行为具有突变性与高频性，将人与车的动态博弈以及行人轨迹的突变特性纳入模型对于提升轨迹预测的精度至关重要，但现有研究不够深入。现有的自动驾驶决策模块虽能实现行人的意图识别和轨迹预测，但因缺乏对行人决策机理和社会交互的解析，无法从行为随机的人群行为中足够精准地判断其意图与趋势，以至于在面对复杂的人群过街交通场景时轨迹预测精确度不足。现有的深度学习模型极大地提升了轨迹预测的精度，但行人过街轨迹预测的研究大多针对单人单车交互场景，学者们回避了路权模糊、多人多车的复杂交通场景，忽视了行人与其他交通主体的社会交互因素。行人行为的随机性与社会性，极大地增加了真实场景下行人行为的可预测难度，使得考虑行为心理、社会交互等复杂因素的轨迹预测研究仍处于探索阶段。

技术实现思路

[0004]本专利技术目的在于提供一种面向自动驾驶汽车的过街行人群体多模态轨迹预测方法，可避免传统的行人轨迹单模态预测造成的过街行人群体轨迹预测精度低以及无法预测可能产生的过街行为突变的问题。
[0005]为实现上述目的，本专利技术所采用的技术方案如下：一种面向自动驾驶汽车的过街行人群体多模态轨迹预测方法，包括以下步骤：
[0006]步骤1、依据自动驾驶车获取的多源信息构建人车社会交互图，所述多源信息包括自动驾驶车路径规划信息、人车时空状态信息以及行人过街意图信息；
[0007]步骤2、基于人车社会交互图，运用图团体检测算法实现行人结伴识别；
[0008]步骤3、运用朴素贝叶斯模型实现行人从众识别与人车交互识别，完成人车时空信息的社会交互标签嵌入，确定行人的不同交互方式与交互对象；
[0009]步骤4、基于输入信息与交互标签，经由多模态轨迹预测模块，计算未来短期行人
及行人群体轨迹；
[0010]步骤5、基于未来短时轨迹，更新未来人车时空状态信息；储存未来短时轨迹，拼接为长时轨迹序列，为每个行人的未来轨迹提出多模式解决方案。
[0011]优选地，所述人车空间关系信息包括：自动驾驶汽车的绝对位置、行人的绝对位置、邻车绝对位置；所述自动驾驶车路径规划信息为基于使用道路中心线作为参考线，使用参考线的切线向量和法线向量建立坐标系后基于行车自动驾驶初始激活状态建立相应的初始运动轨迹规划；所述行人过街意图信息包括基于隐马尔可夫行人过街意图识别模型确定检测到的行人过街状态S
i
，S1为过街，S2为等待过街，S3为非过街。
[0012]优选地，步骤2基于人车社会交互图，运用图团体检测算法实现行人结伴识别，具体步骤为：
[0013]步骤2
‑
1、将检测到的过街行人视为节点并根据相互之间的欧式距离创建邻接矩阵；
[0014]步骤2
‑
2、将每个节点自己的独自构成一个聚类，计算整个网络的模块性M，
[0015]步骤2
‑
3、计算任意两个聚类进行融合后造成的模块性改变ΔM；
[0016]步骤2
‑
4、取ΔM出现了最大增长的两个聚类进行实际融合；为这个聚类计算新的模块性M，并记录下来；
[0017]步骤2
‑
5、重复第2
‑
3步和第2
‑
4步，每一次都融合一对聚类，得到ΔM的最大增益，记录新的聚类模式及其相应的模块性M，衡量结伴划分质量，通过迭代寻找最优结伴划分；
[0018]步骤2
‑
6、基于划分结果合并结伴的行人组合，更新社会交互图。
[0019]优选地，模块性M的计算公式如下：
[0020][0021]其中，L表示社会交互图包含的边数量，N表示定点数量，k
i
k
j
表示各人、车的度，A
ij
表示两交通主体间的欧式距离，c
i
,c
j
表示行人结伴聚类情况，δ为kronecker函数，两个参数相等则返回1，不等则返回0；所以如果顶点i，j属于同一聚类，则δ(c
i
,c
j
)返回1，不属于同一聚类则δ(c
i
,c
j
)返回0。
[0022]优选地，运用朴素贝叶斯分类器筛选出从众行人和与车辆有交互的行人，具体为：
[0023]步骤3
‑
1、假设每个被检测到的行人具有n项属性特征，分别为f1,f2,f3,f4,
……
,f
N
,同时各属性特征之间保持相互独立，集合F＝{f1,f2,f3,f4……
f
N
}表示属性特征集合；
[0024]步骤3
‑
2、将人群划分为m个类别，分别为c1,c2,c3,
……
,c
M
，集合C＝{c1,c2,c3……
c
M
}表示从属类别集合；
[0025]步骤3
‑
3、通过样本中已知类别的行人的先验概率p(F|c)，根据未知类别行人的属性特征集合F，利用贝叶斯公式计算行人的后验概率p(c|F)，选择具有最大后验概率的类作为其所属的类别，筛选出从众行人和与车辆有交互的行人；
[0026]步骤3
‑
4、采用相同方法将过街行人群体划分为2个类别分别为c4：与车辆有交互者；c5：与车辆无交互者；
[0027]步骤3
‑
5、输出具有人
‑
人结伴、从众标签及人车交互标签的人车时空信息。
[0028]优选地，利用贝叶斯公式计算出行人的后验概率的公式表达如下：
[0029][0030][0031]式中，p(F|c)为已知类别的行人的先验概率，p(F)为特征集合F的全概率，p(c)为某个行人为c类别的概率，p(f
N
|c)为类别为c的行人具有f
N
特征的概率。
[0032]优选地，所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向自动驾驶汽车的过街行人群体多模态轨迹预测方法，其特征在于，包括以下步骤：步骤1、依据自动驾驶车获取的多源信息构建人车社会交互图，所述多源信息包括自动驾驶车路径规划信息、人车时空状态信息以及行人过街意图信息；步骤2、基于人车社会交互图，运用图团体检测算法实现行人结伴识别；步骤3、运用朴素贝叶斯模型实现行人从众识别与人车交互识别，完成人车时空信息的社会交互标签嵌入，确定行人的不同交互方式与交互对象；步骤4、基于输入信息与交互标签，经由多模态轨迹预测模块，计算未来短期行人及行人群体轨迹；步骤5、基于未来短时轨迹，更新未来人车时空状态信息；储存未来短时轨迹，拼接为长时轨迹序列。2.根据权利要求1所述的面向自动驾驶汽车的过街行人群体多模态轨迹预测方法，其特征在于，所述人车空间关系信息包括：自动驾驶汽车的绝对位置、行人的绝对位置、邻车绝对位置；所述自动驾驶车路径规划信息为基于使用道路中心线作为参考线，使用参考线的切线向量和法线向量建立坐标系后基于行车自动驾驶初始激活状态建立相应的初始运动轨迹规划；所述行人过街意图信息包括基于隐马尔可夫行人过街意图识别模型确定检测到的行人过街状态S
i
，S1为过街，S2为等待过街，S3为非过街。3.根据权利要求1所述的面向自动驾驶汽车的过街行人群体多模态轨迹预测方法，其特征在于，步骤2基于人车社会交互图，运用图团体检测算法实现行人结伴识别，具体步骤为：步骤2
‑
1、将检测到的过街行人视为节点并根据相互之间的欧式距离创建邻接矩阵；步骤2
‑
2、将每个节点自己的独自构成一个聚类，计算整个网络的模块性M，步骤2
‑
3、计算任意两个聚类进行融合后造成的模块性改变ΔM；步骤2
‑
4、取ΔM出现了最大增长的两个聚类进行实际融合；为这个聚类计算新的模块性M，并记录下来；步骤2
‑
5、重复第2
‑
3步和第2
‑
4步，每一次都融合一对聚类，得到ΔM的最大增益，记录新的聚类模式及其相应的模块性M，衡量结伴划分质量，通过迭代寻找最优结伴划分；步骤2
‑
6、基于划分结果合并结伴的行人组合，更新社会交互图。4.根据权利要求3所述的面向自动驾驶汽车的过街行人群体多模态轨迹预测方法，其特征在于，模块性M的计算公式如下：其中，L表示社会交互图包含的边数量，N表示定点数量，k
i
k
j
表示各人、车的度，A
ij
表示两交通主体间的欧式距离，c
i
,c
j
表示行人结伴聚类情况，δ为kronecker函数，两个参数相等则返回1，不等则返回0；所以如果顶点i，j属于同一聚类，则δ(c
i
,c
j
)返回1，不属于同一聚类则δ(c
i
,c
j
)返回0。5.根据权利要求1所述的基于自动驾驶汽车的过街行人群体多模态轨迹预测方法，其特征在于，运用朴素贝叶斯分类器筛选出从众行人和与车辆有交互的行人，具体为：
步骤3
‑
1、假设每个被检测到的行人具有n项属性特征，分别为f1,f2,f3,f4,
……
,f
N
,同时各属性特征之间保持相互独立，集合F＝{f1,f2,f3,f4……
f
N
}表示属性特征集合；步骤3
‑
2、将人群划分为m个类别，分别为c1,c2,c3,
……
,c
M
，集合C＝{c1,c2,c3……
c
M
}表示从属类别集合；步骤3
‑
3、通过样本中已知类别的行人的先验概率p(F|c)，根据未知类别行人的属性特征集合F，利用贝叶斯公式计算行人的后验概率p(c|F)，选择具有最大后验概率的类作为其所属的类别，筛选出从众行人和与车辆有交互的行人；步骤3
‑
4、采用相同方法将过街行人群体划分为2个类别分别为c4：与车辆有交互者；c5：与车辆无交互者；步骤3
‑
5、输出具有人
‑
人结伴、从众标签及人车交互标签的人车时空信息。6.根据权利要求5所述的基于自动驾驶汽车的过街行人群体多模态轨迹预测方法，其特征在于，利用贝叶斯公式计算出行人的后验概率的公式表达如下：特征在于，利用贝叶斯公式...

【专利技术属性】
技术研发人员：周竹萍，刘博闻，汤睿尧，刘洋，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：