基于DDPG的智能网联公交车车重自适应全局车速规划方法技术

本发明专利技术公开了一种基于DDPG的智能网联公交车车重自适应全局车速规划方法，包括以下步骤：步骤1，建立信号灯仿真模型；步骤2，计算强化学习的状态量S

【技术实现步骤摘要】
基于DDPG的智能网联公交车车重自适应全局车速规划方法


[0001]本专利技术涉及智能网联汽车车速规划
，特别是涉及一种基于DDPG的智能网联公交车车重自适应全局车速规划方法。

技术介绍

[0002]智能网联公交车是智能网联汽车示范应用的典型场景之一，其可以大幅提高公共交通的出行效率，为大规模的人群提供出行便利。车路协同是我国智能网联汽车发展的重要战略，通过其获取信号灯路口的信号灯信息，能够使得车辆对自身车速进行合理规划，提高路口的通行效率、降低车辆的能耗。
[0003]考虑信号灯路口的全局车速规划方法主要可以分为以下三类：基于规则、基于学习和基于优化。
[0004]基于规则的方法主要根据信号灯的状态和配时将自车的路口通行策略划分为不同类型，在每种类型下采用相应方法调整自车车速。其特点是简单易用，但面对复杂的多路口场景时处理困难且没有保证最优性。丁川等在单点信号灯路口将车速控制划分为停车等待、减速、匀速、加速四类，每类下采取匀变速调整自车车速至目标车速(丁川,鲁光泉.智能网联环境下交叉口车路协同优化方法[M].北京:科学出版社,2021:22
‑
34)。文巧雅采取类似的思路，提出了以通行时间和舒适性为优化目标的通行策略，根据参考速度和信号灯状态对自车进行匀速、加速、减速、停车等相应调整(文巧雅.基于V2X技术的智能车辆通行红绿灯决策方法研究[D].北京理工大学,2018.)。
[0005]基于优化的方法将信号灯路口车速问题转化为最优控制问题，建立相应的约束和成本函数，采取相应的优化方法如动态规划、模型预测控制等求解此最优化问题。其特点是优化效果好，能够保证最优性，但求解较为复杂计算量大，通常需要先采用算法建立绿波通行的约束再进行求解，难以实时应用。冷江昊等通过构建有向无环图，采用动态规划求解最优绿灯通行周期，并以此作为约束条件，建立了非线性优化问题采用内点法进行求解(冷江昊,孙超,卢兵.智能车辆多信号灯路口快速节能车速规划[J].汽车工程,2021,43(10):1442
‑
1447,1478.)。Wang等以信号灯通行规则为约束，建立了以驾驶安全、能耗和排放为成本函数的优化问题，采用双层MPC进行求解，并能够根据所划分不同的驾驶场景调整成本函数(Wang S,Lin X.Eco
‑
driving control of connected and automated hybrid vehicles in mixed driving scenarios[J].Applied Energy,2020,271:115233.)。
[0006]基于学习的方法采用强化学习，通过智能体与环境的交互不断试错学习，以最大化累计奖励为目标。其特点是泛化性好，能够应对变化的场景，并且能够进行部署应用，但需要大量训练。Liu等提出了一种多信号灯路口的基于深度强化学习的智能网联车辆自适应速度规划方法，旨在提高车辆的燃油经济性和舒适性，算法能够适应信号灯的变化场景，并快速求解近似最优速度轨迹(Liu B，Sun C，Wang B，et al.Adaptive Speed Planning of Connected and Automated Vehicles Using Multi
‑
Light Trained Deep Reinforcement Learning[J].IEEE Transactions on Vehicular Technology，2022(4)：
71.)。
[0007]在上述方法中，基于规则的方法难以处理复杂场景且缺少最优性；基于优化的方法求解复杂，泛化能力差难以实际应用；而基于学习的方法具有较好的泛化能力，在完成训练后能够部署实际应用。此外，上述方法研究对象均为乘用车，还缺少对商用公交车相关的研究。公交车具有车重变化范围大、需要完成进出站驾驶任务的特点，在速度规划中应该考虑这些因素的影响。
[0008]因此，本专利技术提出一种基于深度强化学习(DDPG)的智能网联公交车车重自适应全局速度规划算法，覆盖了信号灯路口和进出站典型场景，通过车重的在线估计和对信号灯相位的主动适应，输出高效节能舒适的全局车速曲线，具有重要的理论意义和工程应用价值。

技术实现思路

[0009]本专利技术针对智能公交运行时面临的外部交通环境不确定性(信号灯相位动态变化和进出站时刻不确定)以及车辆内部自身不确定性(载客量改变而导致车重变化)的问题，而提供一种基于DDPG的智能网联公交车车重自适应全局车速规划方法。本专利技术将公交车的速度变化建模为马尔科夫决策过程，提出扩张车重状态的思路，以车重估计结果为基础采用DDPG算法进行智能公交信号灯路口通行和进出站的全局速度一体化规划，实现车速对信号灯相位和车重的主动适应。
[0010]为实现本专利技术的目的所采用的技术方案是：
[0011]一种基于DDPG的智能网联公交车车重自适应全局车速规划方法，包括以下步骤：
[0012]步骤1，通过车路协同技术获取车辆行驶路线上的各个信号灯周期和相位信息，据此建立信号灯仿真模型；
[0013]步骤2，由所述的信号灯仿真模型计算当前时刻的信号灯相位信息t
l
、t
l
′
，由车重估计算法进行车重估计，计算经过归一化的估计车重m
nor
；由整车微孪生模型计算车辆经过归一化的车辆位置d
nor
、归一化的车速v
nor
，称[d
nor v
nor
t
l t
l
′ꢀ
m
nor
]为强化学习的状态量S
t
；
[0014]步骤3，将当前时刻的状态量S
t
输入给DDPG中的策略网络，由其输出当前时刻车辆应采取的加速度值a
t
，整车微孪生模型执行a
t
，对S
t
进行更新；
[0015]步骤4，整车微孪生模型在执行a
t
后所获得的奖励值R
t
，若车辆前方为路口，则R
t
＝β1R
g
+β2R
p
+β3R
j
+β4R
T
+R
G
；若车辆前方为站点，则R
t
＝β1R
v
+β2R
p
+β3R
j
+β4R
T
+R
st
，其中，R
g
为预测路口通行状态奖励，R
p
为能耗奖励，R
j
为速度平顺性奖励，R
T
为时间惩罚，R
G
为路口通行状态终端奖励，R
v
为参考速度奖励，R
st
为站点停车终端奖励；
[0016]步骤本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于DDPG的智能网联公交车车重自适应全局车速规划方法，其特征在于，包括以下步骤：步骤1，通过车路协同技术获取车辆行驶路线上的各个信号灯周期和相位信息，据此建立信号灯仿真模型；步骤2，由所述的信号灯仿真模型计算当前时刻的信号灯相位信息t
l
、t
l
′
，由车重估计算法进行车重估计，计算经过归一化的估计车重m
nor
；由整车微孪生模型计算车辆经过归一化的车辆位置d
nor
、归一化的车速v
nor
，称[d
nor
v
nor
t
l
t
l
′
m
nor
]为强化学习的状态量S
t
；步骤3，将当前时刻的状态量S
t
输入给DDPG中的策略网络，由其输出当前时刻车辆应采取的加速度值a
t
，整车微孪生模型执行a
t
，对S
t
进行更新；步骤4，整车微孪生模型在执行a
t
后所获得的奖励值R
t
，若车辆前方为路口，则R
t
＝β1R
g
+β2R
p
+β3R
j
+β4R
T
+R
G
；若车辆前方为站点，则R
t
＝β1R
v
+β2R
p
+β3R
j
+β4R
T
+Rs
t
，其中，R
g
为预测路口通行状态奖励，R
p
为能耗奖励，R
j
为速度平顺性奖励，R
T
为时间惩罚，R
G
为路口通行状态终端奖励，R
v
为参考速度奖励，R
st
为站点停车终端奖励；步骤5，根据步骤2的状态量S
t
和动作值a
t
以及步骤3中的奖励值R
t
，对DDPG算法中的各个网络进行训练更新，如果训练过程结束或者网络已经收敛，则执行步骤6；如果未收敛，则再返回执行步骤2；所述步骤1
‑
步骤5为DDPG算法离线训练过程，在车辆仿真模型中进行；步骤6，通过车路协同技术和实车采集数据获取状态量S
t
，输入给选取步骤5中完成训练或已经收敛的DDPG中的策略网络，规划全局车速曲线；所述步骤6为DDPG算法完成训练后实际应用过程，在实际车辆上进行。2.如权利要求1所述的基于DDPG的智能网联公交车车重自适应全局车速规划方法，其特征在于，所述步骤2中，d表示车辆当前到下一个路口或者站点的距离，d
i
表示相邻路口或站点间的距离，i表示车辆所在的路段编号；v表示车辆当前车速，v
max
表示当前道路上车辆的最大限速。3.如权利要求1所述的基于DDPG的智能网联公交车车重自适应全局车速规划方法，其特征在于，所述步骤2中，t
l
和t
l
′
表示车辆当前距离最近的下一个路口的信号灯信息，采用式l和2进行计算：式l和2进行计算：黄灯时间全部计入红灯，式(1)和(2)中，t表示当前时刻所对应的在本灯态持续时长内的时间，t
r
表示红灯...

【专利技术属性】
技术研发人员：宋康，张榆川，谢辉，
申请(专利权)人：天津大学，
类型：发明
国别省市：