一种基于强化学习的电动汽车生态自适应巡航控制系统技术方案

本发明专利技术公开了一种基于强化学习的电动汽车生态自适应巡航控制系统，包括信息获取模块、纵向动力学模块、电动汽车储能模块、控制目标模块、控制器设计模块；信息获取模块通过雷达和车载信息传感器获取前车的位置和速度信息；纵向动力学模块用于计算加速度、集总阻力、实际车距、车轮扭矩和期望功率；电动汽车储能模块用于电动汽车驱动和制动情况下的需求功率以及电阻的计算；控制目标模块通过对车辆间距进行约束，确保车辆安全；通过给定优化目标提高节能驾驶、延长电池寿命；控制器设计模块用于确定控制过程中的状态变量以及代价函数的具体涉及的内容。本发明专利技术系统可保证电动汽车跟随性能、实现行驶安全、增强能源经济性和延长电池使用寿命。长电池使用寿命。长电池使用寿命。

【技术实现步骤摘要】
一种基于强化学习的电动汽车生态自适应巡航控制系统


[0001]本专利技术属于汽车辅助智能驾驶，尤其是涉及一种基于自适应动态规划的电动汽车生态自适应巡航控制系统。

技术介绍

[0002]当前，汽车工业作为耗能较大的产业大户，面临着较大的节能减排压力。电动汽车在行驶过程中污染物零排放，是汽车产业未来发展的重要方向。如何将智能驾驶技术应用在电动汽车上以进一步挖掘其节能潜力，是各大高校、车企重点研究方向。先进驾驶辅助系统(Advanced Driver Assistant System,ADAS)是智能驾驶技术的初始发展阶段，能够利用各种车载传感器自动获取相关环境数据，实现对车辆的自动控制，提高驾驶舒适性和主动安全性。
[0003]作为一种先进的智能驾驶辅助系统，自适应巡航控制(Adaptive Cruise Control,ACC)从早期的定速巡航发展而来，主要用来控制汽车的纵向运动。ACC系统可以使用多种车载传感器检测前方车辆的相对位置和速度，根据控制策略自动调整自身车辆的速度，以保持期望的安全距离，有利于改善交通流量，减少交通事故，提供舒适的驾驶体验。
[0004]虽然ACC系统可以维持一定的安全车距，并且通过降低空气阻力可以减小能耗，但是其节能效果并不显著，尤其对于车头面积小的乘用车。特别的，当采用基于恒定车距和恒定时距的ACC系统控制电动汽车时，电动汽车往往以一定车距紧紧跟随前方车辆，若前方车辆速度波动较大，则电动汽车一直处于频繁的加减速状态，这会极大影响电动汽车中电池的使用寿命，也会造成能耗损失和驾乘不舒适。
[0005]执行依赖启发式动态规划(Action
‑
Dependent Heuristic Dynamic Programming,ADHDP)框架，即ADHDP算法参考书本《基于自适应动态规划的智能优化控制》4.3基于BP网络的ADHDP算法及实现P118，作者：林小峰、宋绍剑、宋春宁。

技术实现思路

[0006]本专利技术的目的在于提供可保证电动汽车跟随性能、实现行驶安全、增强能源经济性和延长电池使用寿命的一种基于增强学习(Reinforcement Learning,RL)的电动汽车生态自适应巡航控制(Ecological Adaptive Cruise Control,Eco
‑
ACC)系统。
[0007]一种基于强化学习的电动汽车生态自适应巡航控制系统包括信息获取模块、纵向动力学模块、电动汽车储能模块、控制目标模块、控制器设计模块。
[0008]信息获取模块通过雷达和车载信息传感器获取前车的位置和速度信息；
[0009]纵向动力学模块用于计算加速度、集总阻力、实际车距、车轮扭矩和期望功率；
[0010]电动汽车储能模块用于电动汽车驱动和制动情况下的需求功率以及电阻的计算；
[0011]控制目标模块通过对车辆间距进行约束，确保车辆安全；通过给定优化目标提高节能驾驶、延长电池寿命；
[0012]控制器设计模块用于确定控制过程中的状态变量以及代价函数的具体涉及的内
容。
[0013]一种基于增强学习的电动汽车生态自适应巡航控制方法采用执行依赖启发式动态规划(Action
‑
Dependent Heuristic Dynamic Programming,ADHDP)框架，包括以下步骤：
[0014]1)通过信息获取模块和控制器设计模块确定状态变量x(t)，通过控制目标模块来确定效用函数U(t)，初始化相关参数。；
[0015]2)将状态变量x(t)输入到执行网络获取控制变量u(t)；
[0016]3)将状态变量x(t)和控制变量u(t)输入到评价网络获取期望代价J(t)；
[0017]4)设定执行网络和评价网络的误差；
[0018]5)通过纵向动力学模块和电动汽车储能模块求解出下一时刻的状态变量x(t+1)。
[0019]6)更新执行网络的权值，将状态变量x(t+1)输入到执行网络获取控制变量u(t+1)；
[0020]7)更新评价网络的权值，通过评价网络，获取期望代价值；
[0021]8)判断评价网络和执行网络的是否满足最大迭代次数或容差是否满足自适应迭代值。若满足，则求解出的控制变量u(t+1)作为最优或者次优的控制变量，否则回到第二步。
[0022]本专利技术有益效果如下：
[0023]专利技术的系统所控制的车辆和前方车辆的速度基本一致，车辆的加速度也比传统ACC系统控制的更加平滑，使乘客感到更加舒适；本专利技术系统所控制的车辆与前方车辆的实际车距始终保持在安全范围内，保证了车辆在行驶过程中的安全性；本专利技术系统所控制的车辆比传统ACC系统控制的车辆更加节能。本专利技术系统可保证电动汽车跟随性能、实现行驶安全、增强能源经济性和延长电池使用寿命。
附图说明
[0024]图1是车辆跟车场景；
[0025]图2是ADHDP结构框图；
[0026]图3是ADHDP评价网络结构；
[0027]图4是ADHDP执行网络结构；
[0028]图5基于ADHDP控制算法的流程图；
[0029]图6是UDDS驾驶循环仿真结果对比图；
[0030]图7是MANHATAN驾驶循环仿真结果对比图；
[0031]图8是WLTC2驾驶循环仿真结果对比图。
具体实施方式
[0032]以下结合附图与实施例对本专利技术系统及方法进行进一步描述。
[0033]一种基于强化学习的电动汽车生态自适应巡航控制系统包括信息获取模块、纵向动力学模块、电动汽车储能模块、控制目标模块、控制器设计模块。
[0034]信息获取模块通过雷达和车载信息传感器获取前车的位置和速度信息；
[0035]纵向动力学模块用于计算加速度、集总阻力、实际车距、车轮扭矩和期望功率；
[0036]电动汽车储能模块用于电动汽车驱动和制动情况下的需求功率以及电阻的计算；
[0037]控制目标模块通过对车辆间距进行约束，确保车辆安全；通过给定优化目标提高节能驾驶、延长电池寿命；
[0038]控制器设计模块用于确定控制过程中的状态变量以及代价函数的具体涉及的内容。
[0039]所要研究的车辆跟车场景如图1所示，其中被控电动汽车和其前方车辆分别记为主车和前车；主车和前车之间的实际车距用L表示；主车和前车的速度分别用V
h
和V
p
表示。各个模块的具体内容如下：
[0040]纵向动力学模块：
[0041]主车的纵向动力学模型表示如下：
[0042][0043]式中：s
h
(t)、v
h
(t)和T
w
(t)分别为主车的位置、速度和车轮扭矩；m、R、η
t
和δ分别为主车质量、轮胎有效滚动半径、传动效率和转动惯性系数；F
b
(t)和F本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于强化学习的电动汽车生态自适应巡航控制系统，其特征在于，包括信息获取模块、纵向动力学模块、电动汽车储能模块、控制目标模块、控制器设计模块；信息获取模块通过雷达和车载信息传感器获取前车的位置和速度信息；纵向动力学模块用于计算加速度、集总阻力、实际车距、车轮扭矩和期望功率；电动汽车储能模块用于电动汽车驱动和制动情况下的需求功率以及电阻的计算；控制目标模块通过对车辆间距进行约束，确保车辆安全；通过给定优化目标提高节能驾驶、延长电池寿命；控制器设计模块用于确定控制过程中的状态变量以及代价函数的具体涉及的内容。2.根据权利要求1所述的一种基于强化学习的电动汽车生态自适应巡航控制系统，其特征在于，纵向动力学模块的具体内容如下：被控电动汽车和其前方车辆分别记为主车和前车；主车和前车之间的实际车距用L表示；主车和前车的速度分别用V
h
和V
p
表示；纵向动力学模块：主车的纵向动力学模型表示如下：式中：s
h
(t)、v
h
(t)和T
ω
(t)分别为主车的位置、速度和车轮扭矩；m、R、η
t
和δ分别为主车质量、轮胎有效滚动半径、传动效率和转动惯性系数；F
b
(t)和F
r
(t)分别为制动力和集总阻力；由气动阻力、滚动阻力和重力组成的集总阻力F
r
(t)F
r
(t)表示如下：式中：Φ
h
(L(t))、C
d
、μ
h
、A
v
和θ(s
h
(t))分别为车辆归一化阻力系数、空气阻力系数、滚动阻力系数、车头迎风面积和路面坡度；g和ρ分别为重力加速度和空气密度；此外，主车与前车的距离L(t)可表示为L(t)＝s
p
(t)
‑
s
h
(t)
‑
d
car
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)式中：d
car
表示主车车身的长度，s
p
(t)表示前车位置；车轮的扭矩由齿轮通过电机输出或向电机输入，电机的转矩T
m
和转速ω
m
表示如下：式中：G
r
为主车的固定齿轮比；车轮转速ω
w
(t)的计算公式如下：然后，给出电机逆变器的输入功率如下：
式中：η
m
(t)(0＜η
m
(t)＜1)表示电机逆变器的效率。3.根据权利要求2所述的一种基于强化学习的电动汽车生态自适应巡航控制系统，其特征在于，电动汽车储能系统模块的具体内容如下：电动汽车储能系统模块：变量符号定义如下：
·
P
bat
(t)：电池组在t时刻的输出功率；
·
P
e
(t)：电动汽车在t时刻的需求功率；
·
V
bat
(t)：电池组在t时刻的开路电压；
·
I
bat
(t)：电池组在t时刻的电流；
·
SoC
bat
(t)：电池组在t时刻的荷电状态(State of Charge，简称SOC)；
·
R
batdisch
(SoC
bat
(t))：电池组在t时刻的放电电阻；
·
R
batch
(SoC
bat
(t))：电池组在t时刻的充电电阻；电池组的放电电阻R
bat，disch
(SoC
bat
(t))和充电电阻R
bat，ch
(SoC
bat
(t))表示如下：(1)驱动模式：(2)再生制动模式：电池的荷电状态SoC如下：4.根据权利要求3所述的一种基于强化学习的电动汽车生态自适应巡航控制系统，其特征在于，控制目标模块的具体内容如下：控制目标模块：(1)车辆安全：为了确保车辆安全，给出车辆间距的约束如下：d
min
(v
h
(t))≤L(t)≤d
max
(v
h
(t))
ꢀꢀꢀ...

【专利技术属性】
技术研发人员：翟春杰，杨建，杨祥宇，颜成钢，孙垚棋，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：