一种基于深度强化学习的列车受电弓智能控制方法技术

本发明专利技术公开了一种基于深度强化学习的列车受电弓智能控制方法，具体为：信息采集单元获取受电弓状态信息、列车运行信息和接触网信息；建立控制器控制动作与接触网交互样本数据集；基于所建立的交互样本数据集采用确定性策略梯度DDPG深度强化学习网络学习最优行为策略；根据最优行为策略作为控制器，将控制器补偿动作输出受电弓气阀板上的精密调压阀从而控制气囊压强。本发明专利技术能有效对高铁受电弓的精准、提前控制，保证受电弓和接触网的良好接触，提升列车的受流质量，降低接触部件的磨损、提升服役寿命。升服役寿命。升服役寿命。

【技术实现步骤摘要】
一种基于深度强化学习的列车受电弓智能控制方法


[0001]本专利技术属于高速铁路受电弓的智能控制
，尤其涉及一种基于深度强化学习的列车受电弓智能控制方法。

技术介绍

[0002]高速铁路的快速发展，对牵引供电系统的运行安全性提出了更高的要求。随着我国铁路往重载化和高速化方向发展，受电弓与接触网系统的耦合性能随着振动加剧现象日益恶化。受电弓
‑
接触网系统是一个复杂的动力学系统。传统的优化方式主要从受电弓结构优化、接触网性能优化和弓网参数匹配等角度出发，但是花费的经济成本巨大难以推动。受电弓的主动控制是一项弓网性能优化技术。当受电弓与接触网接触力过大时，会导致接触线和受电弓碳滑板过度磨损，影响产品服务寿命。当受电弓与接触网接触力过小时，会导致受电弓与接触网脱离接触，造成离线电弧，灼伤受电弓碳滑板，并且产生谐波影响电流质量。

技术实现思路

[0003]为实现对受电弓进行快速的智能控制，避免接触线和受电弓碳滑板过度磨损，提高列车受流质量，保障列车安全。本专利技术提供一种基于深度强化学习的列车受电弓智能控制方法。
[0004]本专利技术的一种基于深度强化学习的列车受电弓智能控制方法，控制系统包括气囊、供气源、精密调压阀、控制器和信息采集单元；供气源连接气囊用于提供稳定气压，精密调压阀用于精确控制气囊压强，控制单元连接精密调压阀用于输出控制信号，信息采集单元用于采集控制器决策所用信息。控制方法具体包括以下步骤：
[0005]步骤1：信息采集单元获取受电弓状态信息、列车运行信息和接触网信息。
[0006]步骤2：建立控制器控制动作与接触网交互样本数据集。
[0007]步骤3：基于步骤2所建立的交互样本数据集，采用深度强化学习网络学习最优行为策略。
[0008]步骤4：根据步骤3的最优行为策略作为控制器，将控制器补偿动作输出受电弓气阀板上的精密调压阀从而控制气囊压强。
[0009]进一步的，步骤1中的受电弓状态信息包括受电弓升弓高度、弓头垂向速度、弓头垂向加速度和开闭口方向；列车运行信息包括列车运行速度和运行方向；接触网信息包括接触网的刚度、跨度和吊弦分布信息。
[0010]进一步的，步骤2具体为：
[0011]步骤21：定义深度强化学习马尔可夫决策环境关键要素：状态空间，动作空间和奖励函数：
[0012]1)状态空间：状态空间包含所有步骤1的状态信息，其表示为：
[0013]S＝{s|s
t
＝(s
pantograph
,s
catenary
,s
train
)}
[0014]其中，s
pantograph
表示受电弓状态信息，s
catenary
表示接触网信息，s
train
表示列车运行信息。
[0015]2)动作空间：动作空间包含气囊气压变化的范围，其表示为：
[0016]A＝{a|a
min
≤a
t
≤a
max
}
[0017]其中，a
min
表示气囊最小设定气压，a
max
表示气囊最大设定气压。
[0018]3)奖励函数：奖励函数用于奖励策略网络向最优策略收敛；
[0019]r
t
＝
‑
|F
r
‑
F
pc
(t)|
[0020]其中，F
r
表示最优弓网接触力，F
pc
(t)表示实际弓网接触力。
[0021]步骤22：以运行线路参数和受电弓参数建立虚拟仿真平台生成虚拟仿真样本库。
[0022]步骤23：步骤22样本获取过程如下：
[0023]深度强化学习网络获得当前时间步状态s
t
并生成动作a
t
给受电弓气阀板，气阀板执行控制后，深度强化学习网络获得奖励r
t
和下一时间步受电弓状态s
t+1
。这产生样本(s
t
,a
t
,r
t
,s
t+1
)并存储在数据库中，重复以上步骤直至训练结束。
[0024]步骤24：以运行线路参数和实际受电弓建立半实物半虚拟平台建立平台样本库，样本获取过程同步骤23。
[0025]步骤25：收集实际在线运营列车受电弓和实际铁路线路接触网交互数据建立实际样本库，样本获取过程同步骤23。
[0026]进一步的，步骤3具体为：
[0027]步骤31：利用步骤2产生的3个样本库，轮流训练深度强化学习网络。
[0028]步骤32：步骤31的深度强化学习网络具有1个策略网络和4个评估网络；策略网络用于输出最优动作，评估网络用于评估策略网络输出的策略是否优秀，并指导其生成最优策略。
[0029]步骤33：步骤32的策略网络输入状态信息，输出最优动作；使用π表示策略网络，φ表示策略网络的参数。从数据库中采样一批样本(s
t
,a
t
,r
t
,s
t+1
)训练策略网络，其损失函数写为：
[0030][0031]其中m表示采样样本的数量，Q
i
(s
t
,a
t
)
i＝1,2
表示两个评估网络，s
t
,a
t
表示样本中状态和动作值。
[0032]步骤34：步骤33的评估网络输入状态信息和动作，输出状态动作价值，有两种策略网络，使用Q表示当前策略网络，使用θ表示其参数；使用Q
target
目标策略网络，使用表示其参数；每种网络训练两个网络用于减少方差和稳定训练，使用θ1和θ2表示。
[0033]当前评估网络参数的损失函数写为：
[0034][0035]Q(s
t+1
,a
t+1
)＝min(Q1(s
t+1
,a
t+1
),Q2(s
t+1
,a
t+1
))
[0036]Q
target
(s
t+1
,a
t+1
)＝min(Q
1target
(s
t+1
,a
t+1
),Q
2target
(s
t+1
,a
t+1
))
[0037]目标策略网络通过当前评估网络参数定期软更新：
[0038][0039]其中τ表示软更新的速度。
[0040]进一步的，步骤4具体为：接受控制器输出的设定气囊气压，并将设定气囊气压设定于受电弓气阀板上的精密调压阀从而控制气囊压强。...

【技术保护点】

【技术特征摘要】
1.一种基于深度强化学习的列车受电弓智能控制方法，其特征在于，控制系统包括气囊、供气源、精密调压阀、控制器和信息采集单元；供气源连接气囊用于提供稳定气压，精密调压阀用于精确控制气囊压强，控制单元连接精密调压阀用于输出控制信号，信息采集单元用于采集控制器决策所用信息；控制方法具体包括以下步骤：步骤1：信息采集单元获取受电弓状态信息、列车运行信息和接触网信息；步骤2：建立控制器控制动作与接触网交互样本数据集；步骤3：基于步骤2所建立的交互样本数据集，采用深度强化学习网络学习最优行为策略；步骤4：根据步骤3的最优行为策略作为控制器，将控制器补偿动作输出受电弓气阀板上的精密调压阀从而控制气囊压强。2.根据权利要求1所述的一种基于深度强化学习的列车受电弓智能控制方法，其特征在于，所述步骤1中的受电弓状态信息包括受电弓升弓高度、弓头垂向速度、弓头垂向加速度和开闭口方向；列车运行信息包括列车运行速度和运行方向；接触网信息包括接触网的刚度、跨度和吊弦分布信息。3.根据权利要求2所述的一种基于深度强化学习的列车受电弓智能控制方法，其特征在于，所述步骤2具体为：步骤21：定义深度强化学习马尔可夫决策环境关键要素：状态空间，动作空间和奖励函数：1)状态空间：状态空间包含所有步骤1的状态信息，其表示为：S＝{s|s
t
＝(s
pantograph
,s
catenary
,s
train
)}其中，s
pantograph
表示受电弓状态信息，s
catenary
表示接触网信息，s
train
表示列车运行信息；2)动作空间：动作空间包含气囊气压变化的范围，其表示为：A＝{a|a
min
≤a
t
≤a
max
}其中，a
min
表示气囊最小设定气压，a
max
表示气囊最大设定气压；3)奖励函数：奖励函数用于奖励策略网络向最优策略收敛；r
t
＝
‑
|F
r
‑
F
pc
(t)|其中，F
r
表示最优弓网接触力，F
pc
(t)表示实际弓网接触力；步骤22：以运行线路参数和受电弓参数建立虚拟仿真平台生成虚拟仿真样本库；步骤23：步骤22样本获取过程如下：深度强化学习网络获得当前时间步状态s
t
并生成动作a
t
给受电弓气阀板，气阀板执行控制后，深度强化学习网络获得奖励r
t
和下一时间步受电弓状态s
t+1
；这产生样本(s
t
...

【专利技术属性】
技术研发人员：刘志刚，王惠，韩志伟，宋洋，段甫川，
申请(专利权)人：西南交通大学，
类型：发明
国别省市：