轨道交通储能系统的控制方法、模型、设备和存储介质技术方案

本发明专利技术公开了一种轨道交通储能系统的控制方法、模型、设备和存储介质，该方法包括基于离线算法根据储能系统的状态确定离线充放电动作，基于深度强化学习算法根据储能系统的状态确定在线充放电动作，根据通信延时数量和延时程度获取所述离线充放电动作和所述在线充放电动作的融合比例，根据所述融合比例将所述离线充放电动作和在线充放电动作进行融合并输出至储能系统，本发明专利技术实施例根据通信延时数量和延时程度获取融合比例，根据所述融合比例将所述离线充放电动作和在线充放电动作进行融合并输出至储能系统，在不同的通信环境下也能够正常运行，提升系统的鲁棒性。提升系统的鲁棒性。提升系统的鲁棒性。

【技术实现步骤摘要】
轨道交通储能系统的控制方法、模型、设备和存储介质


[0001]本专利技术涉及储能系统控制
，尤其涉及轨道交通储能系统的控制方法、模型、设备和存储介质。

技术介绍

[0002]轨道交通是交通系统的重要组成部分，城轨交通是轨道交通的一种，随着城轨交通的快速发展，其耗电量大幅增加，因此降低城轨交通牵引能耗对全社会节能减排具有重要意义。提高城轨牵引供电系统对再生能量的接收能力，充分利用列车再生制动能量是降低城轨交通系统能耗的关键。然而，目前城轨供电系统再生能量吸收负荷十分有限：大部分牵引变电所采用二极管单向整流方式，再生制动能量无法反馈到交流电网；制动列车附近若没有牵引列车进行再生能量吸收，则制动能量被浪费在制动电阻上，通过储能系统进行列车再生能量的利用对城轨行业的可持续发展具有重要意义。
[0003]考虑到城轨列车制动频繁、制动功率大的特点，超级电容储能元件以其功率密度大的优势，在轨道交通领域得到了广泛的研究和应用。但一方面，由于城轨列车的功率和位置实时发生变化，牵引供电系统的参数和拓扑具有非线性和时变特性，使得整个优化模型变得十分复杂；另一方面，城轨供电系统的电压等级较低，各种系统运行参数的变化都会对能量的传输产生巨大的影响，从而影响储能系统的节能率。若不综合考虑列车、线路以及变电站的特性，实时调整储能系统的充放电动作，储能系统的节能率会随着外部条件呈现出较大的波动，在发车间隔较大时甚至会加剧能量的浪费，这也是限制储能系统在城轨交通大规模应用的瓶颈。因此，充分考虑列车、储能装置、线路和变电所的特性，优化城轨供电系统的能量流动，提升储能系统的节能率显得十分重要。
[0004]现有的储能装置能量管理策略多为固定阈值策略，如图1所示。通过离线优化算法设定好固定的充电阈值Uchar和固定的放电阈值Udis，当牵引网电压大于充电阈值，则储能装置充电，当牵引网电压低于放电阈值，则储能装置放电。此方式未能充分考虑列车、储能装置、线路和变电所的特性，其充放电效率较低，再生失效率较高。为了提升储能系统的充电效率，有学者提出了动态电压跟随的充电阈值动态调整策略，如图2所示。其基于列车的位置和功率，动态保持列车的端电压为制动电阻启动电压的临界值，从而最大化列车间的能量交互，从而提升储能系统的节能效率。
[0005]上述算法均无法实现全局最优的控制的问题，有学者考虑到储能装置最优控制策略的求解是一个序贯决策优化问题，如图3所示，引入强化学习算法，在线调整储能装置控制参数以适应供电系统工况的变化，使储能系统发挥良好的节能稳压作用，但其算法的鲁棒性较差。

技术实现思路

[0006]有鉴于此，本专利技术实施例提供了一种轨道交通储能系统的控制方法、模型、设备和存储介质，以解决现有的储能控制方法的鲁棒性较差的技术问题。
[0007]本专利技术提出的技术方案如下：
[0008]本专利技术实施例第一方面提供一种轨道交通储能系统的控制方法，包括：基于离线算法根据储能系统的状态确定离线充放电动作；基于深度强化学习算法根据储能系统的状态确定在线充放电动作；根据通信延时数量和延时程度获取所述离线充放电动作和所述在线充放电动作的融合比例；根据所述融合比例将所述离线充放电动作和在线充放电动作进行融合并输出至储能系统。
[0009]可选地，所述基于深度强化学习算法根据储能系统的状态确定在线充放电动作，包括：接收储能系统的状态和所述离线充放电动作；将所述离线充放电动作作为所述神经网络的初始值并使用训练数据训练所述神经网络，所述神经网络根据储能系统的状态输出动作
‑
值函数；基于动作
‑
值函数和贪心策略获取在线充放电动作。
[0010]可选地，所述基于深度强化学习算法根据储能系统的状态确定在线充放电动作，还包括：存储已使用过的训练数据，并从已使用过的训练数据中随机抽取训练数据再次训练所述神经网络。
[0011]可选地，在基于离线算法根据储能系统的状态确定离线充放电动作之前，还包括：获取储能系统的作用区间，所述储能系统的状态包括所述作用区间内的变电站状态、列车状态和储能装置状态。
[0012]可选地，所述获取储能系统的作用区间包括：选择中心变电所；判断列车在不同位置对中心变电所的端电压的影响是否大于阈值电压；若大于阈值电压，则判定作用区间包括中心变电所和列车位置所在的变电所处。
[0013]可选地，所述根据通信延时数量和延时程度获取所述离线充放电动作和所述在线充放电动作的融合比例，包括：通过预训练获取任意通信延时数量和延时程度和融合比例的对应关系；基于所述对应关系，根据通信延时数量和延时程度获取所述离线充放电动作和所述在线充放电动作的融合比例。
[0014]可选地，所述通过预训练获取任意通信延时数量和延时程度和融合比例的对应关系，包括：初始化融合比例；在任意通信延时数量和延时程度下，根据储能系统的状态获取所述在线充放电动作；根据储能系统的状态获取所述离线充放电动作；基于所述在线充放电动作、所述离线充放电动作和融合比例计算融合充放电动作；分别执行所述离线充放电动作和所述融合充放电动作，获得基于所述融合充放电动作的第一奖励信号和基于所述离线充放电动作的第二奖励信号；基于所述第一奖励信号和所述第二奖励信号更新融合比例，其中，若第一奖励信号大于第二奖励信号则增大融合比例，若第一奖励信号小于第二奖励信号则减小融合比例；重复更新融合比例的步骤直至融合比例的变化率达到终止值。
[0015]本专利技术实施例第二方面提出一种轨道交通储能系统的控制模型，包括：离线泛化模块，用于基于离线算法根据储能系统的状态确定离线充放电动作；深度强化学习模块，用于基于深度强化学习算法根据储能系统的状态确定在线充放电动作；鲁棒性增强模块，用于根据通信延时数量和延时程度获取所述离线充放电动作和所述在线充放电动作的融合比例，根据所述融合比例将所述离线充放电动作和在线充放电动作进行融合并输出至储能系统。
[0016]本专利技术实施例第三方面提出一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器存储有计算机指令，所述处理器通过执行所述
计算机指令，从而执行如本专利技术实施例第一方面及第一方面任一项所述的轨道交通储能系统的控制方法。
[0017]本专利技术实施例第四方面提出一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行如本专利技术实施例第一方面及第一方面任一项所述的轨道交通储能系统的控制方法。
[0018]从以上技术方案可以看出，本专利技术实施例具有以下优点：
[0019]本专利技术实施例提供的一种轨道交通储能系统的控制方法、模型、设备和存储介质，通过基于离线算法根据储能系统的状态确定离线充放电动作，基于深度强化学习算法根据储能系统的状态确定在线充放电动作，根据通信延时数量和延时程度获取所述离线充放电动作和所述在线充放电动作的融合比例，根据所述融合比例将所述离线充放电动作和在线充放电动作进行融合并输出至储能系统，本专利技术实施例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种轨道交通储能系统的控制方法，其特征在于，包括：基于离线算法根据储能系统的状态确定离线充放电动作；基于深度强化学习算法根据储能系统的状态确定在线充放电动作；根据通信延时数量和延时程度获取所述离线充放电动作和所述在线充放电动作的融合比例；根据所述融合比例将所述离线充放电动作和在线充放电动作进行融合并输出至储能系统。2.根据权利要求1所述的轨道交通储能系统的控制方法，其特征在于，所述基于深度强化学习算法根据储能系统的状态确定在线充放电动作，包括：接收储能系统的状态和所述离线充放电动作；将所述离线充放电动作作为所述神经网络的初始值并使用训练数据训练所述神经网络，所述神经网络根据储能系统的状态输出动作
‑
值函数；基于动作
‑
值函数和贪心策略获取在线充放电动作。3.根据权利要求2所述的轨道交通储能系统的控制方法，其特征在于，所述基于深度强化学习算法根据储能系统的状态确定在线充放电动作，还包括：存储已使用过的训练数据，并从已使用过的训练数据中随机抽取训练数据再次训练所述神经网络。4.根据权利要求1所述的轨道交通储能系统的控制方法，其特征在于，在基于离线算法根据储能系统的状态确定离线充放电动作之前，还包括：获取储能系统的作用区间，所述储能系统的状态包括所述作用区间内的变电站状态、列车状态和储能装置状态。5.根据权利要求4所述的轨道交通储能系统的控制方法，其特征在于，所述获取储能系统的作用区间包括：选择中心变电所；判断列车在不同位置对中心变电所的端电压的影响是否大于阈值电压；若大于阈值电压，则判定作用区间包括中心变电所和列车位置所在的变电所处。6.根据权利要求1所述的轨道交通储能系统的控制方法，其特征在于，所述根据通信延时数量和延时程度获取所述离线充放电动作和所述在线充放电动作的融合比例，包括：通过预训练获取任意通信延时数量和延...

【专利技术属性】
技术研发人员：钟志宏，杨中平，林飞，孙湖，方晓春，
申请(专利权)人：北京交通大学，
类型：发明
国别省市：