【技术实现步骤摘要】
本专利技术属于电网系统频率控制，尤其涉及基于maddpg大规模储能参与电网调频的平台及方法。
技术介绍
1、随着可再生能源发电规模的不断增大，风光不确定性问题给电网的频率稳定运行带来了更为严峻的挑战。以火电机组为主的传统调频机组由于其具有的调频局限性，在新型电力系统背景下其对保证电网频率安全的有效性逐渐降低，相应地也制约着新能源并网的规模化发展。而储能具有快速响应、精准控制等调频优势，能够在新型电力系统中结合传统调频机组实现更为优越的联合调频效果。
2、在电网系统中负荷的随机波动以及实时的频率偏差，均是复杂且随机的非线性数据，面对大量复杂数据的调频场景中，传统调频控制策略将难以满足当前含大规模储能调频复杂场景的控制精度需求。同时在如此大规模的多控制对象的场景中，如何协调控制对象间的控制策略亦是传统控制方法无法有效处理的。多智能体深度确定性策略梯度算法是一种能够在多智能体环境中通过与环境的不断交互来实现不同控制对象间协同控制，能够降低控制计算时间实现快速响应并给出最优控制策略。因此，提出了一种基于maddpg的大规模储能参与电网调频的控制方法及平台。
技术实现思路
1、本专利技术的目的是为了提高新型电力系统的调频能力，并保证大规模储能的供需平衡关系，提出一种基于maddpg的大规模储能参与电网调频的控制平台及方法。
2、基于大规模储能参与电网调频的场景，本专利技术提供了一种基于maddpg的大规模储能参与电网调频的控制平台架构。控制平台架构是一种三层级架构设计
3、状态空间层是包括电网状态监测装置、火电机组及大规模储能装置，能够实现对电网的频率偏差等状态、火电机组调频容量以及储能装置容量进行实时数据监控并收集；交互传递层是有两种功能的层级，一是能够对状态空间层的数据进行处理并为控制命令层传输环境的观测信息数据，二是能够按照控制命令层中最优控制多智能体的控制指令对状态空间层中的火电机组进行功率输出调节和对大规模储能装置进行充放电控制以参与电网调频；控制命令层是最优控制多智能体根据从交互传递层中获取的电网环境信息，并依据自身的最优控制策略采取相应的动作指令。
4、本专利技术还提供了一种基于maddpg的大规模储能参与电网调频的控制方法，包括以下步骤：
5、s01：采用多智能体深度确定性策略梯度算法(multi-agent deep deterministicpolicy gradient,maddpg)在环境交互数据驱动下，训练并学习得到储能参与电网调频的最优控制多智能体；
6、s02：利用最优控制多智能体对火电机组输出功率控制以及大规模储能进行充放电控制以参与电网的调频。
7、根据本专利技术提供的一种基于maddpg的大规模储能参与电网调频的控制方法，s01的实现包括以下步骤：
8、首先，根据大规模储能参与电网一次调频的场景可将其描述为马尔可夫博弈过程，包含以下组成部分：
9、①多智能体数量n：调频场景中需要根据控制装置数量设计相应的智能体数量；
10、②状态空间s：多智能体在控制过程中需要获取的状态信息；
11、③动作空间a：多智能体在控制过程中依据当前的状态信息根据自身策略采取相应的控制动作；
12、④奖励函数r：多智能体在控制动作指令发出后需要获取环境中反馈的奖励以判断当前策略的优劣。
13、⑤折扣因子γ：折扣因子表示未来奖励对当前的影响程度
14、接着，根据储能参与电网一次调频的场景对状态空间、动作空间、奖励函数进行设计。各智能体对电网中的状态信息获取主要包含电网的负荷波动与频率偏差、火电机组的调频容量上下限约束、各储能装置充放电上下限约束，上述状态信息可将其集合成为状态空间，其表达式为：
15、
16、式中，δf(t)为t时刻电网的频率偏差，为t时刻火电机组参与调频的容量上下限值，为储能装置k在t时刻的充放电上下限值。
17、多智能体数量设置上，分别对调频装置设置一个智能体，因此对应1个火电机组与k个储能装置相应地设置(1+k)个多智能体。对应不同的智能体其状态空间将根据自身情况在式(1)中进行相应的选取，火电机组智能体将获取频率偏差以及自身的火电机组上下限的状态信息，储能装置智能体将获取频率偏差与储能装置充放电上下限的状态信息。
18、动作空间的设置上，整体电网调频的动作空间包含各智能体对火电机组与储能装置的控制动作的集合，其表达式为：
19、a＝[ag,a1,...,ak] (2)
20、其中，
21、
22、式中，δpg(t)表示的是t时刻火电机组的功率输出调整量，δpbes,k(t)表示的是t时刻储能装置k的充放电功率。
23、奖励函数的设计上，根据我国较为保守的电力安全工作规程原则，即电网稳定安全运行状态下的频率变化范围在50±0.2hz之间，并在此基础上考虑含储能的电网调频过程中的调节死区，同时根据电网中的频率偏差可将其进行集合区间划分处理。综上可设计相应的奖励函数，其表达式为：
24、
25、式中，rg为火电机组智能体的奖励函数。μ1、μ2、μ3、μ4与μ5为频率偏差的各控制区间的奖励函数所对应的权值。当频率偏差处于调节死区[0,0.03]hz时，频率偏差远小于正常运行的最小误差要求，因此将智能体奖励值设为0；当频率偏差处于不同集合区间时，智能体控制器将获得相应的负奖励，即惩罚值。
26、
27、式中，rbes为储能装置智能体的奖励函数。δ1、δ2、δ3、δ4与δ5为频率偏差的各控制区间的奖励函数所对应的权值。
28、然后，采用多智能体深度确定性策略梯度算法进行智能体控制模型的训练与学习。在电网系统中负荷的随机波动以及实时的频率偏差，均是复杂且随机的非线性数据。多智能体深度确定性策略梯度算法结合了深度神经网络与强化学习算法，能够有效处理大规模的数据并通过与电网环境进行交互，给出实时决策以得到最优控制方案。算法流程如下所示：
29、(1)设置循环训练总次数n，并初始化经验回放池d以及多智能体的策略网络π(st|θ)；
30、(2)设置训练回合数m；
31、(3)初始化当前环境状态s0；
32、(4)对于每个智能体根据当前时刻的环境状态信息生成叠加高斯分布噪声的随机动作以与电网环境进行交互探索，其表达式如下；
33、a＝π(st|θ)+λ (6)
34、式中，θ为多智能体的策略网络参数，λ为高斯分布噪声。
35、(5)电网环境根据多智能体采取动作指令返回相应的奖励函数rt并转移到下一时刻状态st+1；
36、(6)将(st,at,rt,st+1)的信息本文档来自技高网...
【技术保护点】
1.基于MADDPG的大规模储能参与电网调频的控制平台，其特征在于，该平台包括；状态空间层、交互传递层和控制命令层三层级架构；
2.基于MADDPG的大规模储能参与电网调频的控制平台的方法，其特征在于，包括：
3.根据权利要求2所述基于MADDPG的大规模储能参与电网调频的控制平台的方法，其特征在于，采用多智能体深度确定性策略梯度算法MADDPG，在环境交互数据驱动下训练并学习，得到储能参与电网调频的最优控制多智能体包括以下步骤：
4.根据权利要求2所述基于MADDPG的大规模储能参与电网调频的控制平台的方法，其特征在于，利用最优控制多智能体对火电机组输出功率控制以及大规模储能进行充放电控制参与电网的调频的智能控制过程如下：
5.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求2至4任一项所述基于MADDPG的大规模储能参与电网调频的控制平台的方法。
6.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序
7.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求2至4任一项所述基于MADDPG的大规模储能参与电网调频的控制平台的方法。
...【技术特征摘要】
1.基于maddpg的大规模储能参与电网调频的控制平台，其特征在于，该平台包括；状态空间层、交互传递层和控制命令层三层级架构；
2.基于maddpg的大规模储能参与电网调频的控制平台的方法，其特征在于，包括：
3.根据权利要求2所述基于maddpg的大规模储能参与电网调频的控制平台的方法，其特征在于，采用多智能体深度确定性策略梯度算法maddpg，在环境交互数据驱动下训练并学习，得到储能参与电网调频的最优控制多智能体包括以下步骤：
4.根据权利要求2所述基于maddpg的大规模储能参与电网调频的控制平台的方法，其特征在于，利用最优控制多智能体对火电机组输出功率控制以及大规模储能进行充放电控制参与电...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。