【技术实现步骤摘要】
本申请涉及多微电网频率控制的，尤其涉及一种基于多智能体强化学习的多微电网快速功率控制方法、装置及存储介质。
技术介绍
1、由于近年来的能源危机，可再生能源在电力系统的渗透率不断提高。含有多种分布式电源的微电网得到了快速的发展，特别是在偏远地区。系统的有功功率不平衡会引起频率波动。微电网的快速功率控制是解决频率波动的重要方法之一，可以有效改善电能质量。
2、然而，由于负荷变化、分布式电源出力的不确定性以及多微网组网的复杂性给整个微电网的频率稳定带来了很大的困难。传统基于同步发电机的调频策略已经不能满足频率稳定需求，对频率偏差变化率的敏感度较低，导致对利用新能源参与快速功率控制，以及协调多个微网进行快速功率控制的效果较差。
技术实现思路
1、本申请提供了一种基于多智能体强化学习的多微电网快速功率控制方法、装置及存储介质，以实现在提升微电网的惯性水平的同时能提高快速功率控制效率。
2、本申请提供了一种基于多智能体强化学习的多微电网快速功率控制方法，应用于多微网系统，所述多微网系统包括若干个微电网，每个所述微电网设置一个微电网控制器用于控制各自微电网的功率；每个所述微电网通过联络线与外部电网或其他微电网进行连接；
3、所述方法包括：
4、将每个微电网作为每个智能体；
5、根据多微网系统的有功-频率响应模型，分别构建各个所述智能体所需的状态空间、动作空间和奖励函数；
6、根据每个所述智能体所需的状态空间、动作空间和奖励函
7、对每个所述智能体的强化学习框架进行学习训练，得到各个所述微电网的权重参数，并生成对应的微电网控制器；
8、利用每个所述微电网控制器对各自的微电网进行功率控制。
9、进一步地，每个所述微电网包括微型燃气轮机、风力发电机、储能、光伏和负载。
10、进一步地，所述多微网系统的有功-频率响应模型表示为：
11、；
12、其中，为第i个微电网的频率偏差，为第i个微电网的惯性时间常数，为第i个微电网的阻尼系数，分别为第i个微电网的燃气轮机出力变化量、风力发电机出力变化量、储能出力变化量和光伏出力变化量，为第i个微电网的负荷功率扰动量，为第i个微电网的联络线功率变化量，符号以功率从本微网向外流出为正。
13、进一步地，所述根据多微网系统的有功-频率响应模型，分别构建各个所述智能体所需的状态空间、动作空间和奖励函数，包括：
14、根据多微网系统的有功-频率响应模型，得到各个所述微电网的频率偏差，对所述频率偏差分别进行积分和微分；
15、根据第一微电网的频率偏差，所述第一微电网为多微网系统中的任意一个微电网，对第一微电网的频率偏差分别进行积分和微分的结果，以及第一微电网的燃气轮机出力变化量、风力发电机出力变化量、储能出力变化量和光伏出力变化量，构建所述第一微电网的可控电源出力变化集合；
16、第一微电网的可控电源出力变化集合的表达式为：
17、；
18、其中，为第i个微电网的可控电源出力变化集合，为第i个微电网的频率偏差的积分的结果，为第i个微电网的频率偏差的微分的结果；
19、将第一微电网的可控电源出力变化集合，以及与第一微电网的相连的其他微电网的可控电源出力变化集合作为第一微电网的状态空间；
20、所述第一微电网的状态空间的表达式为；
21、其中，为与第一微电网的相连的其他微电网的可控电源出力变化集合，，为与第一微电网的相连的第i个微电网的可控电源出力变化集合。
22、进一步地，所述根据多微网系统的有功-频率响应模型，分别构建各个所述智能体所需的状态空间、动作空间和奖励函数，还包括：
23、根据第一微电网的的燃气轮机出力指令值、风力发电机出力指令值、储能出力指令值和光伏出力指令值，构建第一微电网的微电网控制器向本地可控电源下发的指令集合；
24、所述第一微电网的微电网控制器向本地可控电源下发的指令集合的表达式为：
25、；
26、其中，为第i个微电网控制器向本地可控电源下发的指令集合，分别为第i个微电网的燃气轮机出力指令值、风力发电机出力指令值、储能出力指令值和光伏出力指令值；
27、将第一微电网的微电网控制器向本地可控电源下发的指令集合，以及与第一微电网的相连的其他微电网的微电网控制器向本地可控电源下发的指令集合作为第一微电网的动作空间；
28、所述第一微电网的动作空间的表达式为：；
29、其中，为第i个微电网的动作空间，为与第一微电网的相连的其他微电网的微电网控制器向本地可控电源下发的指令集合，，为与第一微电网的相连的第i个微电网的可控电源出力变化集合。
30、进一步地，所述根据多微网系统的有功-频率响应模型，分别构建各个所述智能体所需的状态空间、动作空间和奖励函数，还包括：
31、根据第一微电网的频率偏差、频率变化率、微型燃气轮机的出力成本、风力发电机的出力成本、储能的出力成本和光伏的出力成本，构建第一微电网的的奖励函数，所述奖励函数的表达式为：
32、；
33、其中，为第i个微电网的奖励函数，分别为频率偏差、频率变化率和出力成本惩罚系数，分别为微型燃气轮机、风力发电机、储能和光伏的出力成本系数。
34、进一步地，所述根据每个所述智能体所需的状态空间、动作空间和奖励函数，分别搭建每个所述智能体的强化学习框架，具体为：
35、建立第一微电网的微电网控制器的仿真模型；
36、所述第一微电网为多微网系统中的任意一个微电网；所述第一微电网的微电网控制器的仿真模型包括执行网络、评价网络、目标评价网络和经验回收池；
37、其中，所述执行网络、所述评价网络和所述目标评价网络均为深度神经网络。
38、进一步地，所述对每个所述智能体的强化学习框架进行学习训练，得到各个所述微电网的权重参数，并生成对应的微电网控制器，具体为：
39、分别初始化执行网络、评价网络、目标评价网络的权重参数；
40、对执行网络、评价网络、目标评价网络的权重参数进行学习训练；
41、当训练次数达到预设的训练次数，对执行网络、评价网络和目标评价网络的权重参数的训练完成，得到第一微电网的微电网控制器。
42、进一步地，所述对执行网络、评价网络、目标评价网络的权重参数进行学习训练，具体为：
43、在所述仿真模型中输入随机负荷扰动；
44、获取当前时刻的仿真模型的可控电源出力变化集合和状态空间；
45、根据所述仿真模型的可控电源出力变化集合，并利用执行网络执行选择的动作，获得所述仿真模型的奖励函数，以及下一时刻的仿真模型的可控电源出力变化集合和状态空间；
46、其中，所述动作本文档来自技高网...
【技术保护点】
1.一种基于多智能体强化学习的多微电网快速功率控制方法，其特征在于，应用于多微网系统，所述多微网系统包括若干个微电网，每个所述微电网设置一个微电网控制器用于控制各自微电网的功率；每个所述微电网通过联络线与外部电网或其他微电网进行连接；
2.如权利要求1所述的一种基于多智能体强化学习的多微电网快速功率控制方法，其特征在于，每个所述微电网包括微型燃气轮机、风力发电机、储能、光伏和负载。
3.如权利要求2所述的一种基于多智能体强化学习的多微电网快速功率控制方法，其特征在于，所述多微网系统的有功-频率响应模型表示为：
4.如权利要求3所述的一种基于多智能体强化学习的多微电网快速功率控制方法，其特征在于，所述根据多微网系统的有功-频率响应模型，分别构建各个所述智能体所需的状态空间、动作空间和奖励函数，包括：
5.如权利要求3所述的一种基于多智能体强化学习的多微电网快速功率控制方法，其特征在于，所述根据多微网系统的有功-频率响应模型，分别构建各个所述智能体所需的状态空间、动作空间和奖励函数，还包括：
6.如权利要求3所述的一种基于多
7.如权利要求3-6任意一项所述的一种基于多智能体强化学习的多微电网快速功率控制方法，其特征在于，所述根据每个所述智能体所需的状态空间、动作空间和奖励函数，分别搭建每个所述智能体的强化学习框架，具体为：
8.如权利要求7所述的一种基于多智能体强化学习的多微电网快速功率控制方法，其特征在于，所述对每个所述智能体的强化学习框架进行学习训练，得到各个所述微电网的权重参数，并生成对应的微电网控制器，具体为：
9.如权利要求8所述的一种基于多智能体强化学习的多微电网快速功率控制方法，其特征在于，所述对执行网络、评价网络、目标评价网络的权重参数进行学习训练，具体为：
10.如权利要求9所述的一种基于多智能体强化学习的多微电网快速功率控制方法，其特征在于，所述从经验回收池中取出若干条经验，分别对执行网络、评价网络和目标评价网络的权重参数进行更新，具体为：
...【技术特征摘要】
1.一种基于多智能体强化学习的多微电网快速功率控制方法，其特征在于，应用于多微网系统，所述多微网系统包括若干个微电网，每个所述微电网设置一个微电网控制器用于控制各自微电网的功率；每个所述微电网通过联络线与外部电网或其他微电网进行连接；
2.如权利要求1所述的一种基于多智能体强化学习的多微电网快速功率控制方法，其特征在于，每个所述微电网包括微型燃气轮机、风力发电机、储能、光伏和负载。
3.如权利要求2所述的一种基于多智能体强化学习的多微电网快速功率控制方法，其特征在于，所述多微网系统的有功-频率响应模型表示为：
4.如权利要求3所述的一种基于多智能体强化学习的多微电网快速功率控制方法，其特征在于，所述根据多微网系统的有功-频率响应模型，分别构建各个所述智能体所需的状态空间、动作空间和奖励函数，包括：
5.如权利要求3所述的一种基于多智能体强化学习的多微电网快速功率控制方法，其特征在于，所述根据多微网系统的有功-频率响应模型，分别构建各个所述智能体所需的状态空间、动作空间和奖励函数，还包括：
6.如权利要求3...
【专利技术属性】
技术研发人员：杨铎烔，马溪原，程凯，余洋，杨思蕤，周长城，陈炎森，李卓环，
申请(专利权)人：南方电网数字电网研究院股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。