基于强化学习的电力系统负荷柔性预控方法、系统及介质技术方案

本发明专利技术公开了一种基于强化学习的电力系统负荷柔性预控方法、系统及介质，本发明专利技术方法包括建立灵活性资源配电网近似仿真模型和切负荷控制系统近似模型以及基于马尔可夫决策过程的交互训练环境；将配电网历史数据中各节点的功率与电压、各灵活性资源的注入功率、各负荷节点的吸收功率以及切负荷控制系统的动作构成训练样本，并通过强化学习训练负荷柔性预控智能体后再投入在线运行，以用于根据配电网实时状态得到各负荷预控的时间点和对应的有、无功功率并下发给对应的负荷的控制装置。本发明专利技术能够实现负荷的柔性预控，既能响应电力系统的调峰，又尽可能地降低了用户侧负荷的切除量，适合部署在灵活性资源丰富且配置有切负荷控制系统的配电网中。荷控制系统的配电网中。荷控制系统的配电网中。

【技术实现步骤摘要】
基于强化学习的电力系统负荷柔性预控方法、系统及介质


[0001]本专利技术属于电力系统运行和控制
，具体涉及一种基于强化学习的电力系统负荷柔性预控方法、系统及介质。

技术介绍

[0002]电力系统的灵活性资源是指能够参与电力系统调控、提高电网灵活性的电力资源。灵活性指在面临大扰动时通过调整发电或负荷维持可靠性的能力，或系统资源满足需求变化的能力。灵活性资源按分布情况可分为分布式和集中式两类：分布式灵活性资源一般在10kv及以下电力系统中，规模小，数量多比较分散；分布式灵活性资源按类型可分为分布式电源(屋顶光伏、风机、微型水电等)、储能和柔性负荷(中央空调、电动汽车充电桩)等。集中式灵活性资源一般在电压等级较高的电力系统中，规模较大，集中发电，如光伏电站、风电场等。随着分布式灵活性资源在电力系统中的占比不断提高，以及切负荷控制系统的不断推广，如何在电力系统用电高峰期或其他需要调峰的场合，协调控制灵活性资源与切负荷控制系统的关系，使电网尽量减少对用户侧的负荷切除成为一个亟待解决的问题。切负荷控制系统用于紧急情况下快速、批量、精准地切除负荷，是第二道防线的稳控系统，也叫“精准切负荷系统”(简称“精切”)或者“负荷控制系统”。由于切负荷控制系统的响应时间非常短，在需要切除负荷以响应电网调峰的场合，通常没有足够的时间完成对灵活性资源的控制。因此在切负荷控制系统动作之前，根据电网的状况提前通过控制灵活性资源降低配电网局部电压，达到负荷功率需求减少的效果，是现阶段负荷柔性预控的重要手段。

技术实现思路

[0003]本专利技术要解决的技术问题：针对现有技术的上述问题，提供一种基于强化学习的电力系统负荷柔性预控方法、系统及介质，本专利技术能够针对切负荷控制系统及其对应的灵活性资源配电网实现负荷的柔性预控，既能响应电力系统的调峰，又尽可能地降低了用户侧负荷的切除量，适合部署在灵活性资源丰富且配置有切负荷控制系统的配电网中。
[0004]为了解决上述技术问题，本专利技术采用的技术方案为：
[0005]一种基于强化学习的负荷柔性预控方法，包括：
[0006]S101，针对切负荷控制系统及其对应的灵活性资源配电网，建立灵活性资源配电网近似仿真模型和切负荷控制系统近似模型，并面向建立负荷柔性预控智能体建立基于马尔可夫决策过程的交互训练环境；
[0007]S102，初始化负荷柔性预控智能体，将配电网历史数据中各节点的功率与电压、各灵活性资源的注入功率、各负荷节点的吸收功率以及切负荷控制系统的动作构成训练样本，并通过强化学习中的深度确定性策略梯度算法DDPG训练负荷柔性预控智能体；
[0008]S103，将训练完毕的负荷柔性预控智能体投入在线运行，使得完成训练的负荷柔性预控智能体根据配电网实时状态得到各负荷预控的时间点和对应的有、无功功率，并下发给对应的负荷的控制装置。
[0009]可选地，步骤S101中建立的灵活性资源配电网近似仿真模型包括基于灵活性资源配电网的节点数n、灵活性资源的数量m、负荷的数量l构建的邻接矩阵A、节点导纳矩阵Y、灵活性资源约束矩阵D、负荷静态信息矩阵L、节点功率矩阵S以及三维潮流计算结果矩阵T，且有：
[0010][0011]上式中，任意a
ij
表示节点i与节点j是否相连，1表示相连0表示不相连，且第一个节点为与外电网相连的节点，节点i与节点j中的i和j取值区间为1～n；
[0012][0013]上式中，任意y
ij
表示节点i与节点j之间的互导纳，i≠j，y
ij
的值等于节点i与节点j之间的所有支路导纳之和；y
ii
表示节点i的自导纳，其值等于接于节点i的所有支路导纳之和；
[0014][0015]上式中，任意α
i
表示灵活性资源i所处的节点号，任意分别表示灵活性资源i的有功功率出力的最大值与最小值，任意分别表示灵活性资源i的无功功率出力的最大值与最小值，任意分别表示灵活性资源i的有功功率爬坡率的最大值与最小值，任意分别表示灵活性资源i的无功功率爬坡率的最大值与最小值，灵活性资源i的序号i取值区间为1～m；
[0016][0017]上式中，任意β
i
表示负荷i所处的节点号，任意表示负荷i中恒电阻型负荷的功率占比，任意表示负荷i中恒电流型负荷的功率占比，任意表示负荷i中恒功率型负荷的功率占比，任意η
i
表示负荷i处的切负荷控制系统是否动作，动作为0，不发生动作为1，负荷i的序号i取值区间为1～l；
[0018][0019]上式中，P
i
表示注入节点i的有功功率，Q
i
表示注入节点i的无功功率，节点i的序号i取值区间为1～n；
[0020][0021]上式中，T
t
为三维潮流计算结果矩阵T在t时刻的二维矩阵，P
i，t
表示t时刻节点i注入的有功功率，Q
i，t
表示t时刻节点i注入的无功功率，U
i，t
表示t时刻节点i的电压幅值，δ
i，t
表示t时刻节点i的电压相角，表示t时刻节点i中所有负荷吸收的有功功率之和，表示t时刻节点i中所有负荷吸收的无功功率之和，节点i的序号i取值区间为1～n。
[0022]可选地，步骤S101中建立的切负荷控制系统近似模型为神经网络模型，且该神经网络模型的输入为三维潮流计算结果矩阵T在t时刻的二维矩阵T
t
，输出H
t
的函数表达式如下式所示：
[0023][0024]上式中，任意η
i，t
表示负荷i处的切负荷控制系统在t时刻是否动作，动作的值为0，不发生动作的值为1；τ
i，t
表示t时刻负荷i距离下次动作所需时间的倒数，τ
i，t
的初始值为0；负荷i的序号i取值区间为1～l。
[0025]可选地，步骤S101中面向建立负荷柔性预控智能体建立基于马尔可夫决策过程的交互训练环境包括：建立如下式所示的t时刻的马尔科夫决策过程的状态变量s
t
：
[0026]s
t
＝(A，Y，D
t
，L
t
，T
t
，H
t
，Ψ
t
)，
[0027]上式中，A为邻接矩阵，Y为节点导纳矩阵，D为t时刻的灵活性资源约束矩阵，L
t
为t时刻的负荷静态信息矩阵，T
t
为三维潮流计算结果矩阵T在t时刻的二维矩阵，H
t
为切负荷控制系统近似模型的输出；Ψ
t
表示t时刻电力系统的稳定状态，系统稳定时稳定状态的值为0，系统失稳时稳定状态的值为1；构建如下式所示的t时刻的回报r
t
：
[0028][0029]上式中，C1表示对系统失稳的惩罚系数，C2表示对切负荷控制系统发生动作从而本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于强化学习的负荷柔性预控方法，其特征在于，包括：S101，针对切负荷控制系统及其对应的灵活性资源配电网，建立灵活性资源配电网近似仿真模型和切负荷控制系统近似模型，并面向建立负荷柔性预控智能体建立基于马尔可夫决策过程的交互训练环境；S102，初始化负荷柔性预控智能体，将配电网历史数据中各节点的功率与电压、各灵活性资源的注入功率、各负荷节点的吸收功率以及切负荷控制系统的动作构成训练样本，并通过强化学习中的深度确定性策略梯度算法DDPG训练负荷柔性预控智能体；S103，将训练完毕的负荷柔性预控智能体投入在线运行，使得完成训练的负荷柔性预控智能体根据配电网实时状态得到各负荷预控的时间点和对应的有、无功功率，并下发给对应的负荷的控制装置。2.根据权利要求1所述的基于强化学习的负荷柔性预控方法，其特征在于，步骤S101中建立的灵活性资源配电网近似仿真模型包括基于灵活性资源配电网的节点数n、灵活性资源的数量m、负荷的数量l构建的邻接矩阵A、节点导纳矩阵Y、灵活性资源约束矩阵D、负荷静态信息矩阵L、节点功率矩阵S以及三维潮流计算结果矩阵T，且有：上式中，任意a
ij
表示节点i与节点j是否相连，1表示相连0表示不相连，且第一个节点为与外电网相连的节点，节点i与节点j中的i和j取值区间为1～n；上式中，任意y
ij
表示节点i与节点j之间的互导纳，i≠j，y
ij
的值等于节点i与节点j之间的所有支路导纳之和；y
ii
表示节点i的自导纳，其值等于接于节点i的所有支路导纳之和；上式中，任意α
i
表示灵活性资源i所处的节点号，任意分别表示灵活性资源i的有功功率出力的最大值与最小值，任意分别表示灵活性资源i的无功功率出力的最大值与最小值，任意分别表示灵活性资源i的有功功率爬坡率的最大值与最小值，任意分别表示灵活性资源i的无功功率爬坡率的最大值与最小值，灵活性资源i的序号i取值区间为1～m；上式中，任意β
i
表示负荷i所处的节点号，任意表示负荷i中恒电阻型负荷的功率占比，任意表示负荷i中恒电流型负荷的功率占比，任意表示负荷i中恒功率型负荷的功
率占比，任意η
i
表示负荷i处的切负荷控制系统是否动作，动作为0，不发生动作为1，负荷i的序号i取值区间为1～l；上式中，P
i
表示注入节点i的有功功率，Q
i
表示注入节点i的无功功率，节点i的序号i取值区间为1～n；上式中，T
t
为三维潮流计算结果矩阵T在t时刻的二维矩阵，P
i,t
表示t时刻节点i注入的有功功率，Q
i,t
表示t时刻节点i注入的无功功率，U
i,t
表示t时刻节点i的电压幅值，δ
i,t
表示t时刻节点i的电压相角，表示t时刻节点i中所有负荷吸收的有功功率之和，表示t时刻节点i中所有负荷吸收的无功功率之和，节点i的序号i取值区间为1～n。3.根据权利要求2所述的基于强化学习的负荷柔性预控方法，其特征在于，步骤S101中建立的切负荷控制系统近似模型为神经网络模型，且该神经网络模型的输入为三维潮流计算结果矩阵T在t时刻的二维矩阵T
t
，输出Η
t
的函数表达式如下式所示：上式中，任意η
i,t
表示负荷i处的切负荷控制系统在t时刻是否动作，动作的值为0，不发生动作的值为1；τ
i,t
表示t时刻负荷i距离下次动作所需时间的倒数，τ
i,t
的初始值为0；负荷i的序号i取值区间为1～l。4.根据权利要求3所述的基于强化学习的负荷柔性预控方法，其特征在于，步骤S101中面向建立负荷柔性预控智能体建立基于马尔可夫决策过程的交互训练环境包括：建立如下式所示的t时刻的马尔科夫决策过程的状态变量s
t
：s
t
＝(A,Y,D
t
,L
t
,T
t
,Η
t
,Ψ
t
)，上式中，A为邻接矩阵，Y为节点导纳矩阵，D为t时刻的灵活性资源约束矩阵，L
t
为t时刻的负荷静态信息矩阵，T
t
为三维潮流计算结果矩阵T在t时刻的二维矩阵，Η
t
为切负荷控制系统近似模型的输出；Ψ
t
表示t时刻电力系统的稳定状态，系统稳定时稳定状态的值为0，系统失稳时稳定状态的值为1；构建如下式所示的t时刻的回报r
t
：上式中，C1表示对系统失稳的惩罚系数，C2表示对切负荷控制系统发生动作从而切除负荷的惩罚系数，且C1、C2为超参数，η
j,t
表示负荷j处的切负荷控制系统在t时刻是否动作，负荷j的j取值区间为1～l；表示t时刻节点i中所有负荷吸收的有功功率之和，表示t时刻节点i中所有负荷吸收的无功功率之和，节点i的序号i取值区间为1～n；构建下式所示的t时刻负荷柔性预控智能体的动作a
t
：
上式中，任意表示灵活性资源i在t时刻注入的有功功率，任意表示灵活性资源i在t时刻注入的无功功率，灵活性资源i的序号i取值区间为1～m。5.根据权利要求4所述的基于强化学习的负荷柔性预控方法，其特征在于，步骤S102包括：S201，初始化用于表示负荷柔性预控智能体的价值网络和策略网络μ
θ
(s)，其中ω为价值网络的参数，价值网络表示基于参数ω在环境s中采取...

【专利技术属性】
技术研发人员：敖非，吴晋波，严亚兵，袁赛军，肖雨薇，李勃，黄宇轩，胡斯佳，余斌，尹超勇，洪权，刘志豪，徐彪，龙雪梅，丁禹，欧阳宗帅，李刚，李辉，
申请(专利权)人：国网湖南省电力有限公司电力科学研究院国家电网有限公司，
类型：发明
国别省市：