基于深度强化学习的新能源电力系统弹性优化方法技术方案

本发明专利技术提出了一种基于深度强化学习的新能源电力系统弹性优化方法，能够大幅减少了在调度过程中产生的人力成本，也避免了人工沟通的延时性带来的影响。本发明专利技术引入神经网络的深度强化学习可通过试错和探索在高度动态的随机环境中进行学习，互动情境使其具有较强的学习能力和适应能力，更适合用于解决具有复杂非线性和不确定性的新能源电力系统有功功率调度问题。深度强化学习兼具强化学习的决策能力和深度学习的计算能力，在新能源电力系统中的应用必将改变传统的能源利用模式，使系统更加智能化。智能化。智能化。

【技术实现步骤摘要】
基于深度强化学习的新能源电力系统弹性优化方法


[0001]本专利技术涉及电力系统弹性
，具体涉及一种基于深度强化学习的新能源电力系统弹性优化方法。

技术介绍

[0002]近年来，随着电网中新能源渗透率的逐年提高，截至2020年底，我国可再生能源的装机规模和发电量均居世界第一。新能源大量接入电网的同时也带来很多问题，由于新能源具有随机性强、间歇性明显、波动幅度大等特点，这增加了系统的有功功率调度、调峰、调频难度和稳定运行风险。同时电力系统作为世界上最大、最复杂的人造动力学系统，极易受到各种自然灾害和人为攻击等极端事件的影响。因此，开展有关新能源电力系统弹性优化的研究很有必要。
[0003]电力系统弹性指的是其针对小概率、高损失极端事件的预防、抵御以及快速恢复负荷的能力。在研究电力系统的弹性时，我们主要关注灾后电网的最大供电能力，故需要优化其有功功率调度方法。传统的电力系统有功功率调度采用的是分级管理、分层调度的原则，调度过程中需要大量人力来进行监督管理。由于人工沟通存在一定延时，因此无法满足新能源电网的智能性和灵活性要求。

技术实现思路

[0004]有鉴于此，本专利技术提出了一种基于深度强化学习的新能源电力系统弹性优化方法，能够大幅减少了在调度过程中产生的人力成本，也避免了人工沟通的延时性带来的影响。
[0005]为实现上述目的，本专利技术的技术方案为：
[0006]本专利技术的一种基于深度强化学习的新能源电力系统弹性优化方法，包括如下步骤：
[0007]步骤1，在新能源电力系统有功功率调度的目标下，将有功调度抽象为一个包含目标函数和约束条件的非线性规划问题，同时针对调度过程中出现的功率不平衡现象对系统进行一次调频；其中，新能源电力系统有功功率调度的目标为在不考虑发电成本的情况下，最大化电力系统的供电能力；所述一次调频是在系统出现频率偏差时，通过调速器对发电机组的发电量进行调节的过程；
[0008]步骤2，根据新能源弹性电力系统的特点和所要实现的供电能力最大的目标，对系统的状态、动作和奖励进行设计；其中，所述状态是智能体观察到的环境特征，由各节点的有功功率和系统的频率组成；所述动作是智能体根据观察到的状态所做出的决策，具体为发电机节点有功功率的改变量；所述奖励的奖励函数是在执行某一动作后，环境根据自身产生的变化给予智能体的一种反馈，并以此作为智能体下一步选择决策的依据；
[0009]步骤3，利用DQN算法对系统中的智能体进行设计。
[0010]其中，所述步骤1中，所述目标函数为：其中，G表示含有新能源的电力系统；F(G)为新能源电力系统的供电能力；N
g
为新能源电力系统中发电机节点的集合；P
i
为节点的有功出力；
[0011]所述约束条件为：
[0012]新能源电力系统节点约束：
[0013][0014]新能源电力系统线路约束：
[0015][0016]其中，P
i
和Q
i
分别表示通过节点i注入电网的有功功率和无功功率；V
i
和V
j
分别是节点i和节点j的电压幅值；N为新能源电力系统中所有节点的集合；θ
ij
为节点i和节点j之间的相角差；G
ij
和B
ij
分别是线路i
‑
j导纳的实部和虚部；P
ij
和 Q
ij
分别是线路i
‑
j的有功功率和无功功率；
[0017][0018]其中，V
i，min
和V
i，max
分别是节点i最小电压幅值和最大电压幅值；P
i，min
和 Q
i，min
分别为节点i的最小有功功率和无功功率；P
i，max
和Q
i，max
分别为节点i的最大有功功率和无功功率；P
ij，min
和P
ij，max
分别为线路i
‑
j的最小有功功率和最大有功功率。
[0019]其中，所述步骤1中，所述一次调频具体过程为：
[0020]当系统发出的有功功率或负荷消耗的有功功率发生变化时，首先计算功率差ΔP：
[0021][0022]其中，N
g
和N
l
分别为新能源电力系统中发电机节点和负荷节点的集合；
[0023]根据功率差得到频率偏差为Δf为：
[0024][0025]其中，K
G
和K
L
分别是发电机和负荷的调频系数之和；
[0026]利用得到的频率偏差进行电力系统的一次调频，调频后得到各节点的实际有功功率为：
[0027][0028]其中，P
i
和P
i
′
分别是发电机节点i经过一次调频前后的有功功率；K
Gi
发电机节点i的单位调节功率；P
j
和P
j
′
分别是负荷节点j经过一次调频前后的有功功率；K
Lj
发电机节点j的单位调节功率。
[0029]其中，系统的状态设计的具体方法是：
[0030]s
t
＝{P
it
，P
wt
，P
pt
，P
jt
，f}
[0031]其中，s
t
为状态，P
it
为t时刻传统火力发电机的实际出力；P
wt
和P
pt
分别为 t时刻风力发电和光伏发电的实际出力；P
jt
为该新能源电力系统在t时刻负荷消耗的实际功率；f是系统频率。
[0032]其中，系统的动作设计的具体方法是：
[0033]a
t
＝{ΔP
it
，ΔP
wt
，ΔP
pt
}
[0034]其中，a
t
为动作，ΔP
it
为传统火力发电机实际出力的改变量；ΔP
wt
和ΔP
pt
分别为风力发电和光伏发电实际出力的改变量。
[0035]其中，所述奖励的奖励函数为：
[0036]r
t
＝reward1+reward2+reward3+F(G)
[0037]其中，
[0038][0039][0040]a1，a2，a3是根据不同的频率空间设置的控制参数。
[0041]其中，DQN算法通过智能体建立Q表格来存储不同状态
‑
动作对的Q值，通过不断试错更新Q表格，并以其为参考来选取最优动作；Q值的迭代规则如下：
[0042]Q(s
t
，a
t
，w
t
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度强化学习的新能源电力系统弹性优化方法，其特征在于，包括如下步骤：步骤1，在新能源电力系统有功功率调度的目标下，将有功调度抽象为一个包含目标函数和约束条件的非线性规划问题，同时针对调度过程中出现的功率不平衡现象对系统进行一次调频；其中，新能源电力系统有功功率调度的目标为在不考虑发电成本的情况下，最大化电力系统的供电能力；所述一次调频是在系统出现频率偏差时，通过调速器对发电机组的发电量进行调节的过程；步骤2，根据新能源弹性电力系统的特点和所要实现的供电能力最大的目标，对系统的状态、动作和奖励进行设计；其中，所述状态是智能体观察到的环境特征，由各节点的有功功率和系统的频率组成；所述动作是智能体根据观察到的状态所做出的决策，具体为发电机节点有功功率的改变量；所述奖励的奖励函数是在执行某一动作后，环境根据自身产生的变化给予智能体的一种反馈，并以此作为智能体下一步选择决策的依据；步骤3，利用DQN算法对系统中的智能体进行设计。2.如权利要求1所述的方法，其特征在于，所述步骤1中，所述目标函数为：其中，G表示含有新能源的电力系统；F(G)为新能源电力系统的供电能力；N
g
为新能源电力系统中发电机节点的集合；P
i
为节点的有功出力；所述约束条件为：新能源电力系统节点约束：新能源电力系统线路约束：其中，P
i
和Q
i
分别表示通过节点i注入电网的有功功率和无功功率；V
i
和V
j
分别是节点i和节点j的电压幅值；N为新能源电力系统中所有节点的集合；θ
ij
为节点i和节点j之间的相角差；G
ij
和B
ij
分别是线路i
‑
j导纳的实部和虚部；P
ij
和Q
ij
分别是线路i
‑
j的有功功率和无功功率；其中，V
i，min
和V
i，max
分别是节点i最小电压幅值和最大电压幅值；P
i，min
和Q
i，min
分别为节点i的最小有功功率和无功功率；P
i，max
和Q
i，max
分别为节点i的最大有功功率和无功功率；P
ij，min
和P
ij，max
分别为线路i
‑
j的最小有功功率和最大有功功率。
3.如权利要求2所述的方法，其特征在于，所述步骤1中，所述一次调频具体过程为：当系统发出的有功功率或负荷消耗的有功功率发生变化时，首先计算功率差ΔP：其中，N
g
和N
l
分别为新能源电力系统中发电机节点和负荷节点的集合；根据功率差得到频率偏差为Δf为：其中，K
G
和K
L
分别是发电机和负荷的调频系数之和；利用得到的频率偏差进行电力系统的一次调频，调频后得到各节点的实际有功功率为：其中，P
i
和P
i
′
分别是发电机节点i经过一次调频前后的有功功率；K
Gi
发电机节点i的单位调节功率；P
j
和P
j
′
分别是负荷节点j经过一次调频前后的有功功率；K
Lj
发电机节点j的单位调节功率。4.如权利要求3所述的方法，其特征在于，系统的状态设计的具体方法是：...

【专利技术属性】
技术研发人员：张曦，李清明，单熙雯，王作为，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：