针对多种调频资源的互联电力系统二次调频控制方法技术方案

本发明专利技术公开了针对多种调频资源的互联电力系统二次调频控制方法，该方法包括：首先基于资源特性提出多种资源参与二次调频的差异化协调控制优化模型；其次，将该优化模型转化为部分可观测的马尔可夫博弈模型；最后使用强化学习算法中的近端策略优化方法对模型进行求解，从而得到最优二次调频控制策略，实现多种资源联合调频的差异化协调控制。本发明专利技术采用强化学习方法对二次调频控制策略进行优化，实现不同资源的差异化协调控制，可兼顾电力系统二次频率的性能、调频成本和调频信号分配的公平性。平性。平性。

【技术实现步骤摘要】
针对多种调频资源的互联电力系统二次调频控制方法


[0001]本专利技术涉及电力系统优化控制
，特别是涉及针对多种调频资源的互联电力系统二次调频控制方法。

技术介绍

[0002]为应对全球气候变化，近年来以风电、光伏为代表的新能源发电在世界范围内得到了快速发展。我国新能源装机容量持续快速增长，新能源渗透率持续提高。然而，新能源多通过电力电子设备接入电网，相比传统火电机组，新能源机组惯性较小，新能源占比的提高将导致电力系统惯性的降低及频率响应特性的恶化。此外，新能源出力的不确定性进一步提高了电力系统频率控制的难度。因此，需要引入快速调频资源以保证新能源发电大规模接入后电力系统的安全稳定运行。
[0003]作为新型调频资源的代表，电池储能技术在近年来得到了快速发展。与传统火电机组相比，电池储能具有调节速率快、准确性高等特点，能够为电力系统提供高质量调频服务。然而，电池储能具有电量受限的特点，长时间持续充电或放电将导致其电量达到上限或下限，恶化调频表现，过度充放电还会导致储能系统寿命折损的加剧。除电池储能外，以风电和光伏发电为代表的新能源也能够实现快速频率调节。然而，风电和光伏发电具备上调频能力需要保持降出力运行状态，参与下调频也会导致出力水平降低，从而导致新能源发电量的降低。
[0004]对于电力系统负荷频率控制(Load Frequency Control)问题，现有方法多使用线性系统模型，没有考虑传统火电机组的死区及爬坡等非线性环节，并忽略二次调频的采样特性及调频信号传输过程中不可避免的时滞影响，可能导致所建模型与实际系统之间存在较大的偏差。此外，现有调频控制方法一般只考虑传统调频资源(一般为传统发电机组)。另外一些方法则通过比例分配等启发式规则实现调频信号在传统资源及新型快速调频资源之间的分配。虽然此类方法易于实现，但不利于快速调频资源优势的发挥及不同调频资源的协同。所以，现有方法无法对电池储能及新能源发电等新型快速调频资源进行差异化有效利用，缺乏多种调频资源高效协同控制的能力，不能适应高比例可再生能源背景下电力系统调频资源多样化趋势的能力。

技术实现思路

[0005]本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。
[0006]本专利技术的目的是为克服已有技术的不足之处，提出针对多种调频资源的互联电力系统二次调频控制方法。本专利技术考虑传统机组、电池储能、新能源发电等多种调频资源，建立了考虑二次调频采样特性及调频信号传输时滞的电力系统非线性模型，采用强化学习方法对二次调频控制策略进行优化，实现不同资源的差异化协调控制，可兼顾电力系统二次频率的性能、调频成本和调频信号分配的公平性。
[0007]本专利技术的另一个目的在于提出一种针对多种调频资源的互联电力系统二次调频
控制装置。
[0008]为达上述目的，本专利技术一方面提出一种针对多种调频资源的互联电力系统二次调频控制方法，包括：
[0009]根据互联电力系统的状态空间模型和二次调频信号模型得到互联电力系统二次调频控制的整体模型；其中，所述状态空间模型和所述二次调频信号模型是分别基于多种调频资源的动态特征和二次调频信号的采样及时滞特征构建的；
[0010]根据对所述多种调频资源的特征分析结果得到的多个优化目标构建频率控制策略的目标函数；
[0011]基于所述目标函数和所述二次调频信号的采样特征，对互联电力系统二次调频控制的控制过程进行建模得到部分可观测马尔可夫博弈模型；
[0012]利用循环神经网络和预设的策略优化算法对所述部分可观测马尔可夫博弈模型进行求解得到最优频率控制策略，基于所述最优频率控制策略的仿真验证结果调整所述整体模型的参数实现多种调频资源的高效协同控制。
[0013]为达上述目的，本专利技术另一方面提出一种针对多种调频资源的互联电力系统二次调频控制方法装置，包括：
[0014]模型构建模块，用于根据互联电力系统的状态空间模型和二次调频信号模型得到互联电力系统二次调频控制的整体模型；其中，所述状态空间模型和所述二次调频信号模型是分别基于多种调频资源的动态特征和二次调频信号的采样及时滞特征构建的；
[0015]目标优化模块，用于根据对所述多种调频资源的特征分析结果得到的多个优化目标构建频率控制策略的目标函数；
[0016]控制建模模块，用于基于所述目标函数和所述二次调频信号的采样特征，对互联电力系统二次调频控制的控制过程进行建模得到部分可观测马尔可夫博弈模型；
[0017]控制调整模块，用于利用循环神经网络和预设的策略优化算法对所述部分可观测马尔可夫博弈模型进行求解得到最优频率控制策略，基于所述最优频率控制策略的仿真验证结果调整所述整体模型的参数实现多种调频资源的高效协同控制。
[0018]本专利技术实施例的针对多种调频资源的互联电力系统二次调频控制方法和装置，建立了考虑二次调频采样特性及调频信号传输时滞的电力系统非线性模型，采用强化学习方法对二次调频控制策略进行优化，实现不同资源的差异化协调控制，可兼顾电力系统二次频率的性能、调频成本和调频信号分配的公平性。
[0019]本专利技术的有益效果为：
[0020]1)本专利技术考虑多种调频资源参与电力系统二次调频，用以提升构建新型电力系统背景下的频率控制性能。对二次调频控制策略进行优化，考虑不同调频资源的特性，实现异质化资源的差异化协同控制，充分利用包括储能、新能源发电等新型调频资源的快速调节能力，提高系统频率质量，并兼顾提升储能电量的可用率和新能源的发电量。
[0021]2)本专利技术充分考虑实际系统动态特性。首先，考虑采样特性及控制信号传输时滞，建立互联电网负荷频率控制系统的非线性状态空间模型；随后将互联电网的频率优化控制问题建模为部分可观测马尔可夫博弈问题；最后使用循环神经网络和近端策略优化(recurrent proximal policy optimization)强化学习算法对模型进行求解，得到最优频率控制策略，实现多种调频资源的高效协同控制。
[0022]本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0023]本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
[0024]图1是根据本专利技术实施例的针对多种调频资源的互联电力系统二次调频控制方法的流程图；
[0025]图2是根据本专利技术实施例的针对多种调频资源的互联电力系统二次调频控制方法的整体逻辑流程图；
[0026]图3是根据本专利技术实施例的互联电力系统控制区i的结构图；
[0027]图4是根据本专利技术实施例的神经网络结构图；
[0028]图5是根据本专利技术实施例的针对多种调频资源的互联电力系统二次调频控制装置的结构示意图。
具体实施方式
[0029]需要说明的是，在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种针对多种调频资源的互联电力系统二次调频控制方法，其特征在于，包括以下步骤：根据互联电力系统的状态空间模型和二次调频信号模型得到互联电力系统二次调频控制的整体模型；其中，所述状态空间模型和所述二次调频信号模型是分别基于多种调频资源的动态特征和二次调频信号的采样及时滞特征构建的；根据对所述多种调频资源的特征分析结果得到的多个优化目标构建频率控制策略的目标函数；基于所述目标函数和所述二次调频信号的采样特征，对互联电力系统二次调频控制的控制过程进行建模得到部分可观测马尔可夫博弈模型；利用循环神经网络和预设的策略优化算法对所述部分可观测马尔可夫博弈模型进行求解得到最优频率控制策略，基于所述最优频率控制策略的仿真验证结果调整所述整体模型的参数实现多种调频资源的高效协同控制。2.根据权利要求1所述的方法，其特征在于，所述状态空间模型的表达式为：x
i
＝[Δf
i
,ΔP
m,r,i
,ΔP
t,r,i
,ΔP
v,r,i
,ΔP
m,nr,i
,ΔP
v,nr,i
,ΔP
e,i
,ΔP
wt,i
,ΔP
pv,i
,∫ACE
i
,ΔP
tie,i
]
ꢀꢀ
(1)u
i
＝[u
nr,i
,u
r,i
,u
e,i
,u
wt,i
,u
pv,i
]
ꢀꢀ
(2)(2)ΔP
d,i
＝ΔP
L,i
‑
ΔP
b,wt,i
‑
ΔP
b,pv,i
ꢀꢀꢀ
(5)(5)(5)(5)(5)(5)(5)
其中，下标i是互联电力系统的控制区编号，下标r和nr用于区分再热和非再热式火电机组相关变量，x
i
为状态向量，u
i
为输入向量，状态变量Δf，ΔP
m
，ΔP
t
，ΔP
v
，ΔP
e
，ΔP
wt
，ΔP
pv
，∫ACE，ΔP
tie
分别表示系统频率偏差、发电机机械功率偏差、再热系统热偏差、阀门开度偏差、储能系统输出偏差、风电机组输出功率偏差、光伏输出功率偏差、区域控制误差对于时间的积分，以及联络线交换功率偏差，输入变量u
r
，u
nr
，u
e
，u
wt
和u
pv
分别是再热式机组、非再热式机组、ESS、WT和PV接收到的二次调频控制信号，扰动ΔP
d
是由负荷扰动ΔP
L
以及WT/PV基准功率波动ΔP
b,wt/pv
组成的净负荷扰动，参数D、H、R、β分别代表负荷阻尼系数、惯性系数、一次调频的下垂系数和频率偏差系数，参数T
ch
、T
rh
、T
g
、T
e
、T
WT
、T
PV
分别为汽轮机、再热器、调速器、ESS电力电子变换器、WT和PV电力电子变换器的时间常数，F
HP
为高压缸功率系数，参数T
ij
是区域i和j之间的联络线劲度系数。3.根据权利要求1所述的方法，其特征在于，所述二次调频信号模型的表达式为：3.根据权利要求1所述的方法，其特征在于，所述二次调频信号模型的表达式为：其中，下标k表示采样时刻编号，下标{
·
}表示资源种类，t表示时间，Δt表示采样间隔，u
{
·
},i
(t)表示资源{
·
}侧在时间t接收到的二次调频信号，c
{
·
},i,k
表示调度侧在第k个采样周期生成的针对资源{
·
}的二次调频控制信号，资源{
·
}在τ表示调频信号传输时滞，τ
{
·
},i,k
...

【专利技术属性】
技术研发人员：胡泽春，马昱欣，
申请(专利权)人：清华大学，
类型：发明
国别省市：