基于深度强化学习的风电机组电网惯量支撑方法技术

本发明专利技术公开了基于深度强化学习的风电机组电网惯量支撑方法，包括以下步骤：(1)获取风机转速、电网频率数据；(2)基于DDPG算法设计改进的风机一次调频控制策略；(3)在训练风速下对DDPG智能体进行训练；(4)利用步骤(3)训练好的智能体，在测试风速下根据风机转速和电网频率在线输出惯量支撑功率，实现风机对电网的惯量支撑。本发明专利技术的技术方案在风电机组RSC控制基础上，通过深度确定性策略梯度强化学习算法获得风电机组惯量支撑功率。与传统风机固定系数的一次调频控制相比，本发明专利技术提出的方法综合考虑风机稳定与惯量支撑效果，使风机在维持自身稳定运行的前提下充分利用转子动能为电网提供惯量支撑。提供惯量支撑。提供惯量支撑。

【技术实现步骤摘要】
基于深度强化学习的风电机组电网惯量支撑方法


[0001]本专利技术属于风机一次调频控制策略，具体涉及一种基于深度强化学习的风电机组电网惯量支撑方法。

技术介绍

[0002]大规模风电并网给电网频率稳定带来了挑战。一方面，风电机组通过变流器并网，不具备惯性响应特性，导致电网等效惯量会随着风电占比的增大而减小；另一方面，随着同步机组不断被风电所取代，继续依赖同步机组承担调频任务势必会面临电网调频能力不足的问题。
[0003]考虑到风机具有较大的转动惯量和转速变化范围，可以依靠转子动能的存储和释放提供用于支撑电网频率的有功功率。基于这一特点，风机虚拟惯量控制和下垂控制通过在原有控制器上附加频率微分环节和比例环节，模拟同步机组的惯量响应特性和调速器响应特性，从而响应系统频率变化并为电网提供惯量支撑。
[0004]传统风机一次调频控制中的下垂系数和虚拟惯量系数多采用固定数值，且通常凭经验设定。然而，面对复杂多变的运行工况，固定不变的调频系数难以保证风机始终具备良好的调频效果。一方面，过小的调频系数难以使风机为电网提供有效的惯量支撑；而另一方面，过大的调频系数却也容易使风电机组过度释放转子动能，增大失稳切机的风险。相较于固定调频系数，变系数的方式能使风机更好地兼顾惯量支撑效果和自身稳定性。为此，频率变化率、频率偏差和风机转速均被用于整定调频系数，使风机根据电网频率实时调整惯量支撑强度，避免过度支撑影响风机稳定运行。
[0005]然而，当前变系数一次调频控制方法的参数整定往往依经验确定。面对湍流风速和波动负荷复杂场景，依靠经验整定的控制器参数难以使风机在复杂场景下始终兼顾自身稳定和调频效果。究其原因在于：不同风速下风机的气动功率和转子动能均不相同，影响风机惯量支撑能力。

技术实现思路

[0006]专利技术目的：本专利技术的目的在于提供一种基于深度强化学习的风电机组电网惯量支撑方法，其能够解决湍流风速和波动负荷复杂场景下风机稳定和惯量支撑效果难以兼顾的问题。
[0007]技术方案：本专利技术的基于深度强化学习的风电机组电网惯量支撑方法，包括以下步骤：
[0008](1)获取风机转速、电网频率数据；
[0009](2)基于DDPG算法设计改进的风机一次调频控制策略；
[0010](3)在训练风速下对DDPG智能体进行训练；
[0011](4)利用步骤(3)训练好的智能体，在测试风速下根据风机转速和电网频率在线输出惯量支撑功率，实现风机对电网的惯量支撑。
[0012]步骤(2)中，所述基于DDPG算法设计改进的风机一次调频控制策略，具体包括以下步骤：
[0013](2.1)选取系统状态变量为风机转速和电网频率偏差，即S＝[ω,Δf]；
[0014](2.2)取智能体动作输出为风机惯量支撑功率，即A＝[ΔP
vic
]；
[0015](2.3)设计智能体奖励函数，使风机惯量支撑功率输出同时考虑风机转速与惯量支撑效果；
[0016](2.4)风机RSC控制下有功功率与惯量支撑功率叠加，即为风机电磁功率。
[0017]步骤(2.3)中，所述设计智能体奖励函数，奖励函数的表达式如下：
[0018]R＝
‑
k1|Δf|
‑
k2|h(ω)|
ꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0019]式中，h(ω)为风机转速项奖励函数。智能体奖励函数分为两部分，k1、k2分别为两部分奖励权重因子；奖励第一部分与电网频率相关，智能体动作行为倾于风机惯量支撑效果；奖励第二部分与风机转速相关，智能体动作行为倾于机组稳定。
[0020]所述h(ω)的表达式如下：
[0021][0022][0023]式中，ω
min
表示风机切机转速；当风机转速偏离设定的上下惩罚边界ω
up
、ω
down
，智能体动作输出接受惩罚，且偏离程度越大，惩罚越大；当风机转速下降至切机转速，惩罚值无穷大，当前回合训练结束。
[0024]步骤(3)中，所述在训练风速下对DDPG智能体进行训练，具体包括以下步骤：
[0025](3.1)初始化神经网络参数，神经网络分为策略网络Actor和价值网络Critic两部分，Actor部分负责根据状态输出动作，Critic部分则输出Q(S
t
,A
t
)；各部分又分为当前网络和目标网络；
[0026](3.2)在Actor当前网络中以状态S
t
为输入，输出动作A
t
；动作A
t
作用于环境，状态更新为S
t+1
，返回奖励R
t+1
；将数据集＜S
t
,A
t
,S
t+1
,R
t+1
＞存入经验池；
[0027](3.3)从经验池中随机抽取n个数据集＜S
i
,A
i
,S
i+1
,R
i+1
＞，i＝1,2,...,n，以此计算当前目标Q值y
i
，计算式如下：
[0028]y
i
＝R
t+1
+γQ'(S
t+1
,A
t+1
)
ꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0029]式中，γ表示Q值衰减因子，取值范围为0.95～0.99；
[0030](3.4)根据当前Q值Q(S
t
,A
t
)和目标Q值y
i
计算均方误差，误差反向传播更新Critic当前网络参数α1；以当前Q值数据使用Adam优化器更新Actor当前网络参数θ1；
[0031](3.5)Actor、Critic目标网络参数定时从当前网络复制，实现网络参数软更新。
[0032][0033]式中，参数β一般设为0.001。
[0034]步骤(4)中，智能体Actor神经网络参数已经收敛，在测试风速下对智能体学习性能进行测试，直接根据风机转速和电网频率偏差在线输出惯量支撑功率，实现风机对电网的惯量支撑。
[0035]本专利技术的技术方案利用深度强化学习集成深度学习感知能力和强化学习决策能力，可实现非线性问题的端对端优化。通过训练，深度强化学习的智能体自主学习能够兼顾风机稳定与调频效果的有功功率输出，从而充分发挥风机惯量支撑能力，使风机在保证自身稳定的前提下更好地抑制电网频率变化。
[0036]有益效果：本专利技术的技术方案与现有技术相比，其有益效果在于：(1)利用深度强化学习算法，在湍流风速和波动负荷复杂场景下训练智能体，进一步根据动作输出策略已收敛的智能体，在测试风速下根据风机转速、电网频率偏差直接输出惯量支撑功率，实现非线性问题的端对端优化；(2)本专利技术中智能体奖励函数综合考虑风机转速与电网频率，风机在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度强化学习的风电机组电网惯量支撑方法，其特征在于，包括以下步骤：(1)获取风机转速、电网频率数据；(2)基于DDPG算法设计改进的风机一次调频控制策略；(3)在训练风速下对DDPG智能体进行训练；(4)利用步骤(3)训练好的智能体，在测试风速下根据风机转速和电网频率在线输出惯量支撑功率，实现风机对电网的惯量支撑。2.根据权利要求1所述基于深度强化学习的风电机组电网惯量支撑方法，其特征在于，步骤(2)中，所述基于DDPG算法设计改进的风机一次调频控制策略，具体包括以下步骤：(2.1)选取系统状态变量为风机转速和电网频率偏差，即S＝[ω,Δf]；(2.2)取智能体动作输出为风机惯量支撑功率，即A＝[ΔP
vic
]；(2.3)设计智能体奖励函数，使风机惯量支撑功率输出同时考虑风机转速与惯量支撑效果；(2.4)风机RSC控制下有功功率与惯量支撑功率叠加，即为风机电磁功率。3.根据权利要求2所述基于深度强化学习的风电机组电网惯量支撑方法，其特征在于，步骤(2.3)中，所述设计智能体奖励函数，奖励函数的表达式如下：R＝
‑
k1|Δf|
‑
k2|h(ω)|
ꢀꢀꢀꢀꢀꢀꢀ
(1)式中，h(ω)为风机转速项奖励函数；智能体奖励函数分为两部分，k1、k2分别为两部分奖励权重因子；奖励第一部分与电网频率相关，智能体动作行为倾于风机惯量支撑效果；奖励第二部分与风机转速相关，智能体动作行为倾于机组稳定。4.根据权利要求3所述基于深度强化学习的风电机组电网惯量支撑方法，其特征在于，所述h(ω)的表达式如下：所述h(ω)的表达式如下：式中，ω
min
表示风机切机转速；当风机转速偏离设定的上下惩罚边界ω
up
、ω
down
，智能体动作输出接受惩罚，且偏离程度越大，惩罚越大；当风机转速下降至切机转速，惩罚值无穷大，当前回合训练结束。5.根据权利要求1所述基于深度强化学习的风电机组电网惯量支撑方法，其特征在于，步骤(3)中，所述在训练风速下对DDPG智能体进行训练，...

【专利技术属性】
技术研发人员：李群，卜京，周建华，殷明慧，张宁宇，陈载宇，陈静，周连俊，吴先明，李阳，邹云，朱鑫要，刘建坤，
申请(专利权)人：南京理工大学国网江苏省电力有限公司电力科学研究院，
类型：发明
国别省市：