风电机组功率预测建模方法及装置制造方法及图纸

本公开提供一种风电机组功率预测建模方法及装置。包括：初始化各种参数和状态，包括奖励机制R，衰减因子γ；学习速率α；贪婪因子ε；Q表；状态S＝S0；π策略；根据ε

【技术实现步骤摘要】
风电机组功率预测建模方法及装置


[0001]本公开属于风电功率预测
，具体涉及一种风电机组功率预测建模方法及装置。

技术介绍

[0002]风能已经成为一种不可或缺的电力能源，但其伴随的大随机性严重影响着电网的稳定性。风力发电机组的运维优化问题一直倍受学者关注，目前所取得的理论研究成果颇为丰盛但工业可实施性较低。强化学习算法基于智能体自主学习的概念，从环境获得数据后不断训练从而获得对环境的精确反应，在解决众多工业领域的优化问题上展现了良好的性能。数字孪生是对一个物理实体的数字化副本复制，利用前端传感器及时捕捉物理实体当前和过去时刻的状态信息传递给数字化副本，有助于物理实体实时优化运行。为更大规模集成式风电机组并入电网，将强化学习与数字孪生技术结合，研究切实可行的风电机组发电功率预测建模方法是十分必要的。

技术实现思路

[0003]本公开旨在至少解决现有技术中存在的技术问题之一，提供一种风电机组功率预测建模方法及装置。
[0004]本公开的一方面，提供一种风电机组功率预测建模方法，所述方法包括：
[0005]初始化各种参数和状态，包括奖励机制R，衰减因子γ,0<γ<1；学习速率α，0<α<1；贪婪因子ε；Q表；状态S＝S0；π策略；
[0006]根据ε
‑
greedy策略π
ε
执行操作a＝π
ε
(S)；
[0007]根据奖励机制R的计算方法获得即时奖励r/>t
；
[0008]利用新计算的评价函数Q更新Q表，并将当前状态设置为S
t
＝S
t+1
；
[0009]重复上述步骤，直到满足迭代终止条件，得到风电机组功率预测强化学习模型；
[0010]基于数字孪生技术，对所述风电机组功率预测强化学习模型进行实时更新。
[0011]在一些实施方式中，在所述初始化各种参数和状态中：
[0012]Q智能体是一种基于价值的强化学习智能体，它维护一个Q表作为评估价值函数的批评家；状态S和动作A作为批评家的输入，训练后输出相应的长期回报期望；状态S＝[w1,w2,w3]解释了学习过程中每个具体状态的组成，w1,w2,w3为权系数：
[0013][0014]在一些实施方式中，π
ε
策略的计算方式如下关系式：
[0015][0016]其中，ε∈(0,1)为探索可能性。
[0017]在一些实施方式中，根据奖励机制R的计算方法获得即时奖励r
t
，包括：
[0018]根据过去时刻状态S
t
对应的权系数w
t
、以及新状态S
t+1
对应的权系数w
t+1
分别求解强化学习阶段的损失函数，即预测误差error，error
t
和error
t+1
；
[0019]当error<error
t+1
时，惩罚Δerror
‑
1被应用到智能体上；
[0020]当error
t
＞error
t+1
时，奖励Δerror+1被应用到智能体上；
[0021]奖励和惩罚机制的数学表达式如下：
[0022][0023]Δerror＝error
t
‑
error
t+1
[0024]r
t
＝R(S
t
,a
t
)
[0025]具体来说，预测误差用均方误差MSE表示，其表达式如下：
[0026][0027]其中，为风电机组功率预测结果，Y为实际风电机组功率数据，N
Y
为实际数据个数。
[0028]在一些实施方式中，所述利用新计算的评价函数Q更新Q表，并将当前状态设置为S
t
＝S
t+1
，包括：
[0029]采用下述关系式更新Q表：
[0030][0031]其中，a
t
代表Q智能体t时刻的动作。
[0032]在一些实施方式中，所述基于数字孪生技术，对所述风电机组功率预测强化学习模型进行实时更新，包括：
[0033]基于数字孪生技术，将处于物理层的风电机组实时运行数据映射到虚拟空间，基于数据驱动建模方法得到风电机组发电功率模型；
[0034]将强化学习算法内嵌入虚拟空间，通过智能体对风电机组实际运行数据的不断学习，实时更新功率模型；
[0035]如预测误差较大，则判断引起误差的原因，及时排除故障或更新功率预测模型，达到准确预测风电机组发电功率的目标。
[0036]本公开的另一方面，提供一种风电机组功率预测建模装置，所述装置包括：
[0037]初始化模块，用于初始化各种参数和状态，包括奖励机制R，衰减因子γ,0<γ<1；学习速率α，0<α<1；贪婪因子ε；Q表；状态S＝S0；π策略；
[0038]处理模块，用于根据ε
‑
greedy策略π
ε
执行操作a＝π
ε
(S)；
[0039]计算模块，用于根据奖励机制R的计算方法获得即时奖励r
t
；
[0040]更新模块，用于利用新计算的评价函数Q更新Q表，并将当前状态设置为S
t
＝S
t+1
，直到满足迭代终止条件，得到风电机组功率预测强化学习模型；
[0041]所述更新模块，还用于基于数字孪生技术，对所述风电机组功率预测强化学习模型进行实时更新。
[0042]在一些实施方式中，π
ε
策略的计算方式如下关系式：
[0043][0044]其中，ε∈(0,1)为探索可能性。
[0045]在一些实施方式中，所述计算模块，具体还用于：
[0046]根据过去时刻状态S
t
对应的权系数w
t
、以及新状态S
t+1
对应的权系数w
t+1
分别求解强化学习阶段的损失函数，即预测误差error，error
t
和error
t+1
；
[0047]当error<error
t+1
时，惩罚Δerror
‑
1被应用到智能体上；
[0048]当error
t
＞error
t+1
时，奖励Δerror+1被应用到智能体上；
[0049]奖励和惩罚机制的数学表达式如下：
[0050][0051]Δerror＝error
t
‑
error
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种风电机组功率预测建模方法，其特征在于，所述方法包括：初始化各种参数和状态，包括奖励机制R；衰减因子γ，0<γ<1；学习速率α，0<α<1；贪婪因子ε；Q表；状态S＝S0；π策略；根据ε
‑
greedy策略π
ε
执行操作a＝π
ε
(S)；根据奖励机制R的计算方法获得即时奖励r
t
；利用新计算的评价函数Q更新Q表，并将当前状态设置为S
t
＝S
t+1
；重复上述步骤，直到满足迭代终止条件，得到风电机组功率预测强化学习模型；基于数字孪生技术，对所述风电机组功率预测强化学习模型进行实时更新。2.根据权利要求1所述的方法，其特征在于，在所述初始化各种参数和状态中：Q智能体是一种基于价值的强化学习智能体，它维护一个Q表作为评估价值函数的批评家；状态S和动作A作为批评家的输入，训练后输出相应的长期回报期望；状态S＝[w1,w2,w3]解释了学习过程中每个具体状态的组成，w1,w2,w3为权系数：3.根据权利要求1所述的方法，其特征在于，π
ε
策略的计算方式如下关系式：其中，ε∈(0,1)为探索可能性。4.根据权利要求1所述的方法，其特征在于，根据奖励机制R的计算方法获得即时奖励r
t
，包括：根据过去时刻状态S
t
对应的权系数w
t
、以及新状态S
t+1
对应的权系数w
t+1
分别求解强化学习阶段的损失函数，即预测误差error，error
t
和error
t+1
；当error<error
t+1
时，惩罚Δerror
‑
1被应用到智能体上；当error
t
＞error
t+1
时，奖励Δerror+1被应用到智能体上；奖励和惩罚机制的数学表达式如下：Δerror＝error
t
‑
error
t+1
r
t
＝R(S
t
,a
t
)具体来说，预测误差用均方误差MSE表示，其表达式如下：其中，为风电机组功率预测结果，Y为实际风电机组功率数据，N
Y
为实际数据个数。5.根据权利要求1至4任一项所述的方法，其特征在于，所述利用新计算的评价函数Q更新Q表，并将当前状态设置为S
t
＝S
t+1
，包括：采用下述关系式更新Q表：
其中，a
t
代表Q智能体t时刻的动作。6.根据权利要求1至4任一项所述的方法，其特征在于，所述基于数字孪生技术，对所述风电机组功率预测强化学习模型进行实时更新，包括：基于数字孪生技...

【专利技术属性】
技术研发人员：曹利蒲，杨继明，陈岩磊，张澈，王传鑫，田长风，王军，陈婷婷，李涛，
申请(专利权)人：北京华能新锐控制技术有限公司，
类型：发明
国别省市：