一种基于深度强化学习的电网断面功率调整策略制造技术

本发明专利技术提供了一种基于深度强化学习的电网断面功率调整策略，其特征在于，包括发电机组的选取和深度强化学习模块，其中所述发电机组的选取包括：断面功率调整，综合考虑机组的灵敏度、经济性与碳排量多方面因素，在维持断面潮流收敛并快速到达目标值时，机组运行的经济型与碳排量达到最优；所述深度强化学习模块包括模块的训练与验证，训练阶段通过设定的状态、动作、奖励值与奖励折扣系数，反复向模型中输入断面状态，并产生对应的动作经过计算最终获得拟合状态与动作关系的学习模型；对于验证阶段验证其是否能使断面功率快速到达目标值，并保证断面整体的经济性与碳排量；本发明专利技术在保证电网安全稳定运行的前提下，使得断面功率快速到达目标值。速到达目标值。速到达目标值。

【技术实现步骤摘要】
一种基于深度强化学习的电网断面功率调整策略


[0001]本专利技术涉及电网调度领域，具体地说是一种基于深度强化学习的电网断面功率调整策略。

技术介绍

[0002]随着近年来全球能源危机的日益加剧，伴随着“双碳”概念的提出，加快新型化电网建设，提升电网智能化水平，已经成为相关人员的研究重点。电网调度作为构建智能电网的重要组成部分，其发挥着重要的作用，合理的调度方式不仅可以维持电网的安全稳定运行，还可以减少不必要的经济支出与能源浪费，从而提升电网系统整体的安全性与经济性。本文主要研究电网断面功率调整，断面功率调整作为电网调度的组成部分，其目的主要是通过调节断面内部发电机组的出力，从而保证系统内部负载均衡，维系电网安全平稳经济运行。一方面智能电网内部存在多种类型的发电机组，在实际断面功率调整时具体选择使用那种发电机组，需要从多方面综合考虑；另一方面电网内部负荷受气象因素、人文因素影响较大，数据整体呈现随机性、不确定性。以上原因使得断面功率调整方式存在多样性，加剧了断面功率调整的难度。

技术实现思路

[0003]本专利技术的目的在于提出基于深度强化学习的电网断面功率调整策略，以解决现有技术中在小网络场景下能够满足调度要求，但面对复杂网络，其无论是速度上还是在精度上都无法满足要求；并且存在着只考虑调整的时效性与电网运行的稳定性，而忽略了电网运行的经济型与碳排量的问题。
[0004]为实现上述目的，本专利技术提供以下技术方案：
[0005]一种基于深度强化学习的电网断面功率调整策略，包括发电机组选择模块和深度强化学习模块，所述发电机组选择模块主要包含机组筛选与功率补偿，根据功率的流向将断面两端分为送端与受端，输电断面功率为送端与受端中间联络线上的功率叠加；所述深度强化学习模块主要是指使用深度神经网络作为强化学习的策略网络，从而完成断面状态与所需动作之间的映射关系；具体通过以下五个步骤实现，具体包括：
[0006]S1、求发电机组的灵敏度：在保证电网潮流计算收敛的前提下尽可能的减少机组的调节数据，这里有必要计算各个机组的灵敏度；
[0007]S2、求发电机的经济性与碳排量：对本专利来说，在选择发电机组进行功率调控时，除了考虑发电机组的灵敏度外还需要考虑其经济性与碳排量，这里引入碳排放权的概念，碳排放权是指发电机组在年度发电小时数的前提下，允许的碳排放量；
[0008]S3、确定功率调整机组：在确定各个发电机组的灵敏度后，可将发电机组划分为正向调节机组集合ψ
pos
、反向调节机组集合ψ
neg
。之后根据强化学习所得的动作选择参与断面功率调整的机组集合；
[0009]S4、确定功率补偿机组：确定功率补偿机组方法，大体与功率调整方式类似，机组
正向功率调节时，反向功率补偿；机组反向功率调节时，正向功率补偿；
[0010]S5、建立深度强化学习模块：在利用深度强化学习训练时智能体通过不断与环境进行交互学习，从而获得最佳的断面功率补偿策略。
[0011]所述发电机组选择模块具体包括：对于发电机的筛选不仅要考虑机组的灵敏度还需要考虑机组运行的经济性与碳排放量，综合三个方面对发电机组进行由大到小排序，在进行断面功率调整时优先选择排序靠前的机组参与功率调整；其次为避免电网断面功率调整后出现功率失衡现象，这里采用送端调整，受端补偿的方式，送端根据功率差额选择对应的发电机组进行断面功率调整，受端通过反向出力维持智能电网系统的功率平衡。
[0012]所述深度强化学习模块具体包括：根据马尔可夫决策过程五元组(S,A,P,R,γ)的构成要求,电网功率调整建模主要关注断面状态S，动作A，奖励R以及折扣因子γ的设置。训练阶段在设定好奖励函数R与折扣因子γ的前提下，通过向强化学习模块输入断面状态S，根据策略网络输出的动作A完成断面功率的调控，完成潮流计算得出新的断面状态S，在保证潮流计算收敛的情况下输入强化学习模块，重复上述动作，并收集相关数据完成策略网络的优化过程；在预测阶段，由于策略网络的拟合已经完成，通过不断向强化学习模型中输入状态，得出功率调节动作，在保证潮流收敛的前提下直到断面功率到达目标值。
[0013]所述步骤S1具体包括以下内容：
[0014]计算各个机组的灵敏度具体计算公式如下：
[0015][0016][0017]其中：Ω为除了平衡机组以外，其余机组的集合；P
init
为当前电网断面功率，和为机组k在最大、最小功率时对于电网断面功率的改变量；和为发电机k对应正向、反向调节的灵敏度指标。这里面需要说明的是当正向调节时，利用反向机组进行补偿、当反向调节时，利用正向机组进行补偿；对于调节来说，优先选择灵敏度大的机组进行调节，而对于功率补偿来说，优先选择灵敏度低的机组进行功率补偿。
[0018]所述步骤S2具体包括以下内容：
[0019]碳排放权的计算可表示如下：
[0020]E
r,i
＝e
i
T
i
W
i
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0021]其中：E
r,i
为机组i的碳排放权，kg；e
i
为对应机组的碳排放强度，kg/kw
·
h；T
i
为对应机组的发电时间，h；W
i
为装机容量，kw。
[0022]为达到节能减排的效果，这里在考虑机组参与功率调整之前，需要计算其碳排放权，通过评估机组的出力时间，计算未来机组的碳排量与碳排放权做对比，若小于碳排放权，则可以参与功率调整，记为1，否则不参与，记为0。
[0023]E
o2,i
＝E
o1,i
+e
i
·
P
max,i
·
h
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0024][0025]其中，E
o2,i
为组参与功率调整后的碳排量；E
o1,i
为机组当前的碳排量；P
max,i
为机组运行的最大功率；h为机组的运行时间；ρ为碳排放权因子，取值范围在0到1之间。
[0026]对于智能电网来说，其内部一般包含多种发电机组，例如包含火电机组、天然气机组、新能源机组等。一般情况下，新能源机组不参与断面功率调整，火电机组发电碳排放较大，成本低；天然气机组发电成本高，碳排放较低。因此在选择机组进行断面功率调整时，除了考虑灵敏度外，还需从经济性与碳排量方面综合考虑。对于经济性来说，本专利当前只考虑原料的使用成本，具体表示如下：
[0027][0028]其中，c
c,i
为对应机组的发电成本；Q
i
为单位发电量所需的原料，这里的原料为煤炭、天然气等；n
i
为对应机组的发电效率；l
i本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度强化学习的电网断面功率调整策略，其特征在于，包括发电机组选择模块和深度强化学习模块，所述发电机组选择模块主要包含机组筛选与功率补偿，根据功率的流向将断面两端分为送端与受端，输电断面功率为送端与受端中间联络线上的功率叠加；所述深度强化学习模块主要是指使用深度神经网络作为强化学习的策略网络，从而完成断面状态与所需动作之间的映射关系；具体通过以下五个步骤实现，具体包括：S1、求发电机组的灵敏度：在保证电网潮流计算收敛的前提下尽可能的减少机组的调节数据，这里有必要计算各个机组的灵敏度；S2、求发电机的经济性与碳排量：对本专利来说，在选择发电机组进行功率调控时，除了考虑发电机组的灵敏度外还需要考虑其经济性与碳排量，这里引入碳排放权的概念，碳排放权是指发电机组在年度发电小时数的前提下，允许的碳排放量；S3、确定功率调整机组：在确定各个发电机组的灵敏度后，可将发电机组划分为正向调节机组集合ψ
pos
、反向调节机组集合ψ
neg
；之后根据强化学习所得的动作选择参与断面功率调整的机组集合；S4、确定功率补偿机组：确定功率补偿机组方法，大体与功率调整方式类似，机组正向功率调节时，反向功率补偿；机组反向功率调节时，正向功率补偿；S5、建立深度强化学习模块：在利用深度强化学习训练时智能体通过不断与环境进行交互学习，从而获得最佳的断面功率补偿策略。2.根据权利要求1所述的基于深度强化学习的电网断面功率调整策略，其特征在于，所述发电机组选择模块具体包括：对于发电机的筛选不仅要考虑机组的灵敏度还需要考虑机组运行的经济性与碳排放量，综合三个方面对发电机组进行由大到小排序，在进行断面功率调整时优先选择排序靠前的机组参与功率调整；其次为避免电网断面功率调整后出现功率失衡现象，这里采用送端调整，受端补偿的方式，送端根据功率差额选择对应的发电机组进行断面功率调整，受端通过反向出力维持智能电网系统的功率平衡。3.根据权利要求1所述的基于深度强化学习的电网断面功率调整策略，其特征在于，所述深度强化学习模块具体包括：根据马尔可夫决策过程五元组(S,A,P,R,γ)的构成要求,电网功率调整建模主要关注断面状态S，动作A，奖励R以及折扣因子γ的设置；训练阶段在设定好奖励函数R与折扣因子γ的前提下，通过向强化学习模块输入断面状态S，根据策略网络输出的动作A完成断面功率的调控，完成潮流计算得出新的断面状态S，在保证潮流计算收敛的情况下输入强化学习模块，重复上述动作，并收集相关数据完成策略网络的优化过程；在预测阶段，由于策略网络的拟合已经完成，通过不断向强化学习模型中输入状态，得出功率调节动作，在保证潮流收敛的前提下直到断面功率到达目标值。4.根据权利要求1所述的基于深度强化学习的电网断面功率调整策略，其特征在于，所述步骤S1具体包括以下内容：计算各个机组的灵敏度具体计算公式如下：计算各个机组的灵敏度具体计算公式如下：其中：Ω为除了平衡机组以外，其余机组的集合；P
init
为当前电网断面功率，和为机组k在最大、最小功率时对于电网断面功率的改变量；和为发电机k对应正向、
反向调节的灵敏度指标；这里面需要说明的是当正向调节时，利用反向机组进行补偿、当反向调节时，利用正向机组进行补偿；对于调节来说，优先选择灵敏度大的机组进行调节，而对于功率补偿来说，优先选择灵敏度低的机组进行功率补偿。5.根据权利要求1所述的基于深度强化学习的电网断面功率调整策略，其特征在于，所述步骤S2具体包括以下内容：碳排放权的计算可表示如下：E
r,i
＝e
i
T
i
W
i
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)其中：E
r,i
为机组i的碳排放权，单位为kg；e
i
为对应机组的碳排放强度，单位为kg/kw
·
h；T
i
为对应机组的发电时间，单位为h；W
i
为装机容量，单位为kw；为达到节能减排的效果，这里在考虑机组参与功率调整之前，需要计算其碳排放权，通过评估机组的出力时间，计算未来机组的碳排量与碳排放权做对比，若小于碳排放权，则可以参与功率调整，记为1，否则不参与，记为0；E
o2,i
＝E
o1,i
+e
i
·
P
max,i
·
h
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)其中，E
o2,i
为组参与功率调整后的碳排量；E
o1,i
为机组当前的碳排量；P
max,i
为机组运行的最大功率；h为机组的运行时间；ρ为碳排放权因子，取值范围在0到1之间；对于智能电网来说，其内部一般包含多种发电机组，例如包含火电机组、天然气机组、新能源机组等；一般情况下，新能源机组不参与断面功率调整，火电机组发电碳排放较大，成本低；天然气机组发电成本高，碳排放较低；因此在选择机组进行断面功率调整时，除了考虑灵敏度外，还需从经济性与碳排量方面综合考虑；对于经济性来说，本专利当前只考虑原料的使用成本，具体表示如下：其中，c
...

【专利技术属性】
技术研发人员：邵辉，李睿，陈志力，钟毅，周红卫，
申请(专利权)人：江苏润和软件股份有限公司，
类型：发明
国别省市：