一种基于图论和深度强化学习的多微网系统能量路由方法技术方案

本发明专利技术公开了一种基于图论和深度强化学习的多微网系统能量路由方法，步骤如下：(1)风机、光伏、负荷、储能以及能量路由器功率模型构建；(2)建立单一微网功率平衡方程；(3)建立储能系统的成本损耗模型和使用寿命惩罚函数；(4)能量路由器及网络传输成本损耗模型；(5)利用图论的方法构建多微网系统环境状态空间；(6)建立能量路由器动作空间和来自拓扑结构改变的反馈奖励函数；(7)利用强化学习方法训练路由轨迹；(8)建立多微网间能量传输最小成本函数。本发明专利技术在使用图论的方法提取多微网拓扑结构的基础上用深度强化学习算法对电网数据加以分析和利用，综合考虑了储能系统的折损成本以及能量路由器和网络的损耗，有利于提高多微网系统能量管理的经济性。微网系统能量管理的经济性。微网系统能量管理的经济性。

【技术实现步骤摘要】
一种基于图论和深度强化学习的多微网系统能量路由方法


[0001]本专利技术涉及电力系统理论和人工智能的交叉技术应用领域，特别是一种基于图论和深度强化学习的多微网系统能量路由方法。

技术介绍

[0002]如今，人类社会的飞速发展加剧了化石能源的消耗，迫使人类面临能源危机，再加上国家“双碳”目标以及经济因素的影响，人们更加的重视利用可再生能源，如：风力发电、光伏发电等。构建含高比例可再生能源的能源互联网有助于促进能源系统绿色转型、实现“双碳”目标。而多微网系统作为区域能源互联网的一种典型场景，近年来备受关注。得益于传感技术与电力电子技术的发展，多微网系统中大量的分布式发电设备、分布式储能、可调节负荷等设备通过能量路由器相连接，促使能量从单向传输变为双向传输，保证可调节负荷的快速响应，以满足多微网系统中可再生能源消纳的要求。但是在进行多微网系统能量管理时，如果过度使用储能就会极大地增加储能寿命折损成本，而如果在微网间进行能量交换又会增加能量路由器和网络的损耗。因此，在多微网场景下，如何制定能量路由策略，实现就地消纳量和外部消纳量的合理分配，以实现多微网运行整体经济性最优成为了亟需解决的问题。
[0003]面对大量可控设备，传统的多微网能量管理方法通常需要本地基础结构来访问每个设备，这不仅导致成本增加，而且限制了处理数据的大小。此外电网中的大量数据掩盖了许多有价值的信息，传统方法很难对这些数据加以分析和利用。而随着储能装置及其应用的快速发展，传统方法很少考虑微网内储能设备充放电或进行微网间能量交互哪一个更符合能量管理经济性的要求。

技术实现思路

[0004]专利技术目的：本专利技术的目的是提供一种基于图论和深度强化学习的多微网系统能量路由方法，从而确保整个多微网系统运行成本最小。
[0005]技术方案：本专利技术所述的一种基于图论和深度强化学习的多微网系统能量路由方法，包括以下步骤：
[0006](1)用随机微分方程模拟光伏、风机以及负荷的功率变化，建立光伏、风机、负荷的功率模型，利用常微分方程模拟储能系统充电状态，建立储能系统的功率模型，分析能量路由器能量传输方式，建立能量路由器的功率模型；
[0007](1.1)用常微分线性方程模拟光伏、风机以及负荷的功率变化得到这些设备的初步功率模型，然后用维纳过程来模拟其随机性，在一系列反馈逼近后得到光伏、风机、负荷的功率模型；所述的光伏、风机、负荷的功率模型如下：
[0008][0009][0010][0011]其中，P
PV
(t)，P
W
(t)，P
L
(t)分别表示光伏、风机以及负荷的输出功率，t为系统所处的时刻；则是用线性常微分方程来建立光伏、风机发电时以及负荷用电时的功率初步模型，其中a
PV
，a
W
，a
L
为风机、光伏以及负荷时间常数的倒数的负值；是利用维纳过程模拟的光伏、风机和负荷功率的随机项，其中ω
PV
(t)，ω
W
(t)，ω
L
(t)表示维纳过程，K
PV
，μ
PV
，σ
PV
，K
W
，μ
W
，σ
W
，K，
L
μ，
L
σ
L
为常数；
[0012](1.2)将储能系统在t时刻的充电状态描述为SOC(t)，利用常微分方程建立储能系统的功率模型；所述的储能系统的功率模型如下：
[0013][0014]其中为储能系统的输入/输出功率，Q
S
为一常数，η(P
BES
(t))为控制储能系统的状态参数，η
i
，η
o
是储能系统输入/输出功率时的状态参数；
[0015](1.3)建立能量路由器的功率模型，能量路由器是能源互联网领域的核心设备，它使得能量可以像网络中的信息交换那样进行能量传输；所述的能量路由器的功率模型如下：
[0016]P
ER
(t)＝K
ER
U
ER
(t)，U
ER
(t)∈[
‑
1,1][0017]其中P
ER
(t)是能量路由器的输入/输出功率，K
ER
是通过能量路由器的预设值；U
ER
(t)为能量路由器的控制器，当U
ER
(t)＝0时，能量路由器停止工作；U
ER
(t)<0时，能量路由器从其他微网向该微网传输能量；U
ER
(t)>0时，能量路由器从该微网向其他微网传输能量。
[0018](2)根据输电线路上的功率偏差可以由储能系统吸收或者由能量路由器传输到其他微网这一假设及自下而上的能量管理原则建立单个微网的功率平衡方程；
[0019]步骤(2)所述的单个微网的功率平衡方程如下：
[0020][0021]其中P
i_j
(t)是微网的输出功率。
[0022]步骤(3)所述的储能系统的成本损耗模型如下：
[0023][0024]其中C
BES
(t)为储能系统的成本损耗模型，T为终端设备运行时间，E为期望函数；
[0025](3)建立储能系统的成本损耗模型和使用寿命惩罚函数；所述的惩罚函数如下：
[0026][0027]为惩罚函数，将P
BES
(t)限制在储能设备的最大功率之内从而实现储能设备的合理利用，减少储能设备的折损成本，提高储能设备使用寿命。
[0028](4)建立能量路由器以及网络传输的成本损耗模型，计算能量路由器的最终传输成本和网络的功率损耗，得到网络的最终传输成本；
[0029](4.1)建立能量路由器以及网络传输的成本损耗模型；所述的能量路由器以及网络传输的成本损耗模型如下：
[0030][0031]其中C
ER
(t)，C
LINE
(t)为能量路由器及网络传输的成本损耗模型，K
ER
，K
LINE
是价格系数，为了优先考虑那些能量损耗较小的能量路由器以及网络连接线间的损耗，能量路由器以及网络的传输成本应与功率损耗Δp
ER
，Δp
i_j
成正比；
[0032](4.2)计算能量路由器的最终传输成本；所述的能量路由器的最终传输成本如下：
[0033][0034]其中η
X
，η
Y
分别为能量路由器输入端口和输出端口与公共输电线路之间的转换器的效率；
[0035](4.3)计算网络的功率损耗；所述的网络的功率损耗为：
[0036][0037]其中R
I
‑
J
为线路的电阻，V<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图论和深度强化学习的多微网系统能量路由方法，其特征在于，包括以下步骤：(1)用随机微分方程模拟光伏、风机以及负荷的功率变化，建立光伏、风机、负荷的功率模型，利用常微分方程模拟储能系统充电状态，建立储能系统的功率模型，分析能量路由器能量传输方式，建立能量路由器的功率模型；(2)根据输电线路上的功率偏差可以由储能系统吸收或者由能量路由器传输到其他微网这一假设及自下而上的能量管理原则建立单个微网的功率平衡方程；(3)建立储能系统的成本损耗模型和使用寿命惩罚函数；(4)建立能量路由器以及网络传输的成本损耗模型，计算能量路由器的最终传输成本和网络的功率损耗，得到网络的最终传输成本；(5)利用图论的方法提取多微网系统的拓扑结构、在线监测数据以及模型计算数据构建环境状态空间；(6)建立能量路由器的动作空间和来自拓扑结构改变的反馈奖励函数；(7)多微网系统通过执行a
t
，使环境状态空间s
t
转移到s
t+1
，重复执行直到完成任务目标或者达到上限T，得到可应用于强化学习训练的路由轨迹；(8)建立综合考虑微网内可再生能源自我消纳、微网内储能系统折损成本最小以及微网间能量传递损失最小的成本函数，用于评估出各状态及执行相应动作时未来可能获得的奖励期望。2.根据权利要求1所述的一种基于图论和深度强化学习的多微网系统能量路由方法，其特征在于，所述步骤(1)具体为：(1.1)用常微分线性方程模拟光伏、风机以及负荷的功率变化得到这些设备的初步功率模型，然后用维纳过程来模拟其随机性，在一系列反馈逼近后得到光伏、风机、负荷的功率模型；所述的光伏、风机、负荷的功率模型如下：率模型；所述的光伏、风机、负荷的功率模型如下：率模型；所述的光伏、风机、负荷的功率模型如下：其中，P
PV
(t)，P
W
(t)，P
L
(t)分别表示光伏、风机以及负荷的输出功率，t为系统所处的时刻；则是用线性常微分方程来建立光伏、风机发电时以及负荷用电时的功率初步模型，其中a
PV
，a
W
，a
L
为风机、光伏以及负荷时间常数的倒数的负值；
是利用维纳过程模拟的光伏、风机和负荷功率的随机项，其中ω
PV
(t)，ω
W
(t)，ω
L
(t)表示维纳过程，K
PV
，μ
PV
，σ
PV
，K
W
，μ
W
，σ
W
，K，
L
μ，
L
σ
L
为常数；(1.2)将储能系统在t时刻的充电状态描述为SOC(t)，利用常微分方程建立储能系统的功率模型；所述的储能系统的功率模型如下：其中为储能系统的输入/输出功率，Q
S
为一常数，η(P
BES
(t))为控制储能系统的状态参数，η
i
，η
o
是储能系统输入/输出功率时的状态参数；(1.3)建立能量路由器的功率模型；所述的能量路由器的功率模型如下：P
ER
(t)＝K
ER
U
ER
(t)，U
ER
(t)∈[
‑
1,1]其中P
ER
(t)是能量路由器的输入/输出功率，K
ER
是通过能量路由器的预设值；U
ER
(t)为能量路由器的控制器，当U
ER
(t)＝0时，能量路由器停止工作；U
ER
(t)&lt;0时，能量路由器从其他微网向该微网传输能量；U
ER
(t)&gt;0时，能量路由器从该微网向其他微网传输能量。3.根据权利要求1所述的一种基于图论和深度强化学习的多微网系统能量路由方法，其特征在于，步骤(2)所述的单个微网的功率平衡方程如下：其中P
i_j
(t)是微网的输出功率。4.根据权利要求1所述的一种基于图论和深度强化学习的多微网系统能量路由方法，其特征在于，步骤(3)所述的储能系统的成本损耗模型如下：其中C
BES
(t)为储能系统的成本损耗模型，T为终端设备运行时间，E为期望函数；步骤(3)所述的惩罚函数如下：步骤(3)所述的惩罚函数如下：为惩罚函数，将P
BES
(t)限制在储能设备的最大功率之内从而实现储能设备的合理利用，减少储能设备的折损成本，提高储能设备使用寿命。5....

【专利技术属性】
技术研发人员：华昊辰，陈星莺，刘金坤，余昆，甘磊，梅飞，
申请(专利权)人：河海大学，
类型：发明
国别省市：