一种基于深度确定性策略梯度算法的配电网无功优化方法技术

本发明专利技术公开了一种基于深度确定性策略梯度算法的配电网无功优化方法，包括构建配电网的无功优化模型，包括潮流计算约束模型，PV逆变器和BESs的出力模型；将无功优化模型描述成一个马尔科夫决策过程，并定义MDP的状态空间、动作空间和奖励函数；使用基于人工神经网络和决策者－评价者架构的DDPG算法来求解的MDP；使用某地区配电网的真实历史运行数据，对DDPG智能体进行训练，然后将训练好的智能体在线部署，并设置不同的PV渗透率对其效果进行验证。本发明专利技术所提方法基于ANN使用Q网络来逼近Q函数，避免了状态和动作的维度灾害，同时本发明专利技术可以很好地利用PV和BESs这些分布式资源来进行配电网优化。行配电网优化。行配电网优化。

【技术实现步骤摘要】
一种基于深度确定性策略梯度算法的配电网无功优化方法


[0001]本专利技术涉及梯度算法配电网
，特别是一种基于深度确定性策略梯度算法的配电网无功优化方法。

技术介绍

[0002]为了增加清洁和可持续能源在满足我们社会的电力需求中的份额，需要可再生资源的高渗透率，如太阳能光伏系统(photovoltaics，PV)。然而，由于这些资源输出功率的间歇性和波动性，必须解决电网可靠、优化和安全运行的技术挑战。在PV高渗透率的情况下，电压波动及其对系统有功功率损耗的影响是这些新的挑战之一。传统上，开关式或固定式电容器和有载分接开关变压器常被用于配电网的电压无功优化(Volt/VAR optimization，VVO)，以保持网络中适当的电压水平。尽管这些传统设备对电压调节很有效，但它们的行动可能需要与快速反应的资源相协调，如PV或电池逆变器，特别是在光伏发电的高渗透率水平下。
[0003]VVO框架大致分为以下两种不同的方法：1)基于模型的优化方法，包括经典和启发式方法；2)基于学习的方法，如强化学习。混合整数线性规划和混合整数非线性规划是经典的优化方法之一，被广泛用于配电网的VVO。随机规划方法是对混合整数线性规划和混合整数非线性规划方法的补充，通过从一组可能的结果中纳入可能的情况来处理分布式能源资源和负荷需求的不确定性。在现实世界的应用中，这些方法可能面临着准确覆盖大范围不确定性的挑战。鲁邦优化方法最近得到了更多的关注，因为它们提高了优化解决方案对不同不确定性或不确定性集合的鲁邦性。然而，在所有这些方法中，由于存在与电压有关的负载模型和网络三相模型中各相之间的相互阻抗，计算上的挑战可能是巨大的。不同的启发式优化方法，如粒子群优化、蚁群优化、遗传算法已经被提出用于配电网的VVO，特别是用于具有完整非线性网络模型的非凸优化问题。尽管这些方法对复杂的场景和大数据集很有用，但它们对极度变化的条件并不稳健。这些方法的一个共同假设是认为网络拓扑结构和参数是高度精确的，这有时很难保证。此外，如果PV的输出功率在短时间内有较大的波动(超出预定的解决方案)，这些方法也不能提供准确的结果。
[0004]上述基于物理模型的方法高度依赖分析性优化算法，每当遇到新情况就必须解决，而且它们也无法迅速适应配电网中与时间有关的负荷和PV的变化。基于机器学习的模型已经被用来解决基于模型的方法的局限性，因为学习方法可以通过从历史数据中提取知识来处理不确定性。此外，基于机器学习的模型在遇到任何新情况时都不需要解决，因为它们可以使用从历史数据中获得的知识来解决这些问题。其中，基于深度强化学习(deep reinforcementlearning,DRL)的方法被认为是基于模型的方法的有价值的替代方法，因为它们在神经网络中对非线性高维搜索空间具有强大的探索能力。基于DRL的方法在本质上是无模型的，也就是说，它可以在不明确了解基础模型的情况下做出适当的决定。它减少了复杂问题的计算量，并能捕捉系统的硬模型动态。此外，DRL方法在负荷或光伏曲线急剧变化的不确定环境中表现得比经典方法更好。

技术实现思路

[0005]本部分的目的在于概述本专利技术的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和专利技术名称中可能会做些简化或省略以避免使本部分、说明书摘要和专利技术名称的目的模糊，而这种简化或省略不能用于限制本专利技术的范围。
[0006]鉴于上述和/或现有的一种基于深度确定性策略梯度算法的配电网无功优化方法中存在的问题，提出了本专利技术。
[0007]因此，本专利技术所要解决的问题在于如何提供一种基于深度确定性策略梯度算法的配电网无功优化方法，可以协调多个PV和电池储能系统的连续无功功率输出，并根据负载需求对BESs进行充电和放电，以此来优化配电网的电压和降低有功损耗。
[0008]为解决上述技术问题，本专利技术提供如下技术方案：一种基于深度确定性策略梯度算法的配电网无功优化方法，其包括，
[0009]构建配电网的无功优化模型，包括潮流计算约束模型，PV逆变器和BESs的出力模型；
[0010]将无功优化模型描述成一个马尔科夫决策过程，并定义MDP的状态空间、动作空间和奖励函数；
[0011]使用基于人工神经网络和决策者－评价者架构的DDPG算法来求解的MDP；
[0012]使用某地区配电网的真实历史运行数据，对DDPG智能体进行训练，然后将训练好的智能体在线部署，并设置不同的PV渗透率对其效果进行验证。
[0013]作为本专利技术所述一种基于深度确定性策略梯度算法的配电网无功优化方法的一种优选方案，其中：所述无功优化模型建立是
[0014]构建配电网的无功优化模型，包括潮流计算约束模型，PV逆变器和BESs的出力模型，在无功优化模型中，目标函数是最小化配电网的有功损耗和电压偏差，约束条件是潮流计算过程中的功率平衡约束和节点电压约束，决策变量是PV逆变器和BESs的出力，下式展示了配电网无功优化的数学模型：
[0015]min∑(P
loss
+|V
‑
V
e
|)
[0016]此公式为无功优化的目标函数，P
loss
为配电系统的有功损耗，V表示节点电压，V
e
表示节点的额定电压；
[0017][0018]此公式为功率平衡约束，式中，N为配电网的节点总数，G
ij
和B
ij
分别表示节点导纳的实部和虚部，V
i
和V
j
为节点电压幅值，δ
i
和δ
j
表示节点电压的相角差；
[0019]V
min
≤V
i
≤V
max
[0020]此公式为节点电压约束，式中，V
min
和V
max
分别为节点电压的上下限，该限制也被用于后面辅助奖励函数的惩罚项；
[0021]Q
PV.min
≤Q
PV,i
≤Q
PV.max
[0022](P
PV,i
)2+(Q
PV,i
)2≤(S
PV,i
)2[0023]上述公式分别为PV的有功无功出力约束，Q为PV的有功无功出力约束，Q
PV,i
表示i
节点PV的无功输出量；表示i节点PV的无功输出量；
[0024]|Q
BES,i
|≤Q
BES,max
[0025]上述公式为电池储能系统的无功出力约束，Q
BES,i
表示i节点BES的无功输出量。
[0026]作为本专利技术所述一种基于深度确定性策略梯度算法的配电网无功优化方法的一种优选方案，其中：所述将无功优化模型描述成一个马尔科夫决策过程中定义MDP的状态空间、动作空间和奖励函数，DDPG智能体的目的是在分布式资源之间进行协调以提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度确定性策略梯度算法的配电网无功优化方法，其特征在于：包括构建配电网的无功优化模型，包括潮流计算约束模型，PV逆变器和BESs的出力模型；将无功优化模型描述成一个马尔科夫决策过程，并定义MDP的状态空间、动作空间和奖励函数；使用基于人工神经网络和决策者－评价者架构的DDPG算法来求解的MDP；使用某地区配电网的真实历史运行数据，对DDPG智能体进行训练，然后将训练好的智能体在线部署，并设置不同的PV渗透率对其效果进行验证。2.如权利要求1所述的一种基于深度确定性策略梯度算法的配电网无功优化方法，其特征在于：所述无功优化模型建立方式是构建配电网的无功优化模型，包括潮流计算约束模型，PV逆变器和BESs的出力模型，在无功优化模型中，目标函数是最小化配电网的有功损耗和电压偏差，约束条件是潮流计算过程中的功率平衡约束和节点电压约束，决策变量是PV逆变器和BESs的出力，下式展示了配电网无功优化的数学模型：min∑(P
loss
+|V
‑
V
e
|)此公式为无功优化的目标函数，P
loss
为配电系统的有功损耗，V表示节点电压，V
e
表示节点的额定电压；此公式为功率平衡约束，式中，N为配电网的节点总数，G
ij
和B
ij
分别表示节点导纳的实部和虚部，V
i
和V
j
为节点电压幅值，δ
i
和δ
j
表示节点电压的相角差；V
min
≤V
i
≤V
max
此公式为节点电压约束，式中，V
min
和V
max
分别为节点电压的上下限，该限制也被用于后面辅助奖励函数的惩罚项；Q
PV.min
≤Q
PV,i
≤Q
PV.max
(P
PV,i
)2+(Q
PV,i
)2≤(S
PV,i
)2上述公式分别为PV的有功无功出力约束，Q为PV的有功无功出力约束，Q
PV,i
表示i节点PV的无功输出量；表示i节点PV的无功输出量；|Q
BES,i
|≤Q
BES,max
上述公式为电池储能系统的无功出力约束，Q
BES,i
表示i节点BES的无功输出量。3.如权利要求1或2所述的一种基于深度确定性策略梯度算法的配电网无功优化方法，其特征在于：所述将无功优化模型描述成一个马尔科夫决策过程中定义MDP的状态空间、动作空间和奖励函数，DDPG智能体的目的是在分布式资源之间进行协调以提供快速有效的行动，同时根据观测的状态信息对分布式资源的动作进行管理，以调节配电网的电压和电力损耗，智能体的奖励函数的定义如下：奖励函数：为了让智能体学习到最佳的策略，本发明根据最小化电压偏差和有功功率损耗两个目的，在奖励函数中考虑了两个约束，奖励函数定义如下：r
t
＝
‑
M
p
×
(P
loss
(t)
‑
P0)+M
v
上式中r代表t时刻的奖励值，P
loss
(t)表示t时刻的配电网采取当前动作的有功损耗，P0表示在时刻t采取默认动作带来的有功损耗，M
P
和M
v
分别是有功损耗最小化和减小电压偏差的奖励，M
P
取值为7，如果没有电压违规，即系统节点的最低电压和最高电压处于正常区域(0.95
‑
1.05)之间，M
v
为30，如果系统节点电压V
max
＞1.05或者V
min
＜0.95，M
v
为
‑
10；所述MDP就是马尔科夫决策过程。4.如权利要求3所述的一种基于深度确定性策略梯度算法的配电网无功优化方法，其特征在于：所述利用算法求解MDP流程是使用基于人工神经网络和决策者
‑
评价者架构的DDPG算法来求解MDP，基于确定性策略的动作价值函...

【专利技术属性】
技术研发人员：朱涛，李文云，黄伟，周胜超，海迪，朱元富，周艳平，叶志明，
申请(专利权)人：云南电网有限责任公司昆明供电局，
类型：发明
国别省市：