基于多智能体深度确定策略梯度算法的配电网优化方法技术

本发明专利技术公开了一种基于多智能体深度确定策略梯度算法的配电网优化方法，其特征在于：包括：综合考虑售电收益、出力偏差惩罚以及储能越限惩罚因素构建确定风储联合系统的收益最大化调度模型；采用Ward系统聚类法和改进FCM法构成的二次聚类法进行二次聚类，实现风储联合系统的储能电池根据荷电状态和充放电切换次数进行分组；基于多智能体深度强化学习算法将风电储能建模为多智能体系统并且基于风储联合系统的收益最大化调度模型训练并执行多智能体以实现对风储联合系统的配置。行多智能体以实现对风储联合系统的配置。行多智能体以实现对风储联合系统的配置。

【技术实现步骤摘要】
基于多智能体深度确定策略梯度算法的配电网优化方法


[0001]本专利技术涉及新能源
，具体涉及一种基于多智能体深度确定策略梯度算法的配电网优化方法。

技术介绍

[0002]风电作为新能源的代表，一方面因其清洁性等优点得到了广泛关注，但另一方面风电出力固有的间断和波动特征，也给电力系统运行和发电计划安排造成了很大困难。储能设备运行具有很大的灵活性，可实现在长时间尺度上的出力平移，因此，目前有很多研究将储能与风电组合成联合系统，以实现对风电出力波动的平抑，大大提高了风电的利用率。
[0003]目前，有利用抽水蓄能电站建立优化模型，缓解风电场功率的波动；有采用风电功率分解的思想，将功率分解为2个不同频率成分并使用混合储能进行出力补偿；有在考虑风电不确定性引起失负荷概率的基础上，以风储联合系统收益最大化建立调度模型，有效地降低失负荷风险；有以储能收益最大化为目标建立优化模型，采用混合整数规划进行求解，但没有考虑风电的不确定性。但传统的优化模型都属于数学优化方法。除此之外，通过引入强化学习理论的调度决策方法也已经取得了初步进展。强化学习具有强大的自我学习能力，能在与环境的不断反馈中优化动作策略，使得智能体选择的策略能够获得环境的奖励最大，进而使得外部环境对学习系统在某方面的评价为最优。将深度强化学习理论应用于综合能源的调度，可对环境中的不确定性因素做出动态响应，提高了系统运行的经济性。已有方法利用Rainbow算法建立控制器对储能系统的充放电进行优化控制，有效地减轻了风电场出力的间歇性、不稳定性等问题，并实现风电场收益的最大化。
[0004]另外，目前多数方法缺乏对储能充放电调度策略的合理性和有序性安排，且没有考虑由于储能状态越限而带来的惩罚，故在实现风储联合系统的长期收益最大化上稍显不足。储能电池的寿命受循环次数、充放电深度等因素的影响，无序运行会降低储能电池寿命，引起不必要的损耗，并且无序运行还会降低储能电池的可调控容量，若独立调节每一个储能电池组又过于复杂。

技术实现思路

[0005]1.所要解决的技术问题：
[0006]针对上述技术问题，本专利技术提供一种基于多智能体深度确定策略梯度算法的配电网优化配置，实现实现风储联合系统的收益的最大化，降低损耗以及调控的简单化。
[0007]2.技术方案：
[0008]一种基于多智能体深度确定策略梯度算法的配电网优化方法，其特征在于：包括：
[0009]综合考虑售电收益、出力偏差惩罚以及储能越限惩罚因素构建确定风储联合系统的收益最大化调度模型；采用Ward系统聚类法和改进FCM法构成的二次聚类法进行二次聚类，实现风储联合系统的储能电池根据荷电状态和充放电切换次数进行分组；基于多智能体深度强化学习算法将风电储能建模为多智能体系统并且基于风储联合系统的收益最大
化调度模型训练并执行多智能体以实现对风储联合系统的配置。
[0010]进一步地，确定风储联合系统的收益最大化调度模型具体包括以下步骤：
[0011]S11：建立目标函数；以收益最大化为目标建立日前调度目标函数，综合考虑售电收益、出力偏差惩罚以及储能越限惩罚因素的使风储联合系统收益最大化，则目标函数表示为：
[0012][0013](1)式中：T为调度周期内时段个数，取24小时；λ
t
为t时段的电价；P
sys，t
为联合系统t时段出力；C
1，t
为t时段出力偏差惩罚；C
2，t
为t时段储能越限惩罚；
[0014]其中：
[0015](2)式中：为风电实际出力；为储能实际放电功率；为储能实际充电功率；
[0016][0017][0018](3)式中：为储能为风电提供的下调备用容量；为储能为风电提供的上调备用容量；P
ch，t
为t时段储能计划充电功率；P
dis，t
为t时段储能计划放电功率；
[0019]S12：确定约束；其中风电出力约束为：
[0020][0021](5)式中：P
w，max
为风电场最大发电功率；
[0022]上报容量约束为：
[0023]0≤P
sys，t
≤P
w，max
+P
dis，max
ꢀꢀ
(6)
[0024](6)式中：P
dis，max
为储能最大放电功率。
[0025]储能荷电状态约束为：
[0026]SOC
min
≤SOC
t
≤SOC
max
ꢀꢀ
(7)
[0027](7)式中：SOC
min
、SOC
max
为储能荷电状态最小值、最大值；
[0028]储能充放电约束：
[0029][0030][0031][0032][0033]I
dis，t
+I
ch，t
≤1
ꢀꢀ
(12)
[0034](8)至(12)式中：I
ch，t
、I
dis，t
分别为储能处于充放电状态的电流变量；P
ch，max
为储能
最大充电功率；
[0035]S13：为了考虑了惩罚费用，能够提高风电场风电功率预测结果的准确性和备用容量的充裕性，当上调备用不足，出力偏差的惩罚费用为：
[0036][0037](13)式中，分别表示储能在t时刻需要提供的上调、下调备用容量；ρ
dev，t
为联合系统出力偏差惩罚价格；
[0038]当下调备用不足，出力偏差的惩罚费用为：
[0039][0040]若t
‑
1时段结束时储能荷电状态为SOC
t
‑1，假设t时段需要储能下调功率，为满足t时段结束时荷电状态不越上限，则储能充电功率最大值为：
[0041][0042](15)式中，E
B
为储能电池额定容量；η
ch
为储能电池充电效率。
[0043]此时储能状态越限的惩罚费用为：
[0044][0045](16)式中，ρ
lim
为储能状态越限的惩罚价格；
[0046]若t时段需要储能上调功率，为满足储能调节完成后其荷电状态高于下限值，则放电功率最大值为：
[0047][0048](17)式中，η
dis
为储能电池放电效率；
[0049]此时储能状态越限的惩罚费用为：
[0050][0051]进一步地，所述采用Ward系统聚类法和改进FCM法构成的二次聚类法进行二次聚类，实现风储联合系统的储能电池根据荷电状态和充放电切换次数进行分组，具体包括以下步骤：
[0052]S21：收集储能SOC数据，选定表示储能的荷电状态、充放电次数作为聚类特征向量，基于原始数据构造样本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多智能体深度确定策略梯度算法的配电网优化方法，其特征在于：综合考虑售电收益、出力偏差惩罚以及储能越限惩罚因素构建确定风储联合系统的收益最大化调度模型；采用Ward系统聚类法和改进FCM法构成的二次聚类法进行二次聚类，实现风储联合系统的储能电池根据荷电状态和充放电切换次数进行分组；基于多智能体深度强化学习算法将风电储能建模为多智能体系统并且基于风储联合系统的收益最大化调度模型训练并执行多智能体以实现对风储联合系统的配置。2.根据权利要求1所述的基于多智能体深度确定策略梯度算法的配电网优化方法，其特征在于：确定风储联合系统的收益最大化调度模型具体包括以下步骤：S11：建立目标函数；以收益最大化为目标建立日前调度目标函数，综合考虑售电收益、出力偏差惩罚以及储能越限惩罚因素的使风储联合系统收益最大化，则目标函数表示为：(1)式中：T为调度周期内时段个数，取24小时；λ
t
为t时段的电价；P
sys，t
为联合系统t时段出力；c
1，t
为t时段出力偏差惩罚；c
2，t
为t时段储能越限惩罚；其中：(2)式中：为风电实际出力；为储能实际放电功率；为储能实际充电功率；为储能实际充电功率；(3)式中：为储能为风电提供的下调备用容量；为储能为风电提供的上调备用容量；P
ch，t
为t时段储能计划充电功率；P
dis，t
为t时段储能计划放电功率；S12：确定约束；其中风电出力约束为：(5)式中：P
w，max
为风电场最大发电功率；上报容量约束为：0≤P
sys，t
≤P
w，max
+P
dis，max (6)(6)式中：P
dis，max
为储能最大放电功率；储能荷电状态约束为：SOC
min
≤SOC
t
≤SOC
max
ꢀꢀ
(7)(7)式中：SOC
min
、SOC
max
为储能荷电状态最小值、最大值；储能充放电约束：储能充放电约束：储能充放电约束：储能充放电约束：I
dis，t
+I
ch，t
≤1
ꢀꢀꢀ
(12)
(8)至(12)式中：I
ch，t
、I
dis，t
分别为储能处于充放电状态的电流变量；P
ch，max
为储能最大充电功率；S13：为了考虑了惩罚费用，能够提高风电场风电功率预测结果的准确性和备用容量的充裕性，当上调备用不足，出力偏差的惩罚费用为：(13)式中，分别表示储能在t时刻需要提供的上调、下调备用容量；ρ
dev，t
为联合系统出力偏差惩罚价格；当下调备用不足，出力偏差的惩罚费用为：若t
‑
1时段结束时储能荷电状态为SOC
t
‑1，假设t时段需要储能下调功率，为满足t时段结束时荷电状态不越上限，则储能充电功率最大值为：(15)式中，E
B
为储能电池额定容量；η
ch
为储能电池充电效率；此时储能状态越限的惩罚费用为：(16)式中，ρ
lim
为储能状态越限的惩罚价格；若t时段需要储能上调功率，为满足储能调节完成后其荷电状态高于下限值，则放电功率最大值为：(17)式中，η
dis
为储能电池放电效率；此时储能状态越限的惩罚费用为：3.根据权利要求1所述的基于多智能体深度确定策略梯度算法的配电网优化方法，其特征在于：所述采用Ward系统聚类法和改进FCM法构成的二次聚类法进行二次聚类，实现风储联合系统的储能电池根据荷电状态和充放电切换次数进行分组，具体包括以下步骤：S21：收集储能SOC数据，选定表示储能的荷电状态、充放电次数作为聚类特征向量，基于原始数据构造样本特征向量集X；S22：计算各样本的邻近相关度f(x
i
)及权重W
i
，并将权重赋予各样本；S23：算法初始化，给变量赋值；变量包括模糊聚类的模糊指数m、截止误差ε、最大迭代次数T
max
、聚类数上限c
′
(2≤c
′
≤n)，聚类有效性F
c
；给定初始聚类有效性F
c0
＝0，初始聚类数c＝2；S24：选取聚类数为c，进行Ward系统聚类；S25：将Ward系统聚类结果作为FCM聚类初始状态，进行FCM聚类分析；S26：计算聚类有效性F
c
值，比较F
c
与F
c0
，若F
c0
≤F
c
，则F
c0
＝F
c
，反之F
c0
不变；S27：当c
′
≤c时结束，否则令c＝c+1，返回第四步，最终对应的聚类结果为最优结果。

【专利技术属性】
技术研发人员：卞海红，赵岫，王新迪，符云，彭闪，
申请(专利权)人：南京工程学院，
类型：发明
国别省市：