基于自动强化学习多时段预测的孤立微电网优化调度方法技术

一种基于自动强化学习多时段可再生能源出力及负荷预测的孤立微电网优化调度方法，其特点是，包括:输入并更新风、光出力及负荷的历史数据并将其按时段重构为24组新的时间序列；生成基于优先经验回放自动强化学习预测的调度模型；根据输入数据自动确定优先经验回放自动强化学习预测模型的架构与超参数；获得预测值及预测误差分布并生成预测误差的概率性序列；修正预测值；确定旋转备用机会约束；将机会约束转化为确定性约束；获得符合混合整数线性规划形式的调度模型；输入微电网参数；求解微电网日前调度模型；检查解决方案是否存在，若存在，则终止流程；否则更新置信水平；输出微电网优化调度方案。具有系统的运行成本低，求解速度快等优点。速度快等优点。速度快等优点。

【技术实现步骤摘要】
基于自动强化学习多时段预测的孤立微电网优化调度方法


[0001]本专利技术涉及一种基于自动强化学习多时段预测的孤立微电网优化调度方法，属于微电网经济运行的


技术介绍

[0002]由于化石能源逐渐枯竭，生态环境日益恶化，加之传统的集中供电方式暴露出诸多弊端，可再生能源发电因其具备良好的经济性与环保性在电力系统中所占比例正在日益增加。微电网作为分布式电源的有效载体，近年来大量投入电力系统之中。对微电网进行深入研究以及加速建设能够推进分布式电源与可再生能源的大规模接入，形成多种类型能源的联合供电，这不仅能够促进电网的经济运行，同时也可以减少环境污染，达到环保作用。但在带来多种优势的同时，由于可再生能源出力与负荷具有不确定性，这对微电网的日前调度计划造成了强烈的阻碍。精准的预测可以为调度计划提供可靠的依据，结合先进预测方法的调度模型无疑可以减小可再生能源出力与负荷的不确定性对微电网经济运行所产生的影响，提高运行的经济性。
[0003]与传统电力系统相比，微电网中所含新能源发电所占比例较大，如何处理新能源出力及负荷的不确定性对微电网经济运行产生的影响成为了微电网调度计划中不得不面对的难题。
[0004]目前针对微电网的日前优化调度问题，国内外学者已进行了一些有益的探索。但现有方法中鲜有考虑将调度模型与先进的预测模型进行结合形成统一的整体；对于目前基于强化学习的预测模型，其架构与参数都需要手动确定，迄今未见有关将自动机器学习与强化学习相结合的文献报道；目前预测方法多为多步预测，会造成误差累积现象，且多数方法并未考虑预测误差对于预测精度的影响。

技术实现思路

[0005]本专利技术的目的是克服现有技术的不足，为更好的有效解决新能源出力及负荷的不确定性对微电网经济运行产生的影响提供一种科学合理，能够降低系统的发电成本，将调度模型与先进的预测模型相结合，同时能够简化预测模型的建模难度，提高预测精度以进一步促进微电网经济运行的微电网日前优化调度方法。
[0006]本专利技术的目的是由以下技术方案来实现的：提出了一种基于自动强化学习多时段可再生能源出力及负荷预测的孤立微电网优化调度方法。首先提出了能够以定制化的方法简化深度强化学习预测模型部署的结合优先经验回放的自动强化学习(prioritized experience replay automated reinforcement learning，PER
‑
AutoRL)；然后设计一种基于PER
‑
AutoRL的多时段单步预测方法进行新能源出力及负荷预测；再通过预测误差分布修正预测值并确定旋转备用容量作为调度模型输入；其次，构建以最小化微电网总运行成本为目标，考虑需求响应的调度模型；最后通过序列运算理论(sequence operation theory，SOT)将原始调度模型转换为易于求解的混合整数线性规划形式，并使用CPLEX求解器对转
换后的模型进行求解，得到全局最优解，其具体步骤包括：
[0007]1)输入并更新风、光出力及负荷的历史数据；
[0008]2)将历史数据根据时段分割重建为24组新的时间序列；
[0009]3)生成基于PER
‑
AutoRL预测的调度模型；
[0010]4)根据输入的历史数据，自动确定PER
‑
AutoRL预测模型的架构与超参数；
[0011]5)获得预测值以及预测误差分布；
[0012]6)根据预测误差分布生成风、光出力以及负荷的预测误差概率性序列；
[0013]7)修正预测值；
[0014]8)确定旋转备用机会约束；
[0015]9)根据SOT将调度模型中的机会约束转化为确定性约束；
[0016]10)获得符合混合整数线性规划形式的调度模型；
[0017]11)输入微电网参数；
[0018]12)采用CPLEX求解器对基于PER
‑
AutoRL预测的微电网日前调度模型进行求解；
[0019]13)检查解决方案是否存在，若存在，则终止流程；否则更新置信水平，转到步骤11)再次进行求解；
[0020]14)最终输出包括待优化变量对应的数值以及优化目标函数值的微电网日前优化调度方案。
[0021]所述步骤1)中需将风、光出力及负荷的历史数据更新至最新的当前日数据。
[0022]所述步骤2)中，以一小时为时间采样点，将输入的历史数据中每天同一时段的数据抽取出来并重新构建为24组新的时间序列作为原始数据集。
[0023]所述步骤3)中，PER
‑
AutoRL的整体框架为深度强化学习中的深度确定策略梯度(deep deterministic policy gradient，DDPG)算法，主要包括Actor部分以及Critic部分共四个神经网络，将连续7天同一时段的数据构建为一个矩阵作为state s，然后agent输出一个预测值作为action a，并返回一个reward r；以最小化预测误差为目的构建main actor网络的损失函数，以最小化reward r的真实值和预测值之间的差值为目标构建main critic网络的损失函数。调度部分的模型构建过程为：
[0024](a)选取优化目标，以微电网总的运行费用最小为优化目标，由于系统中的风机和光伏发电出力不可控，因此在成本中加入了旋转备用成本，因此优化目标函数的表达式为：
[0025][0026]式(1)中：T是一个调度周期包含的时段数(本文T取24)，t是调度周期中时段的标号，n是微燃机序号，M
G
是微燃机机组总数；ψ
n
和ξ
n
是微燃机的耗量系数，U
n，t
和S
n，t
为0
‑
1变量，分别表示微燃机的状态变量和启动变量；P
tIE
是可中断负荷，κ为补贴费用。和τ
n
分别是微燃机的旋转备用成本和启动成本。和分别代表t时段的微燃机输出功率和旋转备用；
[0027](b)确定约束条件，调度模型的约束包括功率平衡约束，微燃机出力约束，储能约束，旋转备用约束，具体如下：
[0028]功率平衡约束：包括功率平衡约束及可中断负荷约束
[0029][0030]式(2)中：P
tCH
和P
tDC
是储能在t时段内的充放电功率，P
tCNLOAD
是卸荷负荷，定义负荷和风机、光伏联合输出功率的差值为等效负荷，是等效负荷的预测值，是的修正值；
[0031][0032]式(3)中：ρ是P
tIE
所占的比率；
[0033]微燃机出力约束：
[0034][0035]式(4)中：和分别为机组n输出功率的上下限；
[0036]储能约束：包括充放电方程，铅酸蓄电池出力限制，储能起始和结束约束。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自动强化学习多时段可再生能源出力及负荷预测的孤立微电网优化调度方法，其特征是，它包括以下步骤：1)输入并更新风、光出力及负荷的历史数据；2)将历史数据根据时段分割重建为24组新的时间序列；3)生成基于PER
‑
AutoRL预测的调度模型；4)根据输入的历史数据，自动确定PER
‑
AutoRL预测模型的架构与超参数；5)获得预测值以及预测误差分布；6)根据预测误差分布生成风、光出力以及负荷的预测误差概率性序列；7)修正预测值；8)确定旋转备用机会约束；9)根据SOT将调度模型中的机会约束转化为确定性约束；10)获得符合混合整数线性规划形式的调度模型；11)输入微电网参数；12)采用CPLEX求解器对基于PER
‑
AutoRL预测的微电网日前调度模型进行求解；13)检查解决方案是否存在，若存在，则终止流程；否则更新置信水平，转到步骤11)再次进行求解；14)最终输出包括待优化变量对应的数值以及优化目标函数值的微电网日前优化调度方案。2.根据权利要求1所述的一种基于自动强化学习多时段可再生能源出力及负荷预测的孤立微电网优化调度方法，其特征在于：所述步骤1)中需将风、光出力及负荷的历史数据更新至最新的当前日数据。3.根据权利要求1所述的一种基于自动强化学习多时段可再生能源出力及负荷预测的孤立微电网优化调度方法，其特征在于：所述步骤2)中，以一小时为时间采样点，将输入的历史数据中每天同一时段的数据抽取出来并重新构建为24组新的时间序列作为原始数据集。4.根据权利要求1所述的一种基于自动强化学习多时段可再生能源出力及负荷预测的孤立微电网优化调度方法，其特征在于：所述步骤3)中，PER
‑
AutoRL的整体框架为深度强化学习中的深度确定策略梯度(deep deterministic policy gradient，DDPG)算法，主要包括Actor部分以及Critic部分共四个神经网络，将连续7天同一时段的数据构建为一个矩阵作为state s，然后agent输出一个预测值作为action a，并返回一个reward r；以最小化预测误差为目的构建main actor网络的损失函数，以最小化reward r的真实值和预测值之间的差值为目标构建main critic网络的损失函数。调度部分的模型构建过程为：(a)选取优化目标，以微电网总的运行费用最小为优化目标，由于系统中的风机和光伏发电出力不可控，因此在成本中加入了旋转备用成本，因此优化目标函数的表达式为：式(1)中：T是一个调度周期包含的时段数(本文T取24)，t是调度周期中时段的标号，n是微燃机序号，M
G
是微燃机机组总数；ψ
n
和ξ
n
是微燃机的耗量系数，U
n，t
和S
n，t
为0
‑
1变量，分别表示微燃机的状态变量和启动变量；P
tIE
是可中断负荷，κ为补贴费用。和τ
n
分别是微燃
机的旋转备用成本和启动成本。和分别代表t时段的微燃机输出功率和旋转备用；(b)确定约束条件，调度模型的约束包括功率平衡约束，微燃机出力约束，储能约束，旋转备用约束，具体如下：功率平衡约束：包括功率平衡约束及可中断负荷约束式(2)中：P
tCH
和P
tDC
是储能在t时段内的充放电功率，P
tCNLOAD
是卸荷负荷，定义负荷和风机、光伏联合输出功率的差值为等效负荷，是等效负荷的预测值，是的修正值；式(3)中：ρ是P
tIE
所占的比率；微燃机出力约束：式(4)中：和分别为机组n输出功率的上下限；储能约束：包括充放电方程，铅酸蓄电池出力限制，储能起始和结束约束。充放电方程：式(5)中：S
t+1
和S
t
分别是t+1时段和t时段里储能装置中的储存能量，η
ch
和η
dc
分别为充放电效率，Δt是每个单独时段的时间，本文取1h；铅酸蓄电池出力限制：式(6)中：和分别是时段t内铅酸蓄电池充放电的最大值；铅酸蓄电池的容量限制：式(7)中：S
max
和S<...

【专利技术属性】
技术研发人员：李扬，王瑞浓，杨震，李嘉政，
申请(专利权)人：东北电力大学，
类型：发明
国别省市：