一种基于A3C算法的江水源热泵供能系统优化调度方法技术方案

本发明专利技术提供了一种基于A3C算法的江水源热泵供能系统优化调度方法，通过获取江水源热泵供能系统中各个时间段的可再生能源出力、二氧化碳排放量、水泵效率、电负荷和冷热负荷等指标，并为各类型指标进行动态赋权，利用强化学习A3C算法求解供能系统优化调度模型，得到各个时间段供能系统优化调度方法策略，即可实现对江水源热泵供能系统的优化调度。本发明专利技术融合用户用电行为等社会综合信息，基于强化学习A3C算法收敛快、调参易的特点，提出了江水源热泵供能系统新型优化调度方法，可有效解决负荷密集区电网峰谷差大的问题，实现高能效、高可靠、低排放的综合能源供应。低排放的综合能源供应。低排放的综合能源供应。

【技术实现步骤摘要】
一种基于A3C算法的江水源热泵供能系统优化调度方法


[0001]本专利技术涉及的是综合能源背景下的能源供需互动的优化与调度
，具体是一种基于A3C算法的江水源热泵供能系统优化调度方法。

技术介绍

[0002]随着能源消耗的日益加剧，发展可再生能源已经成为促进“碳达峰，碳中和”发展理念的重要趋势。目前，用户侧电气化水平急速上升，大城市的负荷集聚效应不断增强，居民居住区等城市密集负荷区域的用电量持续攀升，导致峰谷差不断扩大。峰谷差异常变大对电能的产量、质量、安全以及经济运行，对电力企业及用户都有重大影响。高峰或低谷时，若电网调峰乏力，造成高峰时低频率，使电能质量下降，影响用电可靠性；负荷峰谷差大使远距离输电电网的潮流日峰谷变大，造成武功电压状况恶化。
[0003]在电力负荷高峰时段，由于运行方式调整裕度小，电网运行压力大，输变电设备重载和过载问题严重。而负荷密集区供电可靠性要求高，线路走廊紧张，电网建设及改造难度逐年增大，因此需要寻求新的解决方案，破解城市负荷密集区电力供需矛盾的难题。
[0004]江水源作为一种可再生热源，其供能系统具有高效节能、绿色环保、运维可靠等优点。相较于风能、太阳能等清洁能源，江水源受季节、日照等影响较小，在区域供能系统中有着广阔的应用前景。江水源热泵技术利用江水水温冬季比室温高，夏季比室温低的特性，把江水面以下13
‑
16米的江水作为空调系统的冷热源。江水源热泵能量系数高、稳定性强、占地面积小，特别适合临江河资源且制冷供热负荷大，空间紧张的居民聚集区等负荷密集区域。然而，江水源热泵系统的输出功率依然会受自然条件如水质、水温及气象条件的影响，具有一定的波动性与随机性，因此需要形成正确而完整的优化调度策略。目前关于江水源热泵供能系统的研究主要集中在如何提高系统各个设备的效率，构建江水源热泵评价指标体系以及以系统运行成本最低为目标优化动态经济调度。
[0005]经过对现有
的检索发现，中国专利申请号为202111218782.2，申请公布号为CN114091728A，专利名称为：一种基于江水源热泵的供能系统优化调度方法和系统，该专利通过获取包含江水源热泵的微网中系统分时电价、新能源出力、电负荷和热负荷，并将其带入预先建立的模型中，利用改进的狼群算法求解供能系统的协调优化调度模型，得到各个时间段内微网供能系统的调度策略，但该专利未考虑用户行为等社会综合信息对调度方法策略的影响，忽略了供需双方之间的互动。

技术实现思路

[0006]本专利技术所要解决的问题是提供一种江水源热泵供能系统优化调度方法，该方法要能够针对负荷密集区冷热电负荷需求，融合用户用电行为，形成一套完整的供能系统优化调度方法。
[0007]为了解决上述技术问题，本专利技术采用以下技术方案：
[0008]一种基于A3C算法的江水源热泵供能系统优化调度方法，包括以下步骤：
[0009]步骤1，获取江水源热泵供能系统中各个时间段的环保指标、技术指标、经济指标和用户用电行为指标；
[0010]步骤2：为环保指标、技术指标、经济指标和用户用电行为指标进行动态赋权；
[0011]步骤3：依赖马尔科夫决策过程对江水源热泵供能系统优化调度方法建模；
[0012]步骤4：基于强化学习A3C算法多线程异步训练，引入贝叶斯优化算法对超参数进行学习，并结合时序差分算法加速算法收敛，获得各个时间段的供能系统优化调度方法。
[0013]对本专利技术技术方案的进一步改进，步骤1中，环保指标包括供能系统可再生能源出力和可再生能源装机总量，技术指标包括能源负荷和能源最大负荷，经济指标包括系统符合总量和系统总负荷最大值。
[0014]对本专利技术技术方案的进一步改进，步骤2中，环保指标的动态赋权函数β1为：
[0015][0016]公式(1)中，P
re
(t)为t时刻江水源热泵供能系统可再生能源出力，P
re_max
为江水源热泵供能系统的可再生能源装机总量；
[0017]技术指标的动态赋权函数β2为：
[0018][0019]公式(2)中，P
L_k
(t)为第k种能源在t时刻的能源负荷；P
L_kmax
代表第k种能源的最大负荷；
[0020]经济指标的动态赋权函数β3为：
[0021][0022]公式(3)中，P
L
(t)为t时刻江水源热泵供能系统的负荷总量；P
L_max
为江水源热泵供能系统总负荷的最大值；
[0023]用户用电行为指标的动态赋权函数β4为：
[0024][0025]公式(4)中，P
max
为各个时间段内负荷功率最大值，P
min
为各个时间段内负荷功率最小值。
[0026]对本专利技术技术方案的进一步改进，步骤3中建模依赖马尔科夫决策过程，对四元组<S,A,R,f>进行定义，S表示状态，A表示动作策略，R表示奖励函数，f表示状态转移函数，f由强化学习中深度神经网络进行表现；状态S为供能系统中设备状态和外部自然环境两者的结合；
[0027]奖励函数R的计算式为：
[0028]R＝β3C
HP
+β2V
EQ
+β1M
CO2
+β4E
pur
ꢀꢀꢀ
(5)
[0029]公式(5)中，C
HP
为供能系统成本，V
EQ
为供能系统水泵的效率，M
CO2
为各个时间段内系统二氧化碳排放总量，E
pur
为各个时间段内用户买电总量；
[0030]建模的热平衡约束计算式为：
[0031][0032]公式(6)中，为第j个江水源热泵在t时刻的加热功率，为系统在t时刻总热负荷，N
HP
为江水源热泵供能系统中热泵机组的数量；
[0033]热泵机组加热功率约束计算式为：
[0034][0035]公式(7)中，Q
min
为单台热泵机加热功率的下限，Q
max
为单台热泵机加热功率的上限，为t时刻第j个热泵机的启停标志，为t时刻第j个热泵机的加热功率。
[0036]对本专利技术技术方案的进一步改进，步骤4中，强化学习A3C算法中优势函数计算式为：
[0037]A(S,t)＝R
t
+γR
t+1
+
…
γ
n
‑1R
t+n
‑1+γ
n
v(S
′
)
‑
v(S)
ꢀꢀꢀ
(8)
[0038]公式(8)中，A(S,t)为优势函数表示当前状态S的价值，γ是衰减因子，n表示状态特征维度；t表示时间序列，v(S)表示输入状态价值函数；
[0039]基于A3C算本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于A3C算法的江水源热泵供能系统优化调度方法，其特征在于，包括以下步骤：步骤1，获取江水源热泵供能系统中各个时间段的环保指标、技术指标、经济指标和用户用电行为指标；步骤2：为环保指标、技术指标、经济指标和用户用电行为指标进行动态赋权；步骤3：依赖马尔科夫决策过程对江水源热泵供能系统优化调度方法建模；步骤4：基于强化学习A3C算法多线程异步训练，引入贝叶斯优化算法对超参数进行学习，并结合时序差分算法加速算法收敛，获得各个时间段的供能系统优化调度方法。2.根据权利要求1所述的一种基于A3C算法的江水源热泵供能系统优化调度方法，其特征在于，步骤1中，环保指标包括供能系统可再生能源出力和可再生能源装机总量，技术指标包括能源负荷和能源最大负荷，经济指标包括系统负荷总量和系统总负荷最大值。3.根据权利要求1所述的一种基于A3C算法的江水源热泵供能系统优化调度方法，其特征在于，步骤2中，环保指标的动态赋权函数β1为：公式(1)中，P
re
(t)为t时刻江水源热泵供能系统可再生能源出力，P
re_max
为江水源热泵供能系统的可再生能源装机总量；技术指标的动态赋权函数β2为：公式(2)中，P
L_k
(t)为第k种能源在t时刻的能源负荷；P
L_kmax
代表第k种能源的最大负荷；经济指标的动态赋权函数β3为：公式(3)中，P
L
(t)为t时刻江水源热泵供能系统的负荷总量；P
L_max
为江水源热泵供能系统总负荷的最大值；用户用电行为指标的动态赋权函数β4为：公式(4)中，P
max
为各个时间段内负荷功率最大值，P
min
为各个时间段内负荷功率最小值。4.根据权利要求3所述的一种基于A3C算法的江水源热泵供能系统优化调度方法，其特征在于，步骤3中建模依赖马尔科夫决策过程，对四元组<S,A,R,f>进行定义，S表示状态，A表示动作策略，R表示奖励函数，f表示状态转移函数，f由强化学习中深度神经网络进行表现；状态S为供能系统中设备状态和外部自然环境两者的结合；奖励函数R的计算式为：R＝β3C
HP
+β2V
EQ
+β1M
CO2
+β4E
pur
ꢀꢀꢀꢀ
(5)公式(...

【专利技术属性】
技术研发人员：徐荆州，许洪华，肖晶，王璞，张玮亚，许自强，钱欣，朱正谊，施萱轩，许若冰，陈驰，
申请(专利权)人：国网江苏省电力有限公司南京供电分公司，
类型：发明
国别省市：