【技术实现步骤摘要】
本专利技术属于能源系统工程领域，尤其涉及一种基于优化后强化学习ddpg的综合能源系统调度方法。
技术介绍
1、能源是人类社会发展的物质基础，随着对可再生能源利用的技术不断成熟，如光能、风能、氢能等多种能源，满足了人们对于能源多样性的需求。综合能源利用可以实现对电、热、冷等多种形式能源的协调调度，进而实现能源在系统级的互补互济，提升能源利用效率。综合能源系统中的电/热/冷/氢综合能源系统的精确预测和精准控制的难度大，这给综合能源系统的运行带来了极大风险。为了解决这一问题，电/热/冷/氢综合能源系统的精准控制成为了当前的热点之一。目前，大多数研究聚焦于利用数学模型相关知识进行建模对系统经济性进行优化，对于响应快速性、稳定性、震荡性等研究不足，很难解决综合能源系统的运行不稳定的问题。另一方面，基于深度学习的算法可以实现综合能源系统高效的能量调度，推动了能源系统的智能化和高效化发展，但在数据的获取、模型的可解释性、训练响应速度方面存在不足。此外，已有研究将强化学习ddpg用于解决简单的电热协同系统能量调度问题，对于更复杂的综合能源系统，传统ddpg算法无法进行能量调度。
技术实现思路
1、专利技术目的：本专利技术的目的在于提供一种基于优化后强化学习ddpg的电/冷/热/氢综合能源系统调度方法，以解决现有技术存在的缺陷。
2、技术方案：本专利技术的一种基于优化后强化学习ddpg的综合能源系统调度方法，包括如下步骤：
3、步骤1、构建电/冷/热/氢综合能源系统数学模型、
4、步骤2、引入适用于惯性系统的奥恩斯坦-乌伦贝克ou噪声和高斯噪声，基于马尔科夫决策过程mdp，利用matlab求解器编写优化后的强化学习ddpg算法并将数学模型输入；
5、步骤3、利用随机生成工况进行ddpg训练；
6、步骤4、分析ddpg训练结果，得到优化后强化学习ddpg，实现综合能源系统中电、热、冷、氢多种能量的协同调度。
7、进一步的，步骤1中，所述电/冷/热/氢综合能源系统包括光伏组件、风力发电机、电网、质子交换膜电解槽、质子交换膜燃料电池、蓄电池、储氢罐、空气源热泵、电加热锅炉、蒸汽蓄热器、冰水机组和冰蓄冷设备。
8、进一步的，光伏组件：光伏组件作为部分电力来源，其输出电功率可简化为：
9、
10、其中，ηpv和ηinv分别为光伏效率和逆变器效率，apv为有效光照面积，i0为太阳辐照度，单位为瓦特每平方米；
11、风力发电机：
12、当风力机运行时，发电功率的方程如下：
13、
14、其中，为风功率，ρ、r分别为空气密度、风力机叶轮半径，cp为风能利用系数，根据贝兹理论得最大风能利用率cpmax≈0.593，λ、β、v分别为叶尖速比、桨距角、风速；
15、风力发电机发电效率如下：
16、
17、其中，vin为启动风速，vout为停机风速；
18、质子交换膜电解槽：
19、质子交换膜电解槽作为制氢设备，其制氢速率如下：
20、
21、其中，het为制氢速率，ηf为法拉第效率，net为电解槽数目，iet为工作电流，f为法拉第常数；
22、质子交换膜燃料电池：
23、质子交换膜燃料电池氢气消耗量通过法拉第定律计算：
24、
25、其中，hfc为耗氢速率，ifc为工作电流，nfc为电池数目；
26、燃料电池反应速率可以由电流密度j表示：
27、
28、其中，acell为电池单元的反应面积；
29、燃料电池的热功率输出表示为：
30、
31、其中，ηt为燃料电池热效率，ηe为燃料电池电效率；
32、蓄电池：
33、蓄电池以电池组的模式运行，其总功率表示为：
34、
35、其中，为电池组总功率输出，为电池单元功率，n1和n2分别为电池行数和列数；
36、电池单元的电流如下：
37、
38、其中，开环电压voc和电池单元内阻rb均可视为定值；
39、电池单元的动态特性soc可表示为：
40、
41、其中，t(0≤k≤t)为调度时刻，t为调度周期，qb为电池单元容量，ib,k为电流，充电为负，放电为正；
42、储氢罐：
43、使用高压储氢罐hydrogen storage tank模型hst，来储存电解槽制取的氢气，并且为燃料电池发电提供氢气来源，储氢罐的罐内压力随着氢气的存入与释放而动态变化，表示为：
44、
45、其中，tpth和分别为储氢罐在t时刻的罐内压力和氢气流速，单位mol/s，vh为储氢罐体积，th为工作温度，r为通用气体常数，zt为氢气的压缩系数，可基于nist数据并根据lemmon方程计算：
46、
47、其中，ai、bi、ci均为常数，t0＝100k，r＝8.3145j/mol·k；
48、空气源热泵
49、空气源热泵hp在高负荷下提供峰值热功率，热泵的热性能系数cop与温差相关，其经验关系拟合为：
50、
51、其中，δthp为制冷/制热目标温度td/th与当前环境温度ta差值，h1,h2和h3为拟合系数；
52、热泵的供热功率由式表示：
53、
54、其中，为热泵热功率，为对应电功率，coph为供热性能系数；
55、热泵的供冷功率表示为：
56、
57、其中，为热泵制冷功率，为对应电功率，copc为供冷性能系数；
58、电加热锅炉：
59、电热锅炉eb作为将电能转换为热能的热力设备，其供热功率可表示为：
60、
61、其中，ηeb为电热锅炉的转换效率；
62、蒸汽蓄热器：
63、蓄热罐tes组件模型将pcm模块嵌入热水箱的顶部，并根据特定工业园区蒸汽供应标准确保tes出口温度恒定，为描述tes的动态特性，引入与电池soc类似的储热状态hsd，定义为：
64、
65、其中，为t时刻蒸汽蓄热器充热或放热功率，hc为蒸汽蓄热器最大储热量；hsd被限制在0～1之间；
66、制冷机组：
67、制冷机组rac将电能转换为制冷量，其制冷功率可表示为：
68、
69、其中，coprac为制冷机组的能效比；
70、冰蓄冷装置：
71、为描述冰蓄冷装置ces的动态特性，引入与蒸汽蓄热器类似的储冷状态csd，定义为：
72、
73、其中，为t时刻冰蓄冷装置充冷或放冷功率，cc为冰蓄冷装置最大蓄冷量，本文档来自技高网...
【技术保护点】
1.一种基于优化后强化学习DDPG的综合能源系统调度方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于优化后强化学习DDPG的综合能源系统调度方法，其特征在于，步骤1中，所述电/冷/热/氢综合能源系统包括光伏组件、风力发电机、电网、质子交换膜电解槽、质子交换膜燃料电池、蓄电池、储氢罐、空气源热泵、电加热锅炉、蒸汽蓄热器、冰水机组和冰蓄冷设备。
3.根据权利要求2所述的一种基于优化后强化学习DDPG的综合能源系统调度方法，其特征在于，光伏组件：光伏组件作为部分电力来源，其输出电功率可简化为：
4.根据权利要求3所述的一种基于优化后强化学习DDPG的综合能源系统调度方法，其特征在于，步骤1中，所述目标函数具体为：目标函数主要包括系统的运行成本从电网购电成本以及储能设备状态
5.根据权利要求3所述的一种基于优化后强化学习DDPG的综合能源系统调度方法，其特征在于，步骤1中，所述运行约束具体为：
6.根据权利要求1所述的一种基于优化后强化学习DDPG的综合能源系统调度方法，其特征在于，步骤2具体包括如下步骤：p>
7.根据权利要求6所述的一种基于优化后强化学习DDPG的综合能源系统调度方法，其特征在于，步骤2.2中，所述状态空间如下：
8.根据权利要求1所述的一种基于优化后强化学习DDPG的综合能源系统调度方法，其特征在于，步骤3具体包括如下步骤：
9.一种计算机装置，包括存储器、处理器及存储在存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1所述方法的步骤。
...【技术特征摘要】
1.一种基于优化后强化学习ddpg的综合能源系统调度方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于优化后强化学习ddpg的综合能源系统调度方法，其特征在于，步骤1中，所述电/冷/热/氢综合能源系统包括光伏组件、风力发电机、电网、质子交换膜电解槽、质子交换膜燃料电池、蓄电池、储氢罐、空气源热泵、电加热锅炉、蒸汽蓄热器、冰水机组和冰蓄冷设备。
3.根据权利要求2所述的一种基于优化后强化学习ddpg的综合能源系统调度方法，其特征在于，光伏组件：光伏组件作为部分电力来源，其输出电功率可简化为：
4.根据权利要求3所述的一种基于优化后强化学习ddpg的综合能源系统调度方法，其特征在于，步骤1中，所述目标函数具体为：目标函数主要包括系统的运行成本从电网购电成本以及储能设备状态
5.根据权利要求3所述的一种基于优化...
【专利技术属性】
技术研发人员：孙立，王臣宇，王志霄，袁树福，
申请(专利权)人：东南大学溧阳研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。