【技术实现步骤摘要】
本专利技术涉及能源，更具体地说是基于深度强化学习的综合能源系统经济调度模型方法。
技术介绍
1、在传统的供能系统中，电力系统、天然气系统、热力系统等各子系统单独运行致使能源利用率低下。区域综合能源系统(integrated energy system，ries)利用先进的通信和控制技术实现产能设备、能源转换设备和储能系统实现电、热、气网互联运行,可以有效提高能源利用率,推动ries发展已成为实现“双碳”目标的重要途径。然而诸如可再生资源的规模化集成增加了能源系统调度问题的复杂性。在区域综合能源系统中，可再生能源的不稳定性和多种能源的耦合使得能源系统的物理模型过于复杂，同时智能化的信息设备接入，使得系统中包含大量的高维数据。目前，针对ries优化调度与运行研究，主要聚焦于模型构建理论与优化求解方法2个方面。在无明确模型和包含庞大数据量的情况下，针对区域综合能源系统的优化调度，求解方法主要包括解析法和启发式算法，目前采用模型预测控制(model predictive control,mpc)来调整系统各单元出力，优化系统设备运行、引入粒子浓度评价算子改进粒子群算法构建ies多目标优化模型等计算成本增大，而且它们多限于固定的调度计划或精确的物理模型，难以动态地对随机变化做出响应，面对日益繁杂的系统将难以适用。
2、近年来，深度强化学习(deep reinforce-ment learning，drl)作为处理序列决策问题的有效手段而被研究者们广泛应用并发展，其结合了dl和rl的优点，对动态和不确定环境具有很强的适应性。dr
技术实现思路
1、为了克服现有技术的上述缺陷，本专利技术提供基于深度强化学习的综合能源系统经济调度模型方法。
2、本专利技术技术方案如下：
3、基于深度强化学习的综合能源系统经济调度模型方法，包括：
4、首先构建园区设备环境模型，将经济性和碳排放作为目标对园区综合能源系统低碳经济调度问题进行数学描述；
5、其次将该调度问题表述为马尔可夫决策过程框架，合理设计了系统的状态空间、动作空间和奖励机制；
6、继而采用近端策略优化算法进行低碳经济调度决策，提出动作噪声动态更新策略能逐步提高网络模型探索能力与学习能力。
7、环境模型包括综合能源系统中的电能流、热能流、冷能流以及能源之间的耦合环节等，围绕系统中各类能源设备以及系统能源负荷供需平衡条件构建环境模型。
8、所述环境模型是与智能体进行交互的综合能源系统环境，针对深度强化学习智能体给出的动作策略计算此策略下的能源设备出力状态，并反馈奖励函数；所述环境模型包括综合能源系统中的电能流、热能流、冷能流以及能源之间的耦合环节等，围绕系统中各类能源设备以及系统能源负荷供需平衡条件构建环境模型。
9、所述综合能源系统主要包含电、热、气3种异质能源形式，并通过多种能源转化设备满足系统内多元化的用能需求。依设备在系统运行过程中的功能不同进行划分，综合能源系统中包含可再生能源设备、能源转换设备以及储能设备三类。综合能源系统的整体框架如图1所示,系统可再生能源设备包括光伏(photovoltaic,pv)、风能(wind turbine,wt)；能源转换设备包含电热锅炉(electric heat boiler,ehb)、燃气锅炉(gas boiler,gb)、燃气轮机(gt)、余热锅炉，热电联产装置(combinedheat and power,chp)；储能设备主要考虑电储能装置(batteryenergy storage,bes)。负荷侧主要包括电负荷、气负荷和热负荷。经济调度目标在于维持系统正常运行的情况下使其总的经济成本最小。其中可再生能源发电、储能装置以节点的方式接入电网母线，实现多源发电方式协同工作供给负载功率需求。
10、能源转换设备的模型构建包括：
11、(1)风机装置模型：风力发电单元的功率完全由风速控制，风力发电的功率如下式表示：
12、
13、上式中，v为风机当前的运行风速，vi是设定的切入风速，vo是设定的切出风速，vr是设定的额定风速。由上式可知，风机在处于切入风速以下或者切出风速以上的时候，无法正常工作，因其无法驱动风机运行或是容易损坏风机；当风速处于额定风速以下，切入风速以上时，风机处于低功率运行状态；当风速在额定风速以上，切出风速以下时，风机以额定功率运行，此时也运行在最佳的叶尖速比附近；
14、(2)光伏装置模型：光伏发电单元输出的功率主要取决于光源强度以及设备自身的系统参数。光伏发电机功率的表达式生成如下：
15、ppv＝λp,tcosθκmapvηpv (2)
16、式中，λp,t表示t时刻光照强度,km,apv,ηpv分别表示控制器的效率、光伏发电板的面积以及光伏发电板的额定发电效率；
17、(3)电热锅炉模型：
18、电热锅炉(electric boiler，eb)是综合能源系统中的电-热耦合设备，其利用电加热组件将电能转化为热能。电锅炉的运行状态受环境温度影响较小，在极寒天气下仍然能正常运行，因此被广泛应用于供暖。其由电转换成热能的过程如下所示，
19、
20、式中，表示t时刻电热锅炉的热功率,表示t时刻的耗电量、ηehb和κl分别表示电热转换效率以及热利用效率。
21、(4)燃气锅炉模型：
22、燃气锅炉(gas boiler，gb)是以天然气作为能源输入，通过高温烟气对低温水加热从而实现气-热转换的装置。
23、
24、其中，分别为燃气锅炉t时段供热功率以及消耗天然本文档来自技高网...
【技术保护点】
1.基于深度强化学习的综合能源系统经济调度模型方法，其特征在于，包括：
2.根据权利要求1所述的基于深度强化学习的综合能源系统经济调度模型方法，其特征在于：所述环境模型是与智能体进行交互的综合能源系统环境，针对深度强化学习智能体给出的动作策略计算此策略下的能源设备出力状态，并反馈奖励函数；所述环境模型包括综合能源系统中的电能流、热能流、冷能流以及能源之间的耦合环节等，围绕系统中各类能源设备以及系统能源负荷供需平衡条件构建环境模型。
3.根据权利要求1所述的基于深度强化学习的综合能源系统经济调度模型方法，其特征在于：所述综合能源系统主要包含电、热、气3种异质能源形式，并通过多种能源转化设备满足系统内多元化的用能需求；依设备在系统运行过程中的功能不同进行划分，综合能源系统中包含可再生能源设备、能源转换设备以及储能设备三类；系统可再生能源设备包括光伏(photovoltaic,PV)、风能(wind turbine,WT)；能源转换设备包含电热锅炉(electricheat boiler,EHB)、燃气锅炉(gas boiler,GB)、燃气轮机(GT)、余热锅
4.根据权利要求3所述的基于深度强化学习的综合能源系统经济调度模型方法，其特征在于：能源转换设备的模型构建包括：
5.根据权利要求3所述的基于深度强化学习的综合能源系统经济调度模型方法，其特征在于：还包括构建系统约束条件，包括：
6.根据权利要求3所述的基于深度强化学习的综合能源系统经济调度模型方法，其特征在于：还包括构建综合能源系统低碳经济调度目标函数：
7.根据权利要求1所述的基于深度强化学习的综合能源系统经济调度模型方法，其特征在于：还包括构建面向综合能源系统运行优化的强化学习模型
8.根据权利要求7所述的基于深度强化学习的综合能源系统经济调度模型方法，其特征在于：还包括，进一步改进SAC算法
...【技术特征摘要】
1.基于深度强化学习的综合能源系统经济调度模型方法，其特征在于，包括：
2.根据权利要求1所述的基于深度强化学习的综合能源系统经济调度模型方法，其特征在于：所述环境模型是与智能体进行交互的综合能源系统环境，针对深度强化学习智能体给出的动作策略计算此策略下的能源设备出力状态，并反馈奖励函数；所述环境模型包括综合能源系统中的电能流、热能流、冷能流以及能源之间的耦合环节等，围绕系统中各类能源设备以及系统能源负荷供需平衡条件构建环境模型。
3.根据权利要求1所述的基于深度强化学习的综合能源系统经济调度模型方法，其特征在于：所述综合能源系统主要包含电、热、气3种异质能源形式，并通过多种能源转化设备满足系统内多元化的用能需求；依设备在系统运行过程中的功能不同进行划分，综合能源系统中包含可再生能源设备、能源转换设备以及储能设备三类；系统可再生能源设备包括光伏(photovoltaic,pv)、风能(wind turbine,wt)；能源转换设备包含电热锅炉(electricheat boiler,ehb)、燃气锅炉(gas boiler,gb)、燃气轮机(gt)、余热锅炉，热电联产...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。