【技术实现步骤摘要】
本专利技术涉及能源调度，具体涉及一种可调节负荷资源实时调控方法及装置。
技术介绍
1、随着电力系统中不确定和不可靠因素的大量增加，迫切需要提高负荷资源实时调整的仿真水平。然而，可调节负荷资源低碳经济调控问题涉及电、热设备运行状态、电热价格、能源成本、环保要求等多个因素，能源随机性及多样性给负荷的实时优化调度管理问题带来的巨大挑战。
2、现有的调控研究方法大多是传统的优化算法。然而，线性规划、非线性规划、混合整数线性规划等算法依赖于精确的数学模型，求解起来非常复杂，解决过程也非常耗时，无法满足实时在线生成策略的要求。
3、例如，专利cn107681783a公开了一种精准切负荷控制系统控制终端，硬件和软件均采用模块化的设计思路，主要包含稳定控制、用电信息采集两部分，主控模块均采用基于arm的硬件平台。稳定控制部分与精准切负荷控制系统对接，实现紧急、次紧急精准切负荷。用电信息采集部分通过串口采集交采板数据，并将交采数据进行计算转为网口报文发给主站，实现数据采集和用户电能使用管理功能。通过负荷的精细化调控，以非生产性负荷、非重要负荷的调控代替区域全停电，提高电网运行和供电的可靠性。
4、此专利技术只考虑了负荷控制终端基于负荷控制系统下发的控制指令对负荷进行精细化调控，并未考虑基于价格信号、激励引导信号、交易信息的调控方式，具体地，未考虑针对价格型响应的电价、项目有效期等信息，以及针对激励型响应的参与条件、激励标准、提前通知时间、响应有效性判定原则、项目有效期等信息，调控方式较为单一。
5、
6、此专利技术的深度学习方法通过经验回放（experience replay）机制将采集到的样本存储到经验池中，并在训练时从中均匀随机抽取样本。然而，随机采样缺乏对样本重要性的区分，模型在训练过程中难以快速聚焦于那些对性能提升更为关键的样本，从而导致收敛速度较慢。
技术实现思路
1、为了克服上述缺陷，本专利技术提出了一种可调节负荷资源实时调控方法及装置。
2、第一方面，提供一种可调节负荷资源实时调控方法，所述可调节负荷资源实时调控方法包括：
3、将综合能源系统的观测状态作为预先训练的深度强化学习模型的输入，得到所述预先训练的深度强化学习模型输出的可调节负荷资源实时调控策略；
4、利用所述可调节负荷资源实时调控策略对综合能源系统的可调节负荷资源进行实时调控；
5、其中，所述可调节负荷资源包括下述中的至少一种，风电机组、光电机组、有机朗肯循环低温余热发电设备、燃气轮机、热泵、储电装置、储热装置、余热锅炉、燃气锅炉，所述预先训练的深度强化学习模型采用dqn算法进行训练，所述预先训练的深度强化学习模型的训练样本由可调节负荷资源实时调控问题建立的马尔可夫决策过程组成。
6、优选的，所述马尔可夫决策过程对应的数学模型为：（st,at,st+1,rt），其中，st为t时刻综合能源系统的观测状态，at为t时刻综合能源系统中可调节负荷资源的动作变量，st+1为t+1时刻综合能源系统的观测状态，rt为t时刻奖励函数。
7、进一步的，所述t时刻综合能源系统的观测状态如下：
8、st=sta×stb
9、sta=[pt,ht]
10、stb=[det,dht]
11、上式中，sta为可控观测量，stb为不可控观测量，pt为t时刻电负荷状态，ht为t时刻热负荷状态，det为t时刻的电价，dht为t时刻的热价。
12、进一步的，所述t时刻综合能源系统中可调节负荷资源的动作变量如下：
13、at=aet×aht
14、上式中，aet为电负荷的控制动作，aht为热负荷的控制动作。
15、进一步的，所述马尔可夫决策过程采用的状态转移函数为mdp随机转移概率函数。
16、进一步的，所述t时刻奖励函数如下：
17、rt=-(comt+cgridt+ccart)×w
18、上式中，comt为t时刻运维成本，cgridt为t时刻购售电成本，ccart为t时刻阶梯式碳交易成本，w为转换系数。
19、进一步的，所述t时刻运维成本如下：
20、comt=∑ρnpnt
21、所述t时刻购售电成本如下：
22、cgridt=ρbuytpbuyt+ρsaletpsalet
23、上式中，ρn为第n个机组的运行成本单价，pnt为第n个机组t时刻的功率，ρbuyt为t时刻购电价，pbuyt为t时刻的向公共电网购电功率，ρsalet为t时刻售电价，psalet为t时刻的向公共电网售电功率。
24、进一步的，所述t时刻阶梯式碳交易成本如下：
25、
26、上式中，emg为系统碳排放量，emg=ec-eq，ec为实际碳排放量，eq为碳排放配额，η为碳价，为碳排放量区间长度，σ为价格增长率。
27、进一步的，所述电负荷包括：风电出力、光伏出力、燃气轮机输出电功率、有机朗肯循环低温余热发电设备热转电的功率、热泵输出电功率、储电装置充放电功率，所述热负荷包括：余热锅炉输出热功率、燃气锅炉输出热功率、储热装置充放热功率。
28、进一步的，所述电负荷满足：
29、pbuyt-psalet+pwtt+ ppvt+ pegtt+ porct- phpt- pesct+ pesdt= pet
30、所述热负荷满足：
31、pwhbt+pgbt+phptcophpt-phsct+ phsdt= pht
32、上式中，pbuyt为t时刻的向公共电网购电功率，psalet为t时刻的向公共电网售电功率，pwtt为t时刻风电出力，ppvt为t时刻光伏出力，pegtt为t时刻燃气轮机输出电功率，porct为t时刻有机朗肯循环低温余热发电设备热转电的功率，phpt为t时刻热泵输出电功率，pesct为t时刻储电装置充电功率，pesdt为t时刻储电装置放电功率，pet为t时刻系统总的电功率，pwhbt为t时刻余热锅炉输出热功率，pgbt为t时刻燃气锅炉输出热功率，cophpt为热泵供热性能系数，phsct为t时刻储热装置充热功率，phsdt为t时刻储热装置放热功率，pht为t时刻系统总的热本文档来自技高网...
【技术保护点】
1.一种可调节负荷资源实时调控方法，其特征在于，所述方法包括：
2.如权利要求1所述的方法，其特征在于，所述马尔可夫决策过程对应的数学模型为：（St,At,St+1,Rt），其中，St为t时刻综合能源系统的观测状态，At为t时刻综合能源系统中可调节负荷资源的动作变量，St+1为t+1时刻综合能源系统的观测状态，Rt为t时刻奖励函数。
3.如权利要求2所述的方法，其特征在于，所述t时刻综合能源系统的观测状态如下：
4.如权利要求2所述的方法，其特征在于，所述t时刻综合能源系统中可调节负荷资源的动作变量如下：
5.如权利要求2所述的方法，其特征在于，所述马尔可夫决策过程采用的状态转移函数为MDP随机转移概率函数。
6.如权利要求2所述的方法，其特征在于，所述t时刻奖励函数如下：
7.如权利要求6所述的方法，其特征在于，所述t时刻运维成本如下：
8.如权利要求6所述的方法，其特征在于，所述t时刻阶梯式碳交易成本如下：
9.如权利要求3或4所述的方法，其特征在于，所述电负荷包括：风电出力、光伏
10.如权利要求9所述的方法，其特征在于，所述电负荷满足：
11.如权利要求1所述的方法，其特征在于，采用DQN算法训练所述预先训练的深度强化学习模型的过程中，当经验回放池中存在样本时，相较于预先准备的训练样本数据，优先采集经验回放池中的样本作为训练样本。
12.如权利要求11所述的方法，其特征在于，所述经验回放池中样本i的采样概率如下：
13.如权利要求12所述的方法，其特征在于，采用DQN算法训练所述预先训练的深度强化学习模型的过程中，损失函数如下：
14.如权利要求13所述的方法，其特征在于，经验回放池中样本i的采样权重wi如下：
15.如权利要求14所述的方法，其特征在于，所述t时刻目标值如下：
16.一种可调节负荷资源实时调控装置，其特征在于，所述装置包括：
17.如权利要求16所述的装置，其特征在于，所述马尔可夫决策过程对应的数学模型为：（St,At,St+1,Rt），其中，St为t时刻综合能源系统的观测状态，At为t时刻综合能源系统中可调节负荷资源的动作变量，St+1为t+1时刻综合能源系统的观测状态，Rt为t时刻奖励函数。
18.如权利要求17所述的装置，其特征在于，所述t时刻综合能源系统的观测状态如下：
19.如权利要求17所述的装置，其特征在于，所述t时刻综合能源系统中可调节负荷资源的动作变量如下：
20.如权利要求17所述的装置，其特征在于，所述马尔可夫决策过程采用的状态转移函数为MDP随机转移概率函数。
21.如权利要求17所述的装置，其特征在于，所述t时刻奖励函数如下：
22.如权利要求21所述的装置，其特征在于，所述t时刻运维成本如下：
23.如权利要求21所述的装置，其特征在于，所述t时刻阶梯式碳交易成本如下：
24.如权利要求18或19所述的装置，其特征在于，所述电负荷包括：风电出力、光伏出力、燃气轮机输出电功率、有机朗肯循环低温余热发电设备热转电的功率、热泵输出电功率、储电装置充放电功率，所述热负荷包括：余热锅炉输出热功率、燃气锅炉输出热功率、储热装置充放热功率。
25.如权利要求24所述的装置，其特征在于，所述电负荷满足：
26.如权利要求16所述的装置，其特征在于，采用DQN算法训练所述预先训练的深度强化学习模型的过程中，当经验回放池中存在样本时，相较于预先准备的训练样本数据，优先采集经验回放池中的样本作为训练样本。
27.如权利要求26所述的装置，其特征在于，所述经验回放池中样本i的采样概率如下：
28.如权利要求27所述的装置，其特征在于，采用DQN算法训练所述预先训练的深度强化学习模型的过程中，损失函数如下：
29.如权利要求28所述的装置，其特征在于，经验回放池中样本i的采样权重wi如下：
30.如权利要求29所述的装置，其特征在于，所述t时刻目标值如下：
31.一种计算机设备，其特征在于，包括：一个或多个处理器；
32.一种计算机可读存储介质，其特征在于，其上存有计算机程序，所述计算机程序被执行时，实现如权利要求1至15中任意一项所述的可调节负荷资源...
【技术特征摘要】
1.一种可调节负荷资源实时调控方法，其特征在于，所述方法包括：
2.如权利要求1所述的方法，其特征在于，所述马尔可夫决策过程对应的数学模型为：（st,at,st+1,rt），其中，st为t时刻综合能源系统的观测状态，at为t时刻综合能源系统中可调节负荷资源的动作变量，st+1为t+1时刻综合能源系统的观测状态，rt为t时刻奖励函数。
3.如权利要求2所述的方法，其特征在于，所述t时刻综合能源系统的观测状态如下：
4.如权利要求2所述的方法，其特征在于，所述t时刻综合能源系统中可调节负荷资源的动作变量如下：
5.如权利要求2所述的方法，其特征在于，所述马尔可夫决策过程采用的状态转移函数为mdp随机转移概率函数。
6.如权利要求2所述的方法，其特征在于，所述t时刻奖励函数如下：
7.如权利要求6所述的方法，其特征在于，所述t时刻运维成本如下：
8.如权利要求6所述的方法，其特征在于，所述t时刻阶梯式碳交易成本如下：
9.如权利要求3或4所述的方法，其特征在于，所述电负荷包括：风电出力、光伏出力、燃气轮机输出电功率、有机朗肯循环低温余热发电设备热转电的功率、热泵输出电功率、储电装置充放电功率，所述热负荷包括：余热锅炉输出热功率、燃气锅炉输出热功率、储热装置充放热功率。
10.如权利要求9所述的方法，其特征在于，所述电负荷满足：
11.如权利要求1所述的方法，其特征在于，采用dqn算法训练所述预先训练的深度强化学习模型的过程中，当经验回放池中存在样本时，相较于预先准备的训练样本数据，优先采集经验回放池中的样本作为训练样本。
12.如权利要求11所述的方法，其特征在于，所述经验回放池中样本i的采样概率如下：
13.如权利要求12所述的方法，其特征在于，采用dqn算法训练所述预先训练的深度强化学习模型的过程中，损失函数如下：
14.如权利要求13所述的方法，其特征在于，经验回放池中样本i的采样权重wi如下：
15.如权利要求14所述的方法，其特征在于，所述t时刻目标值如下：
16.一种可调节负荷资源实时调控装置，其特征在于，所述装置包括：
17.如权利要求16所述的装置，其特征在于，所述马尔可...
【专利技术属性】
技术研发人员：宫飞翔，陈宋宋，张立庆，赵立业，龚桃荣，许长清，王晓冬，张琳娟，田珂，钟纪元，陈婧华，孔祥宇，李彬，王舒杨，石坤，董家伟，黄伟，向新宇，徐靖，张凯伯，
申请(专利权)人：中国电力科学研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。