日前市场下虚拟电厂策略性竞价方法技术

本发明专利技术公开了日前市场下虚拟电厂策略性竞价方法，方法包括提出虚拟电厂日前市场出清目标，建立虚拟电厂日前市场出清模型；搭建基于深度确定性策略梯度算法的单代理参与者

【技术实现步骤摘要】
日前市场下虚拟电厂策略性竞价方法


[0001]本专利技术涉及能量调度领域，尤其涉及日前市场下虚拟电厂策略性竞价方法
。

技术介绍

[0002]对环境问题的日益关注以及通信和监控技术的进步，促使在电力网络中越来越多地部署分布式能源
。
这些机组在金融实体
(
通常称为虚拟发电厂
)
下大规模聚集，从而促进了这些机组的市场整合，这些实体具有在电力批发市场进行交易的能力
。
作为一个自利的市场参与者，虚拟电厂的目标是通过市场参与和履行对其内部客户的合同义务来实现自身利润最大化
。
同时，虚拟电厂必须保证底层配电网络的安全运行
。
[0003]在不完全竞争的电力市场中，大型发电企业可以通过策略性竞价来行使市场权力，增加利润
。
这种最优投标策略传统上被建模为分层优化问题，其中战略市场参与者可以预测其投标对市场出清问题的影响
。
然而，这种方法在实践中存在许多局限性，包括假设其他市场参与者的出价策略的完美信息会导致乐观且不切实际的市场出清解决方案，以及计算复杂性，即使在市场出清问题凸性的限制性假设下也是如此
。
[0004]强化学习的快速发展为市场参与者设计复杂的投标策略并学习通过与环境交互来最大化利润开辟了新的可能性
。
无模型强化学习方法的一个关键优势是，战略市场参与者
(
代理人
)
不需要事先了解市场出清过程或其他参与者的策略
(
环境
)。
安全强化学习领域的最新方法大致可分为两类，即改进
(i)
奖励函数或
(ii)
强化学习算法的探索阶段
。
在第一类中，一种流行的方法是使用拉格朗日松弛法增加奖励函数以解决约束违反
。
然而，这种方法可能需要对违反约束的奖励进行特别调整，并且可能在探索阶段导致不安全的决策
。
在第二类中，决策的安全性是通过离线
(
批量
)
学习来初始化探索，或者通过转移离线学习的专家知识来指导探索来提升的
。
尽管有显著的改进，这些方法不能提供理论上的安全保证，并且不适合完全在线学习
。

技术实现思路

[0005]本专利技术提供了日前市场下虚拟电厂策略性竞价方法及系统，实现实现对虚拟电厂参与日前市场的策略性竞价，便于虚拟电厂竞价策略的合理分配，节约成本
。
[0006]为了解决上述技术问题，本专利技术实施例提供了日前市场下虚拟电厂策略性竞价方法，具体包括以下步骤：
[0007]步骤
101
：提出虚拟电厂日前市场出清目标，建立虚拟电厂日前市场出清模型；
[0008]步骤
102
：搭建基于深度确定性策略梯度算法的单代理参与者
‑
评判者模型，通过强化学习的代理确定投标决策；
[0009]步骤
103
：建立最优潮流模型；
[0010]步骤
104
：求解最优潮流模型，确定内部所有发电机的运行点和虚拟电厂的生产边际成本
。
[0011]实施本专利技术实施例，将虚拟电厂能量调度问题的目标定义为社会福利最大化；集
成电网功率平衡约束
、
出清量约束和出清目标，建立日前市场下虚拟电厂日前市场出清模型；推导一种基于投影的安全集，安全集捕捉了虚拟电厂的可行操作空间，安全集将智能体的行为限制在由非线性潮流方程和分布式能源运行约束所定义的可行空间内；定义奖励函数，在奖励函数中引入了对屏蔽激活的惩罚，以激励代理学习更安全的策略，奖励函数由三个不同的部分组成，即市场利润
、
虚拟电厂内部成本和屏蔽激活成本；搭建基于深度确定性策略梯度算法的单代理参与者
‑
评判者模型；建立最优潮流模型；求解最优潮流模型，确定内部所有发电机的运行点和虚拟电厂的生产边际成本
。
[0012]作为优选方案，提出虚拟电厂日前市场出清目标，建立虚拟电厂日前市场出清模型，具体为：
[0013]第一步，假定所研究的虚拟电厂在配电网络内为负载提供服务并运行多种异构分布式能源，即可再生能源
(
风能或光伏
)、
储能装置和柴油发电机等传统发电设备
。
底层的配电网络被认为是放射型且平衡的，因此可以用树图表示，其中，表示包括变电站节点0在内的网络节点集合，表示
n
个网络支路的集合
。
假设虚拟电厂在节点0处与系统的其余部分有一个公共耦合点
。
负载被认为位于节点可再生能源位于节点电池储能系统位于节点传统发电机位于节点不失一般性，假设每个节点包含单个分布式能源类型，即
[0014]第二步，确定电网约束
‑
流量和电压偏差限制
。
[0015]对于每条母线设
v
i
∈R
≥0
表示节点
i
的电压幅度，
v
j
∈R
≥0
表示节点
j
的电压幅度，
R
≥0
是正实数的集合，
p
i
∈R
和
q
i
∈R
表示节点
i
的有功和无功节点功率注入，
p
j
∈R
和
q
j
∈R
表示节点
j
的有功和无功节点功率注入
。
对于每个支路
(i,j)∈
ε
，设
r
ij
∈R
≥0
和
x
ij
∈R
分别表示其电阻和电抗值，
P
ij
∈R
和
Q
ij
∈R
表示沿支路的有功功率和无功功率，
i
ij
∈R
≥0
表示相应的支路电流大小
。
配电网使用
DistFlow
方程进行建模，对每条线路
(i,j)∈
ε
递归地写为：
[0016][0017][0018][0019]支路电流计算为支路电流计算为表示母线
j
的子节点集合，
R
为实数集合
。
为了遵守电能质量标准并保持虚拟电厂内资产的健康状况，需要满足电压偏差和线路电流限制形式的网络约束：
[0020][0021][0022]式中，是流过线路
(i,j)
的视在功率；上标
min
和
max
分别表示最小和最大允许值
。
...

【技术保护点】

【技术特征摘要】
1.
日前市场下虚拟电厂策略性竞价方法，其特征在于，包括以下步骤：步骤
101
：提出虚拟电厂日前市场出清目标，建立虚拟电厂日前市场出清模型；步骤
102
：搭建基于深度确定性策略梯度算法的单代理参与者
‑
评判者模型，通过强化学习的代理确定投标决策；步骤
103
：建立最优潮流模型；步骤
104
：求解最优潮流模型，确定内部所有发电机的运行点和虚拟电厂的生产边际成本
。2.
如权利要求1所述的日前市场下虚拟电厂策略性竞价方法，其特征在于，所述提出虚拟电厂日前市场出清目标，建立虚拟电厂日前市场出清模型，具体为：将虚拟电厂能量调度问题的目标定义为社会福利最大化；集成电网功率平衡约束
、
出清量约束和出清目标，建立日前市场下虚拟电厂日前市场出清模型
。3.
如权利要求1所述的日前市场下虚拟电厂策略性竞价方法，其特征在于，搭建...

【专利技术属性】
技术研发人员：张正梅，王振，舒适，蒋太平，陈羿宇，宋吉来，陈思宇，苏捷雅，刘卫，孔璐，
申请(专利权)人：广西电网有限责任公司桂林供电局，
类型：发明
国别省市：