【技术实现步骤摘要】
本专利技术涉及属于电力系统运行优化控制和计算机，具体涉及一种基于强化学习的配电网有功无功协同优化方法。
技术介绍
1、双碳战略和整县屋顶光伏政策提出后，分布式屋顶光伏（pv）在配电网中的渗透率不断增加，对配电系统的运行和控制构成了巨大的挑战。大量pv的接入改变了传统配电网的潮流分布，导致潮流倒送，对电压质量和电力系统可靠性有着很大的影响。由于pv出力具有波动性、随机性和间歇性，随着pv的渗透率不断上升，在众多的技术挑战中，电压质量问题特别值得关注。电压质量是电力系统电能质量的重要指标之一，在诸多电能质量问题中，电压波动过大造成的危害最为广泛：不但直接影响电气设备的性能，还将给系统的稳定、安全运行带来困难。伴随着分布式能源和电动汽车的快速发展，配电网作为分布式能源与电动汽车充电桩等多元源荷接入的主要依托对象，同时也面临着经济安全稳定运行的巨大挑战。无功优化与电压控制作为配电网运行优化的关键技术，其通过对配电网中的无功补偿设备的调节优化整体电网的无功潮流，具有优化电压分布，缓解电压越限，降低线路损耗，提高电能质量的重要作用。在当前高比例可再生能源接入和多样化的可调设备参与的背景下，无功电压优化控制技术的精确性和实时性高低是保证可再生能源接入与消纳、维持配电网经济安全运行的关键所在。
2、传统的配电网电压控制以电压无功控制为主，主要通过调节有载调压变压器(on-load tap changer，oltc)的分接头位置和电容器组的投切组数等方法来调节配电网的电压。但oltc和电容器组的响应速度较慢且运维成本较高，不宜频繁动作
3、传统的数学优化方法，智能优化算法和随机规划方法不能有效地应对高度不确定的环境，并存在计算量大、容易陷入局部最优、依赖于准确的参数和模型和难以实现在线控制等问题。
4、电力系统中蕴含着海量的数据，为实现基于数据驱动的人工智能方法提供了数据支撑。数据驱动技术的内核是通过机器学习方法分析海量历史数据，提取高密度价值信息，为配电网的规划运行提供决策辅助。深度强化学习（drl）结合了深度学习的感知优势和强化学习的决策优势，属于序贯决策算法的一种，与配电网无功优化问题的结构契合度较高。drl通过与复杂环境交互来学习具有泛化性的普适策略，不需要调整解析模型和重新求解具体决策。
5、然而，drl对于数据样本量的需求较高，需要大量的环境互动样本，一旦样本量无法满足要求，应用效果将大打折扣。同时，深度强化学习方法的神经网络在提取特征方面的能力受限，且由于控制决策由神经网络直接给出，机理不明，具有一定黑盒性质，drl采用历史数据离线训练智能体，完成训练后将智能体部署在线上，系统在运行过程中可能出现在智能体训练阶段未遇到的极端情况，此时智能体给出的解的可行性和安全性难以保证，限制其在实际电力工程中的应用。
6、现有技术中，如中国专利文献cn113363998a、cn113363997a、cn111799808a、cn111884213a；以及论文（廖文龙，于贇，王煜森，等．基于图卷积网络的配电网无功优化[j].电网技术，2021，45(6)：2150-2160．）所公开的现有技术方案中，存在以下缺点：
7、1）传统的数学优化方法，智能优化算法和随机规划方法不能有效地应对高度不确定的环境，并存在计算量大、容易陷入局部最优、依赖于准确的参数和模型和难以实现在线控制等问题；
8、2）基于有监督学习的方法在离线训练阶段需要一定数量的优化方法求出的最优决策作为“标签”，这个过程通常会耗费较长的时间，计算成本较高；
9、3）ddpg、dqn等强化学习方法将调节设备视作单智能体，难以扩展到较大的系统中，随着调节设备数量的增多，动作空间的维数呈爆炸式增长，很难有效地提供较优的策略；多智能体强化学习算法中的典型代表maddpg存在q值过高估计和训练不稳定性等问题，而以多智能体双延迟深度确定性策略梯度（multi-agent twin delayed deepdeterministic policy gradient，matd3）为代表的算法虽然在一定程度上抑制了过估计问题，但当智能体数量增加时，网络的输入信息也会随之增加，当扩展到具有较多智能体的大规模系统时，算法效率低下，表现较差。
10、4）强化学习作为数据驱动方法样本需求量大、数据收集成本高且采样效率低。配电网有功无功协同优化通常会面临复杂的运行场景，例如负荷波动、光伏出力剧烈变化，现有强化学习方法中训练数据集样本质量不高，数据分布不均，难以覆盖各种源荷出力情况，虽然历史数据可提供部分数据来源，但由于电力系统的结构和规模在持续发生变化，导致有效数据数量少、样本效率低等问题，使得强化学习模型在多变环境下的适应性较差。而传统的基于生成对抗网络的数据生成方法在训练过程中容易出现模式崩溃，导致训练失败。
11、5）现有强化学习方法神经网络架构的表征能力有限，在面对大规模的配电网时，通常会因为庞大的状态空间和长时间依赖而难以有效优化；且配电网在实际应用中常面临环境和负载的变化，而传统强化学习方法在处理多样化和变化迅速的环境时常缺乏泛化能力。
12、6）现有强化学习方法难以处理复杂的智能体动作约束，在制定奖励函数时都是通过添加惩罚项的方式引导智能体寻找可行解，这种方式无法保证解的可行性。同时，由于控制决策由神经网络直接给出，机理不明，现有强化学习方法一般采用“离线训练在线执行”框架，离线完成训练后将智能体部署在线上，系统在运行过程中可能出现在智能体训练阶段未遇到的极端情况，此时智能体给出的解的安全性难以保证。
技术实现思路
1、针对上述问题，本专利技术提出一种基于数据增强和混合增强智能的配电网有功无功协同优化方法。首先，基于生成扩散模型扩充未来调度场景数据，汇聚历史运行数据，形成高质量的训练数据集；然后，根据配电网有功功协同优化模型设计部分可观测马尔可夫决策过程（partially observable markov decision process，pomdp），利用嵌入transformer的多智能体演员-注意力-评论家（transformer-based multi-agent actor-attention-critic，t-maac）算法对模型进行求解；最后，利用训练好的模型，在在线执行阶段基于混合增强智能范式引入动作安全校核模块，严格保证输出动作的安全性。扩散模型提高了数据的质量和多样性，transformer模型帮助提升drl表征能力，大大提高了算法的稳定性和学习效率。通过离线训练-在线执行的混合智能框架，实现了配电网光伏逆变器、分布式储能的有功无功协同优化控制。所提方法可以提供实时的电压控制策略，自适应源荷不确定性，具有良好的实时性和控制经济性。
2、本专利技术的目的至少通本文档来自技高网...
【技术保护点】
1.一种基于数据增强及混合增强智能的配电网无功优化方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于数据增强及混合增强智能的配电网无功优化方法，其特征在于，步骤S1包括如下步骤：
3.根据权利要求1所述的一种基于数据增强及混合增强智能的配电网无功优化方法，其特征在于，步骤S2中，建立配电网有功无功协同优化的马尔科夫决策模型，通过优化配电网分布式光伏的无功出力和分布式储能的有功功率来实现协同优化，具体如下：
4.根据权利要求3所述的一种基于数据增强及混合增强智能的配电网无功优化方法，其特征在于，步骤S2中，在每个时间步中，每个智能体通过动作网络根据观测量做出最优动作，然后根据奖励函数获得即时的奖励；每个智能体的目标是学习最优策略以最大化累积奖励；在所有智能体都执行完最优动作之后，POMDP将转移到下一个状态。
5.根据权利要求4所述的一种基于数据增强及混合增强智能的配电网无功优化方法，其特征在于，步骤S3所述T-MAAC离线集中式训练模型中，将transformer模块嵌入智能体的动作网络架构中，将注意力权重机制嵌入智
6.根据权利要求5所述的一种基于数据增强及混合增强智能的配电网无功优化方法，其特征在于，所述transformer模块中，将原始状态特征映射到输入空间，生成各个智能体的嵌入表示：
7.根据权利要求6所述的一种基于数据增强及混合增强智能的配电网无功优化方法，其特征在于，智能体评价网络的值计算公式如下：
8.根据权利要求7所述的一种基于数据增强及混合增强智能的配电网无功优化方法，其特征在于，步骤S3中，通过潮流计算模拟实际配电网的运行环境；采用经验回放机制构建经验池，储存智能体与环境交互得到的样本，以提高训练稳定性和学习效率，复制动作网络构建目标动作网络，复制评价网络构建目标评价网络。
9.根据权利要求8所述的一种基于数据增强及混合增强智能的配电网无功优化方法，其特征在于，步骤S3中，离线训练具体包括如下步骤：
10.根据权利要求9所述的一种基于数据增强及混合增强智能的配电网无功优化方法，其特征在于，步骤S4中，利用训练好的T-MAAC离线集中式训练模型，在线智能生成优化策略，并通过引入混合增强智能范式的动作安全校核模块严格保证输出动作的安全性，具体流程如下：
...【技术特征摘要】
1.一种基于数据增强及混合增强智能的配电网无功优化方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于数据增强及混合增强智能的配电网无功优化方法，其特征在于，步骤s1包括如下步骤：
3.根据权利要求1所述的一种基于数据增强及混合增强智能的配电网无功优化方法，其特征在于，步骤s2中，建立配电网有功无功协同优化的马尔科夫决策模型，通过优化配电网分布式光伏的无功出力和分布式储能的有功功率来实现协同优化，具体如下：
4.根据权利要求3所述的一种基于数据增强及混合增强智能的配电网无功优化方法，其特征在于，步骤s2中，在每个时间步中，每个智能体通过动作网络根据观测量做出最优动作，然后根据奖励函数获得即时的奖励；每个智能体的目标是学习最优策略以最大化累积奖励；在所有智能体都执行完最优动作之后，pomdp将转移到下一个状态。
5.根据权利要求4所述的一种基于数据增强及混合增强智能的配电网无功优化方法，其特征在于，步骤s3所述t-maac离线集中式训练模型中，将transformer模块嵌入智能体的动作网络架构中，将注意力权重机制嵌入智能体评价网络中，动作网络和评价网络相互协同作用，各个智能体为合作关系，采取同构智能体参数...
【专利技术属性】
技术研发人员：全欢，刘肇熙，刘紫罡，王文浩，戴逢哲，肖嘉睿，陈逸凡，祝敬华，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。