基于多智能体强化学习的分布式电源自适应电压控制方法技术

一种基于多智能体强化学习的分布式电源自适应电压控制方法：根据选定的含分布式电源配电网，输入配电网基本参数信息；形成含分布式电源配电网电压控制马尔科夫决策过程，基于多智能体深度确定性策略梯度网络分别构建各配电网区域智能体以及分布式电源无功出力动态边界掩模方法；对各配电网区域智能体进行离线训练，得到训练完成的各配电网区域智能体；对区域内分布式电源进行调控，各配电网区域智能体依据实时输入的本区域配电网状态，给出本区域内分布式电源的控制策略，并由分布式电源无功出力动态边界掩模方法处理，下发至本区域内分布式电源换流器执行。本发明专利技术能够改善配电网电压运行水平，提高电压质量，提升电力系统运行经济性。运行经济性。运行经济性。

【技术实现步骤摘要】
基于多智能体强化学习的分布式电源自适应电压控制方法


[0001]本专利技术涉及一种分布式电源自适应电压控制方法。特别是涉及一种基于多智能体强化学习的分布式电源自适应电压控制方法。

技术介绍

[0002]分布式电源(Distributed Genterator，DG)的大量接使得配电网的运行情况进一步复杂化。其中，过电压和电压波动问题得到了广泛关注。为应对配电网电压波动，多种电压调节设备被集成到配电网中，基于换流器的分布式电源(Inverter
‑
based DG)能够利用剩余容量为系统提供无功电压支撑，由于基于换流器的分布式电源具有较好的经济性以及高度灵活可控的无功支撑能力，成为配电网电压控制的有效手段。
[0003]如何应对运行环境逐渐复杂的配电网，通过就地调节分布式电源无功出力，从而缓解配电网电压波动问题成为了当前亟待解决的关键问题。传统的集中控制方法需要采集全网数据，进行全局优化并通过管理系统下发指令，对系统的通信能力要求较高，并且隐私问题难以得到保障。并且在实际运行中，由于难以获取配电网络精确参数，基于物理模型的分布电源无功优化方法无法保证模型的准确性。深度强化学习作为一种自适应的，无模型的数据驱动方法，可以通过历史数据进行训练，根据实时状态调节分布式电源换流器无功出力，从而自适应的应对电压波动问题。多智能体强化学习通过共享历史交互经验，使得智能体之间可以交互历史信息，从而在训练时各区域智能体可依据协作目标进行策略更新。策略更新后可依据就地信息实时响应，减少通信需求。
[0004]目前配电网强化学习控制问题研究中动作空间各变量之间多相互独立，而分布式电源存在有功/无功出力耦合问题。其次，配电系统状态变化速度较快，对就地控制及实时性控制要求较高。为了解决上述问题，提出一种基于多智能体强化学习的分布式电源自适应电压控制方法。

技术实现思路

[0005]本专利技术所要解决的技术问题是，为克服现有技术的不足，提供一种能够实现多区域新型配电网的分布式电源调控，实现新型配电网电压灵活控制的基于多智能体强化学习的分布式电源自适应电压控制方法。
[0006]本专利技术所采用的技术方案是：一种基于多智能体强化学习的分布式电源自适应电压控制方法，包括如下步骤：
[0007]1)根据选定的含分布式电源配电网，输入配电网基本参数信息，包括配电网拓扑及参数信息、配电网分区信息、各分区分布式电源的接入位置、容量和观测节点、负荷，配电网基准电压和基准功率以及输入光伏和负荷年历史运行数据；
[0008]2)依据步骤1)提供的配电网基本参数信息，形成含分布式电源配电网电压控制马尔科夫决策过程，基于多智能体深度确定性策略梯度网络分别构建各配电网区域智能体以及分布式电源无功出力动态边界掩模方法；
[0009]3)依据步骤2)中各配电网区域智能体与步骤1)中光伏和负荷年历史运行数据，对各配电网区域智能体进行离线训练，得到训练完成的各配电网区域智能体；
[0010]4)依据步骤3)中训练完成的各配电网区域智能体，对区域内分布式电源进行调控，各配电网区域智能体依据实时输入的本区域配电网状态，给出本区域内分布式电源的控制策略，并由步骤2)中分布式电源无功出力动态边界掩模方法处理，下发至本区域内分布式电源换流器执行。
[0011]步骤2)所述的形成含分布式电源配电网电压控制马尔科夫决策过程表示为：
[0012][0013][0014][0015]其中，表示第n个配电网区域智能体的状态空间集合；V
i
、P
i
和Q
i
分别表示观测节点i的电压幅值、注入有功功率、注入无功功率；表示第n个配电网区域智能体的观测节点的集合；表示第n个配电网区域智能体的动作空间集合；表示第j个分布式电源的换流器注入系统的无功功率；表示第n个配电网区域智能体所属区域内分布式电源的集合；r
n
表示第n个配电网区域智能体的奖励；V0表示系统基准电压幅值。
[0016]步骤2)所述的基于多智能体深度确定性策略梯度网络构建各配电网区域智能体，所述各配电网区域智能体由当前动作网络、目标动作网络、当前价值网络和目标价值四个深度神经网络以及对应的优化器构成，对于第n个配电网区域智能体：
[0017][0018][0019][0020][0021]其中，分别表示第n个配电网区域智能体的当前动作网络和目标动作网络的输入维度和输出维度；表示第n个配电网区域智能体的状态空间集合；表示第n个配电网区域智能体的动作空间集合；分别表示第n个配电网区域智能体的当前价值网络和目标价值网络的输入维度和输出维度；N
area
表示配电网区域数量。
[0022]步骤2)所述的基于多智能体深度确定性策略梯度网络构建分布式电源无功出力动态边界掩模方法表示为：
[0023][0024][0025]式中，Q
bound,j
表示第j个分布式电源的无功容量动态边界的绝对值；P
j
表示第j个分布式电源的有功出力；表示第j个分布式电源的视在容量；表示第j个分布式电源的换流器注入系统的无功功率。
[0026]步骤3)所述的对各配电网区域智能体进行离线训练，具体包括：
[0027]3.1)输入配电网区域信息；
[0028]3.2)设置训练超参数，各区域随机初始化配电网区域智能体的网络参数，初始化共享经验回放池；
[0029]3.3)设置最大训练次数M与单步训练时点H，设置当前训练次数m＝0；
[0030]3.4)初始化当前训练时点h＝0；
[0031]3.5)各配电网区域智能体分别获取本区域内的配电网当前状态；
[0032]3.6)各配电网区域智能体根据第3.5)步的配电网状态，给出本区域内分布式电源换流器动作，并由分布式电源无功出力动态边界掩模方法处理并执行动作；
[0033]3.7)配电网各区域进入下一状态并给出奖励，各配电网区域智能体将本地经验储存至共享经验回放池；
[0034]3.8)各配电网区域智能体从共享经验回放池进行采样，使用反向梯度传播算法更新各自的网络参数；
[0035]3.9)若h<H，则h＝h+1，并返回步骤3.5)，否则进入下一步；
[0036]3.10)若m<M，则m＝m+1，并返回步骤3.4)，否则进入下一步；
[0037]3.11)计算各配电网区域智能体收敛指标σ
n
：
[0038][0039][0040]式中，μ
n
为第n个配电网区域智能体的第次到第M次的训练奖励的平均值；M为训练次数；R
e
为第e次训练的奖励；σ
n
为第n个配电网区域智能体的收敛指标；
[0041]设收敛精度为ε，当所有配电网区域智能体收敛指标满足σ
n
＜ε时，认为所有配电网区域智能体收敛，停止离线训练本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多智能体强化学习的分布式电源自适应电压控制方法，其特征在于，包括如下步骤：1)根据选定的含分布式电源配电网，输入配电网基本参数信息，包括配电网拓扑及参数信息、配电网分区信息、各分区分布式电源的接入位置、容量和观测节点、负荷，配电网基准电压和基准功率以及输入光伏和负荷年历史运行数据；2)依据步骤1)提供的配电网基本参数信息，形成含分布式电源配电网电压控制马尔科夫决策过程，基于多智能体深度确定性策略梯度网络分别构建各配电网区域智能体以及分布式电源无功出力动态边界掩模方法；3)依据步骤2)中各配电网区域智能体与步骤1)中光伏和负荷年历史运行数据，对各配电网区域智能体进行离线训练，得到训练完成的各配电网区域智能体；4)依据步骤3)中训练完成的各配电网区域智能体，对区域内分布式电源进行调控，各配电网区域智能体依据实时输入的本区域配电网状态，给出本区域内分布式电源的控制策略，并由步骤2)中分布式电源无功出力动态边界掩模方法处理，下发至本区域内分布式电源换流器执行。2.根据权利要求1所述的基于多智能体强化学习的分布式电源自适应电压控制方法，其特征在于，步骤2)所述的形成含分布式电源配电网电压控制马尔科夫决策过程表示为：征在于，步骤2)所述的形成含分布式电源配电网电压控制马尔科夫决策过程表示为：征在于，步骤2)所述的形成含分布式电源配电网电压控制马尔科夫决策过程表示为：其中，表示第n个配电网区域智能体的状态空间集合；V
i
、P
i
和Q
i
分别表示观测节点i的电压幅值、注入有功功率、注入无功功率；表示第n个配电网区域智能体的观测节点的集合；表示第n个配电网区域智能体的动作空间集合；表示第j个分布式电源的换流器注入系统的无功功率；表示第n个配电网区域智能体所属区域内分布式电源的集合；r
n
表示第n个配电网区域智能体的奖励；V0表示系统基准电压幅值。3.根据权利要求1所述的基于多智能体强化学习的分布式电源自适应电压控制方法，其特征在于，步骤2)所述的基于多智能体深度确定性策略梯度网络构建各配电网区域智能体，所述各配电网区域智能体由当前动作网络、目标动作网络、当前价值网络和目标价值四个深度神经网络以及对应的优化器构成，对于第n个配电网区域智能体：个深度神经网络以及对应的优化器构成，对于第n个配电网区域智能体：个深度神经网络以及对应的优化器构成，对于第n个配电网区域智能体：个深度神经网络以及对应的优化器构成，对于第n个配电网区域智能体：其中，分别...

【专利技术属性】
技术研发人员：习伟，李鹏，冀浩然，魏明江，姚浩，陈军健，刘德宏，于浩，李鹏，
申请(专利权)人：南方电网数字电网研究院有限公司，
类型：发明
国别省市：