【技术实现步骤摘要】
本专利技术属于配电网，尤其涉及一种基于深度强化学习的有源配电网集群动态划分方法及系统。
技术介绍
1、配电网作为连接输电与用户的关键环节，其安全可靠运行对电力系统稳定以及用户体验的重要性不言而喻。当前的配电系统仍旧采取统一集中式的管理方式,面对高比例分布式电源接入的现状，这一管理方式弊端逐渐显现，因此有必要对含高比例分布式光伏的有源配电网采取集群式的管理方式，这也为处理大量分散的分布式电源提供了另一个新的研究方向。
2、传统的配电网集群划分方法大多基于静态模型和数学优化算法。这些方法通常假设系统参数和外部条件是恒定或在一个较小的范围内变化，如线性规划、混合整数规划以及启发式算法。然而，配电网的实际运行环境复杂多变，尤其在高比例分布式光伏接入的情况下，光伏出力和负荷需求都具有高度的动态性和不确定性。传统优化方法在应对这些复杂动态变化时存在以下不足：1）模型局限性：传统集群划分方法依赖于准确的数学模型描述系统，但实际配电网中的各种不确定因素和复杂关系很难用精确的数学模型表示。2）计算复杂度高：传统集群划分方法在处理大规模、多变量的配电网系统时，计算复杂度呈指数级增长，难以在短时间内获得最优解。3）实时性差：由于计算时间较长，传统集群划分方法难以实现对配电网运行状态变化的快速响应和动态调整。
技术实现思路
1、为解决现有技术中存在的不足，本专利技术提供一种基于深度安全强化学习算法的高比例分布式光伏接入配电网集群动态划分方法。此方法旨在解决现有集群划分技术中存在的几个关键问题，
2、本专利技术采用如下的技术方案。
3、本专利技术的第一方面提供了基于深度强化学习的有源配电网集群动态划分方法，包括以下步骤：
4、步骤1：构建面向配电网集群动态划分的cmdp模型；
5、步骤2：利用拉格朗日松弛法将步骤1中构建的cmdp模型转化为无约束问题，并构建基于ac-drl的求解框架，用于求解cmdp模型；
6、步骤3：对步骤2构建的基于ac-drl的求解框架进行训练，得到可部署的cmdp模型；
7、步骤4：将步骤3获得的可部署cmdp模型，部署到配电网调度云平台中，根据配电网的实时观测状态提供集群划分结果。
8、优选地，步骤1中，面向配电网集群动态划分的cmdp模型以如下公式表示：
9、（10）
10、式中：
11、为折扣因子，为成本限值，表示最优策略；
12、为时刻包含配电网状态信息的智能体状态空间；
13、为时刻作为配电网动态集群动态划分结果的智能体动作空间；
14、为智能体的奖励函数；
15、为智能体的成本函数。
16、优选地，在时刻，包含配电网状态信息的智能体状态空间以如下公式还表示：
17、（1）
18、式中：
19、分别表示时刻，配电网的有功和无功负荷需求向量；
20、分别表示时刻配电网中光伏的有功和无功出力向量；
21、作为配电网动态集群动态划分结果的智能体动作空间以如下公式还表示：
22、（2）
23、式中：
24、为离散整数变量，表示第个节点所属于的集群在时刻；
25、为配电网节点数，为拟划分的集群数。
26、优选地，在时刻，智能体的奖励函数以如下公式还表示：
27、（8）
28、式中：
29、分别表示时刻，系统的群内聚合度，群间稀疏度和功率平衡度。
30、优选地，群内聚合度，群间稀疏度和功率平衡度以如下公式还表示：
31、（3）
32、（4）
33、（5）
34、（6）
35、（7）
36、式中：
37、用来评价集群内部节点间的耦合度；
38、用来评价集群间节点的耦合度；
39、表示配电网节点和节点的电气距离；
40、为节点所属子区域内部节点编号的集合；
41、为无功平衡度指标；
42、c为集群个数；
43、为集群的无功平衡度，为集群内部无功功率供应的最大值，包括节点无功补偿装置提供的无功功率及部分逆变器所能提供的无功功率，为集群内部无功功率的需求值；
44、为集群的有功平衡程度，为集群内部有功功率供应的最大值，为集群内部有功功率的需求值。
45、优选地，在时刻，智能体的成本函数以如下公式还表示：
46、(9)
47、式中：
48、表示集群内所存在的孤岛个数。
49、优选地，步骤2中，使用gumbel-softmax函数来生成动作的采样概率，并据此选择相应的离散动作，以如下公式表示：
50、(12)
51、式中：
52、π为策略，这里被形式化为一个神经网络，它的输入是状态，输出为每个节点的分区编号；
53、是由产生的gumbel噪声，该噪声被用来在采样过程中引入随机性；
54、为节点属于哪个集群的概率向量；
55、为0到1上均匀分布的h个随机变量组成的向量；
56、为一个超参数；
57、为softmax函数。
58、优选地，步骤2中，在训练动作网络和评价网络的过程中，引入了双q裁剪学习技术，基于双q裁剪学习的策略损失函数以如下公式表示：
59、(13)
60、式中：
61、表示智能体根据动作网络在状态所采样的动作，φ为离散策略网络的神经网络参数；和分别为奖励价值函数和成本价值函数。
62、优选地，步骤3包括：
63、①初始化阶段：首先，初始化基于gumbel-softmax的策略网络、成本评价网络和奖励评价网络的参数；创建一个空的经验回放缓冲区 d，用于存储智能体和配电网环境交互的经验数据；
64、②经验收集：通过在配电网环境中执行动作网络输出的动作，来收集经验数据，包括：配电网状态、集群划分结果、奖励值、成本值，可表示为，每组经验数据均被存入缓冲区；
65、③数据采样：从回放缓冲区中随机抽取一批经验数据，用于后续的网络训练；
66、④评价网络更新：利用成本评价网络、奖励评价网络和策略网络估计每个采样经验的目标成本和奖励q值；计算目标成本、奖励q值和实际q值之间的均方差损失，并据此更新奖励和成本评价网络的参数θ和；
67、⑤策略网络更新：应用梯度上升法更新离散策略网络的参数φ，以优化策略网络的动作选择即集群划分结果；
68、⑥软更新目标网络：采用软更新方法逐渐调本文档来自技高网...
【技术保护点】
1.一种基于深度强化学习的有源配电网集群动态划分方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于深度强化学习的有源配电网集群动态划分方法，其特征在于：
3.根据权利要求2所述的基于深度强化学习的有源配电网集群动态划分方法，其特征在于：
4.根据权利要求2所述的基于深度强化学习的有源配电网集群动态划分方法，其特征在于：
5.根据权利要求4所述的基于深度强化学习的有源配电网集群动态划分方法，其特征在于：
6.根据权利要求2至5中任一项所述的基于深度强化学习的有源配电网集群动态划分方法，其特征在于：
7.根据权利要求6所述的基于深度强化学习的有源配电网集群动态划分方法，其特征在于：
8.根据权利要求7所述的基于深度强化学习的有源配电网集群动态划分方法，其特征在于：
9.根据权利要求8所述的基于深度强化学习的有源配电网集群动态划分方法，其特征在于：
10.一种基于深度强化学习的有源配电网集群动态划分系统，运行根据权利要求1-9中任一项所述的基于深度强化学习的有源配电网
...【技术特征摘要】
1.一种基于深度强化学习的有源配电网集群动态划分方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于深度强化学习的有源配电网集群动态划分方法，其特征在于：
3.根据权利要求2所述的基于深度强化学习的有源配电网集群动态划分方法，其特征在于：
4.根据权利要求2所述的基于深度强化学习的有源配电网集群动态划分方法，其特征在于：
5.根据权利要求4所述的基于深度强化学习的有源配电网集群动态划分方法，其特征在于：
6.根据权利要求2至5中任一项所述的基...
【专利技术属性】
技术研发人员：杨慎全，刘淑莉，郑志杰，梁荣，李昭，杨波，崔灿，刘钊，杨扬，綦陆杰，邓少治，王延朔，赵韧，张雯，李昊，李凯，张博颐，王耀雷，
申请(专利权)人：国网山东省电力公司经济技术研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。