【技术实现步骤摘要】
本专利技术涉及主动配电网负荷转供，具体涉及一种基于图模型深度强化学习的主动配电网负荷转供方法。
技术介绍
1、随着我国新能源的发展，在电力系统中广泛的接入了以新能源为主体的分布式电源，形成了主动配电网。随着国民经济的发展，配电网负荷侧商业与居民楼宇负荷、电动汽车等负荷的比例不断增长，城市负荷密度大幅提高。在负荷高峰期，受端电网负荷长时间处于高位运行，居民，商业，工业，电动汽车等负荷之间的供电分配不均衡，导致用电高峰期配电网设备过载和输电阻塞问题频发。新能源型分布式电源的不稳定性和消纳不足使问题愈发严重，情节严重时可能引发大规模的强制性停电，威胁到系统的安全性和稳定性。
2、配电网负荷转供是解决输电阻塞问题的主要手段之一。目前在求解负荷转供问题上主要方法有：传统优化算法、启发式算法、专家系统法和人工智能算法。传统优化算法，如单纯形法、罚函数法等，通过设置目标函数与约束条件，运用数学规划方法得出最优解或近似最优解，在小模型上效果显著，但在应用于主动配电网这种大规模系统中易产生维数灾难，导致无法收敛；启发式算法，基于问题本身的规则得到较好的可行解，本质是贪心算法，这种方法速度较快，但因与问题本身联系紧密，导致其通用性较差，且对于主动配电网中dg出力的不确定性和负荷的波动性不能很好的描述；专家系统法，将历史转供操作的方案保存在库中，实时性好，适用性广，可应用于主动配电网转供方案的求解，但专家系统的知识库建立和集成费时费力，且实际中阻塞情况多种多样，知识库无法包含全部情况，有局限性；人工智能算法，如遗产算法、粒子群算法、人工神
3、综上所述，现有的负荷转供方法，或不能很好的处理主动配电网中实时变化的数据或不能够在庞大的解空间中准确找出最优解，且对于配电网的拓扑结构描述上大多运用关系数据库，动态变化能力不足，与实际转供操作脱节，很难保证在发生阻塞时进行负荷转供操作的准确性和高效性。由此，申请人提出了一种基于图模型深度强化学习的主动配电网负荷转供方法。
技术实现思路
1、本专利技术的目的是为了解决在负荷转供时主动配电网中dg和负荷的实时变化容易引发输电阻塞的问题以及传统关系数据库在描述配电网拓扑时动态变化不足的技术问题，而提出基于图模型深度强化学习的主动配电网负荷转供方法。
2、为了解决上述技术问题，本专利技术采用的技术方案为：
3、一种基于图模型深度强化学习的主动配电网负荷转供方法，包括以下步骤：
4、步骤1：基于实际主动配电网拓扑结构和设备搭建neo4j图模型，作为强化学习环境；
5、步骤2：基于主动配电网实时运行数据构建实时数据运算模块；
6、步骤3：基于深度强化学习dueling-dqn算法构建智能体模型，将步骤1的neo4j图模型和步骤2的实时数据运算模块以及智能体模型三者之间构建交互关系，并初始化智能体模型的折扣因子γ、学习率lr、抽样数量x、贪婪度ε、结束标志done、经验池m；
7、步骤4：判断主动配电网是否发生输电阻塞，若发生阻塞，则定位阻塞位置，开始负荷转供操作；
8、步骤5：利用实时数据运算模块的初始数据构建状态空间；根据阻塞发生的位置以及配电网中分布式电源出力的范围进行分段开关与联络开关的搜索，构成开关的动作空间；
9、步骤6：智能体模型在动作空间中选取一个开关进行操作，将动作信息传入实时数据运算模块，实时数据运算模块根据动作信息计算新一轮的数据，然后根据设定的动作奖励函数，计算此次动作的动作奖励值；neo4j图模型接收到更新信息后，根据设定的状态奖励函数计算状态奖励值，在动作执行完成后对neo4j图模型、状态空间、实时数据运算模块中的信息进行更新；
10、步骤7：每当完成一次主动配电网开关动作后，就将本次动作的开关以及动作前后的主动配电网状态信息作为样本存储在的经验池m中，以便后续采样经验进行训练；
11、步骤8：依据设定的结束条件对本次负荷转供决策是否结束进行判断，若done＝false表示未结束，返回步骤5；若done＝true表示结束，退出循环，本次主动配电网的负荷转供过程结束。
12、在步骤1中，neo4j图模型由节点和关系两种数据类型组成，节点表示主动配电网中的设备，主要包括分段开关、联络开关、分布式电源、节点、负荷；关系表示两个设备间的关联，包含“相连”和“断开”两种，关系类型由开关设备的开合状态决定；设备属性和关系属性以键值对的形式存储在节点和关系中，并用标签划分不同类型的节点和关系。
13、在步骤2中，实时数据运算模块包括：电气数据存储单元、拓扑结构识别单元、潮流计算单元、合环电流计算单元，具体定义如下：
14、电气数据存储单元：存储主动配电网中节点电压、线路负载率、负荷的时序需求数据、分布式电源的时序出力数据、开关合环过程中的合环电流、线路阻抗与导纳等电气数据，并将初始的负荷需求，分布式电源出力，线路阻抗与导纳等数据传给潮流计算单元与合环电流计算单元；
15、拓扑结构识别单元：根据智能体模型采取的动作信息识别拓扑中对应的开关，将原本闭合的开关打开，将原本打开的开关闭合，并将更改的信息传入潮流计算单元和合环电流计算单元进行开关动作后的数据计算；
16、潮流计算单元，根据从拓扑结构识别单元和电气数据存储单元传入的信息计算潮流数据，包括线路负载率与节点电压等，并将其传入电气数据存储单元；
17、合环电流计算单元，根据拓扑结构识别单元识别的动作信息进行判断，如果开关是由合到分则无需计算，如果是由分到合则计算合环电流的大小，并将其传入电气数据存储单元；
18、潮流计算单元中采用的方法为：牛顿-拉夫逊算法；
19、合环电流的合环稳态电流im由合环后的潮流计算得出，合环暂态电流im计算公式为：kp为冲击系数。
20、在步骤3中，智能体模型的神经网络输出层包含两个部分，分别为：代表状态奖励的价值函数v(s,ω,α)和代表动作奖励的优势函数a(s,a,ω,β)，其中ω是价值函数和优势函数的公共网络参数，α是价值函数独立部分的网络参数，β是优势函数独立部分的网络参数，s为当前的状态，a为采取的动作。
21、在步骤5中状态空间用集合[g,vnode,lloading,sswitch,iclose,lblock,pdg]表示，其中g表示当前主动配电网拓扑；vnode为各个节点的电压；lloading表示线路负载率；sswitch表示开关状态用0-1表示，0表示开关处于分位，1表示开关处于合位；iclose表示合环电流；lblock表示主动配电网阻塞状态，0表示不发生阻塞，1表示出现阻塞；pdg表示分布式电源的出力，动作空间用集合[sw1,sw2]表示，其中sw1表示初始状态为闭合的开关；sw2表示初始状态为断开的开关。
22、在步骤6中本文档来自技高网...
【技术保护点】
1.一种基于图模型深度强化学习的主动配电网负荷转供方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，在步骤1中，Neo4j图模型由节点和关系两种数据类型组成，节点表示主动配电网中的设备，主要包括分段开关、联络开关、分布式电源、节点、负荷；关系表示两个设备间的关联，包含“相连”和“断开”两种，关系类型由开关设备的开合状态决定；设备属性和关系属性以键值对的形式存储在节点和关系中，并用标签划分不同类型的节点和关系。
3.根据权利要求1所述的方法，其特征在于，在步骤2中，实时数据运算模块包括：电气数据存储单元、拓扑结构识别单元、潮流计算单元、合环电流计算单元，具体定义如下：
4.根据权利要求1所述的方法，其特征在于，在步骤3中，智能体模型的神经网络输出层包含两个部分，分别为：代表状态奖励的价值函数V(s,ω,α)和代表动作奖励的优势函数A(s,a,ω,β)，其中ω是价值函数和优势函数的公共网络参数，α是价值函数独立部分的网络参数，β是优势函数独立部分的网络参数，s为当前的状态，a为采取的动作。
5.根据权利要求1所
6.根据权利要求1所述的方法，其特征在于，在步骤6中，智能体模型在动作空间中选取一个开关进行操作的方式为：在探索模式下使用ε-greedy策略，取一个0-1之间的随机数p和ε进行比较，若p≤ε则从动作空间中选取一个随机动作，若p＞ε则选取动作奖励值最高的动作；在非探索模式下，直接选择动作奖励值最高的动作；ε的更新公式为：
7.一种通过智能体模型对信息进行更新的方法，其特征在于，包括以下步骤：
8.根据权利要求7所述的方法，其特征在于，在步骤1中，智能体模型的神经网络输出层包含两个部分，分别为：代表状态奖励的价值函数V(s,ω,α)和代表动作奖励的优势函数A(s,a,ω,β)，其中ω是价值函数和优势函数的公共网络参数，α是价值函数独立部分的网络参数，β是优势函数独立部分的网络参数，s为当前的状态，a为采取的动作。
9.根据权利要求7所述的方法，其特征在于，在步骤1中，智能体模型在动作空间中选取一个开关进行操作的方式为：在探索模式下使用ε-greedy策略，取一个0-1之间的随机数p和ε进行比较，若p≤ε则从动作空间中选取一个随机动作，若p＞ε则选取动作奖励值最高的动作；在非探索模式下，直接选择动作奖励值最高的动作；ε的更新公式为：
10.根据权利要求7所述的方法，其特征在于，在步骤3中，实时数据运算模块包括：电气数据存储单元、拓扑结构识别单元、潮流计算单元、合环电流计算单元，具体定义如下：
...【技术特征摘要】
1.一种基于图模型深度强化学习的主动配电网负荷转供方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，在步骤1中，neo4j图模型由节点和关系两种数据类型组成，节点表示主动配电网中的设备，主要包括分段开关、联络开关、分布式电源、节点、负荷；关系表示两个设备间的关联，包含“相连”和“断开”两种，关系类型由开关设备的开合状态决定；设备属性和关系属性以键值对的形式存储在节点和关系中，并用标签划分不同类型的节点和关系。
3.根据权利要求1所述的方法，其特征在于，在步骤2中，实时数据运算模块包括：电气数据存储单元、拓扑结构识别单元、潮流计算单元、合环电流计算单元，具体定义如下：
4.根据权利要求1所述的方法，其特征在于，在步骤3中，智能体模型的神经网络输出层包含两个部分，分别为：代表状态奖励的价值函数v(s,ω,α)和代表动作奖励的优势函数a(s,a,ω,β)，其中ω是价值函数和优势函数的公共网络参数，α是价值函数独立部分的网络参数，β是优势函数独立部分的网络参数，s为当前的状态，a为采取的动作。
5.根据权利要求1所述的方法，其特征在于，在步骤5中状态空间用集合[g,vnode,lloading,sswitch,iclose,lblock,pdg]表示，其中g表示当前主动配电网拓扑；vnode为各个节点的电压；lloading表示线路负载率；sswitch表示开关状态用0-1表示，0表示开关处于分位，1表示开关处于合位；iclose表示合环电流；lblock表示主动配电网阻塞状态，0表示不发生阻塞，1表示出现阻塞；p...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。