【技术实现步骤摘要】
本申请涉及电网规划，尤其涉及一种基于强化学习的输电网扩展规划方法及系统。
技术介绍
1、输电网扩展是指在现有输电网的基础上，对输电网进行扩建、升级或改造，以满足不断增长的电力需求、改善电网可靠性和稳定性；随着我国电网的不断建设，为了满足电网规模和用电需求也在飞速增长，输电网扩展迫在眉睫。科学合理的规划输电网，使输电网更经济、更可靠的输送电能，具有重要的理论意义和实用价值。
2、目前，公开号为cn114169117a的专利申请文件公开了一种基于改进粒子群算法的输电网扩展规划方法，方法包括：构建考虑经济性和可靠性的输电网扩展规划模型；采用非线性动态方法对粒子群算法中的惯性权重进行改进，获得改进的粒子群算法；基于改进的粒子群算法对输电网扩展规划模型进行模型求解，获得优化的输电网扩展规划结果，其中，输电网扩展规划模型包括考虑经济性的优化子目标函数和考虑可靠性的优化子目标函数。
3、上述方法虽然能够综合经济性和可靠性获得优化的输电网扩展规划结果，然而，输电网中包含大量的用电节点、供电节点和输电线路，会产生带大量的数据，如此大量的数据会在输电网扩展过程中引入噪声信息，不仅会降低计算量，还会导致输电网扩展规划结果不准确。
技术实现思路
1、为了解决输电网扩展规划结果不准确的技术问题，本申请提供了一种基于强化学习的输电网扩展规划方法及系统，能够获得准确的输电网扩展的规划结果。
2、本申请第一方面，提供了一种基于强化学习的输电网扩展规划方法，所述输电网包括供电节点
3、有益效果在于：将处于异常状态的供电节点和用电节点作为待扩展节点，将处于异常状态的原输电线路作为待扩展线路，在构建的扩展状态图中，只保留待扩展线路和待扩展节点的负载状态，减少了输入强化学习模型的数据量，提高扩展规划结果的获取速度；进一步地，在扩展状态图中通过设置初始连接边和新增连接边的方式对原输电线路和新增输电线路进行了区分，初始连接边对应于原输电线路，新增连接边对应于新增输电线路，能够使强化学习模型在输出扩展规划结果时考虑到对原有输电线路升级改造和扩建输电线路之间的差异，提高输电网扩展规划结果的准确性。
4、在一个实施例中，所述异常检测的过程包括：将所述供电节点和用电节点的负载状态作为节点负载集合，将所述原输电线路的负载状态作为线路负载集合，分别对所述节点负载集合和所述线路负载集合进行异常检测，得到异常节点和异常线路；将与所述异常线路存在连接关系的供电节点和用电节点标记为新增异常节点，将与所述新增异常节点和所述异常节点存在连接关系的原输电线路标记为新增异常线路；所述异常节点、所述新增异常节点、所述异常线路和所述新增异常线路均处于异常状态。
5、有益效果在于：输电网中的供电节点和用电节点通过输电线路进行连接，依据异常点检测算法定位到异常节点和异常线路后，异常线路两端的供电节点或用电节点也会受到影响，同样的，与异常节点存在连接关系的原输电线路也会受到影响，将受到影响的供电节点、用电节点和原输电线路均认定为异常状态，使得扩展状态图能够准确反映扩展规划前的电网状态。
6、在一个实施例中，所述强化学习模型包括决策模型，所述决策模型包括特征提取子模型和动作子模型，所述动作子模型包括第一输入层、至少一个第一隐藏层和第一输出层；所述特征提取子模型用于对扩展状态图进行特征提取，得到状态向量；所述第一输入层用于接收所述状态向量；所述第一隐藏层用于对所述状态向量进行维度变换，并将维度变后的结果输入所述第一输出层，输出扩展规划结果；其中，所述第一输出层中神经元的数量为所述初始连接边和所述新增连接边的总数，且一个神经元对应一个relu激活函数。
7、有益效果在于：给出一种端到端的决策模型，该决策模型能够依据扩展状态图得到扩展规划结果，且第一输出层中每个神经元对应一个relu激活函数，确保扩展规划结果中原输电线路和新增输电线路的容量变化均大于0。
8、在一个实施例中，所述强化学习模型还包括奖励预测模型，所述奖励预测模型包括第二输入层、至少一个第二隐藏层和第二输出层；所述第二输入层用于接收所述状态向量和所述扩展规划结果；所述第二隐藏层用于对所述状态向量和所述扩展规划结果进行维度变换，并将维度变换后的结果输入所述第二输出层，得到预测奖励值。
9、有益效果在于：提供了一种奖励预测模型的网络结构，该奖励预测模型输出的预测奖励值能够反映在扩展状态图的状态向量下，执行所述扩展规划结果的优劣，可以在强化学习模型的训练过程中辅助决策模型的更新。
10、在一个实施例中，所述强化学习模型的训练方法包括：执行所述扩展规划结果以获取扩展输电网；并计算所述扩展输电网的负载均衡程度和扩展成本的比值，得到实际奖励值；将所述扩展输电网的扩展状态图输入目标强化学习模型以获取未来奖励值；对所述实际奖励值和所述未来奖励值进行加权求和，得到奖励值标签；基于所述奖励值标签和所述预测奖励值的差值绝对值计算奖励损失，将所述预测奖励值的相反数作为决策损失，基于所述奖励损失和所述决策损失更新所述强化学习模型，迭代地执行训练过程，直至迭代次数大于设定次数时停止。
11、有益效果在于：在强化学习模型的训练过程中，奖励损失用于约束预测奖励值等于奖励值标签，决策损失用于约束策模型输出的扩展规划结果达到较大预测奖励值，通过奖励损失和决策损失更新强化学习模型，使得强化学习模型能够输出预测奖励值较大的扩展规划结果。
12、在一个实施例中，所述目标强化学习模型包括目标决策模型和目标奖励预测模型；每当所述强化学习模型完成预设次数的训练时，将所述决策模型的模型参数复制到所述目标决策模型，并所述奖励预测模型的模型参数复制到所述目标奖励预测模型，以更新所述目标强化学习模型。
13、有益效果在于：在强化学习模型训练过程中，保持目标强化学习模型的不断更新，确保目标强化学习模型能够输出准确的未来奖励值，进而保证奖励值标签的准确性。
14、在一个实施例中，所述实际奖励值满足关系式：
15、；其中，为节点负载均衡程度，表征所述扩展输电网中供电节点和用电节点之间的负载差异，为线路负载均衡程度，表征原输电线路和新本文档来自技高网...
【技术保护点】
1.一种基于强化学习的输电网扩展规划方法，其特征在于，所述输电网包括供电节点、用电节点和原输电线路，所述规划方法包括：
2.根据权利要求1所述的一种基于强化学习的输电网扩展规划方法，其特征在于，所述异常检测的过程包括：
3.根据权利要求1所述的一种基于强化学习的输电网扩展规划方法，其特征在于，所述强化学习模型包括决策模型，所述决策模型包括特征提取子模型和动作子模型，所述动作子模型包括第一输入层、至少一个第一隐藏层和第一输出层；
4.根据权利要求3所述的一种基于强化学习的输电网扩展规划方法，其特征在于，所述强化学习模型还包括奖励预测模型，所述奖励预测模型包括第二输入层、至少一个第二隐藏层和第二输出层；
5.根据权利要求4所述的一种基于强化学习的输电网扩展规划方法，其特征在于，所述强化学习模型的训练方法包括：
6.根据权利要求5所述的一种基于强化学习的输电网扩展规划方法，其特征在于，所述目标强化学习模型包括目标决策模型和目标奖励预测模型；
7.根据权利要求5所述的一种基于强化学习的输电网扩展规划方法，其特征在于，
8.根据权利要求5所述的一种基于强化学习的输电网扩展规划方法，其特征在于，基于所述奖励损失和所述决策损失更新所述强化学习模型包括：
9.一种基于强化学习的输电网扩展规划系统，其特征在于，包括处理器和存储器，所述存储器存储有计算机程序指令，当所述计算机程序指令被所述处理器执行时实现根据权利要求1至8中任一项所述的一种基于强化学习的输电网扩展规划方法。
...【技术特征摘要】
1.一种基于强化学习的输电网扩展规划方法，其特征在于，所述输电网包括供电节点、用电节点和原输电线路，所述规划方法包括：
2.根据权利要求1所述的一种基于强化学习的输电网扩展规划方法，其特征在于，所述异常检测的过程包括：
3.根据权利要求1所述的一种基于强化学习的输电网扩展规划方法，其特征在于，所述强化学习模型包括决策模型，所述决策模型包括特征提取子模型和动作子模型，所述动作子模型包括第一输入层、至少一个第一隐藏层和第一输出层；
4.根据权利要求3所述的一种基于强化学习的输电网扩展规划方法，其特征在于，所述强化学习模型还包括奖励预测模型，所述奖励预测模型包括第二输入层、至少一个第二隐藏层和第二输出层；
5.根据权利要求4所述的一种基于强化学习的输...
【专利技术属性】
技术研发人员：陈杰，夏勇军，李剑峰，田爱华，徐韬，赵远，刘阳，
申请(专利权)人：湖北华中电力科技开发有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。