【技术实现步骤摘要】
本申请涉及电网，特别是涉及一种基于故障预案智能体模型的电网故障预案生成方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
技术介绍
1、随着清洁化能源结构转型的推进，以风电、光伏为代表的新能源发电技术发展迅速，高比例新能源的接入成为未来电力系统发展趋势。风电、光伏等新能源发电受天气等外部不确定因素的影响，具有强随机性和波动性的特点，其大规模接入电网会改变电网的能源结构，造成新能源接入后电网故障可预期性变弱、故障类型增多等问题，因此需要研究新能源大规模接入背景下的故障预案。
2、相关技术中，电网故障预案生成通常采用人工编写方式，其耗时耗力，且预案质量和覆盖范围受限于编写人员的经验和能力；或采用专家系统处理方式，由于构建专家系统需要获取专家的大量知识和经验，导致专家系统知识获取困难，且在面对新能源大幅接入时泛化能力有限；或采用启发式算法处理方式，但启发式算法缺乏鲁棒性，在面对多种复杂故障类型的问题时效果不佳。
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种能够提升电网故障预案生成效果的基于故障预案智能体模型的电网故障预案生成方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
2、第一方面，本申请提供了一种基于故障预案智能体模型的电网故障预案生成方法，包括：
3、基于构建的强化学习智能体模型和运筹优化智能体模型，采用预想故障训练数据，按照深度强化学习和数学优化的双层优化训练方式进行模型训练，得到故障预案智能体模型；>
4、将待处理故障信息输入至所述故障预案智能体模型中训练好的强化学习智能体模型，得到离散动作生成结果；
5、根据所述离散动作生成结果，运行所述故障预案智能体模型中的运筹优化智能体模型，并通过电力系统仿真处理，输出针对所述待处理故障信息的电网故障预案生成结果；所述电网故障预案生成结果包括电网故障处置操作中的离散动作和连续动作。
6、在其中一个实施例中，所述基于构建的强化学习智能体模型和运筹优化智能体模型，采用预想故障训练数据，按照深度强化学习和数学优化的双层优化训练方式进行模型训练，得到故障预案智能体模型，包括：
7、获取构建的所述强化学习智能体模型和所述运筹优化智能体模型，组成待训练的故障预案智能体模型；
8、采用所述预想故障训练数据以及深度强化学习和数学优化的双层优化训练方式，通过循环更新所述待训练的故障预案智能体模型的智能体参数，直到满足训练结束条件，得到已训练的所述故障预案智能体模型。
9、在其中一个实施例中，所述方法还包括：
10、获取多个电网预想故障样本，作为所述预想故障训练数据；不同所述电网预想故障样本对应有不同的故障类型、故障位置，以及运行方式；
11、获取基于双决斗深度q网络的强化学习智能体，作为所述强化学习智能体模型；所述强化学习智能体用于输出电网故障处置操作中的离散动作，所述离散动作包括发电机线路启停；
12、获取基于线性规划的运筹优化智能体，作为所述运筹优化智能体模型；所述运筹优化智能体用于输出电网故障处置操作中的连续动作，所述连续动作包括发电机出力调整、甩负荷、新能源消纳量。
13、在其中一个实施例中，所述方法还包括：
14、采用双重深度q网络、决斗深度q网络、状态空间参数、动作空间参数、预设奖励函数，构建所述基于双决斗深度q网络的强化学习智能体；
15、其中，所述预设奖励函数用于表征基于多方面因素得到的智能体单步动作决策的奖励值，所述多方面因素包括发电机出力调整、发电机启停、线路启停、失负荷量、断面越限、变压器过载、新能源消纳、发用平衡。
16、在其中一个实施例中，所述方法还包括：
17、采用预设目标函数和预设约束条件，构建所述基于线性规划的运筹优化智能体；
18、其中，所述预设目标函数为基于发电机出力调整因素、失负荷量因素、断面越限因素、变压器过载因素、新能源消纳因素、发用平衡因素确定得到的；所述预设约束条件包括潮流约束、节点功率平衡约束、支路容量约束。
19、在其中一个实施例中，所述按照深度强化学习和数学优化的双层优化训练方式进行模型训练，包括：
20、在双层优化训练构架中，基于所述强化学习智能体模型设置上层优化训练，以及基于所述运筹优化智能体模型设置下层优化训练；
21、通过上层从所述强化学习智能体模型的动作空间中确定选择动作，并基于所述选择动作，通过下层数学优化求解连续变量，控制上层所述强化学习智能体模型的奖励值逐步增加，直到满足循环训练结束条件，得到所述训练好的强化学习智能体模型。
22、第二方面，本申请还提供了一种基于故障预案智能体模型的电网故障预案生成装置，包括：
23、故障预案智能体模型获取模块，用于基于构建的强化学习智能体模型和运筹优化智能体模型，采用预想故障训练数据，按照深度强化学习和数学优化的双层优化训练方式进行模型训练，得到故障预案智能体模型；
24、强化学习智能体模型处理模块，用于将待处理故障信息输入至所述故障预案智能体模型中训练好的强化学习智能体模型，得到离散动作生成结果；
25、电网故障预案生成结果得到模块，用于根据所述离散动作生成结果，运行所述故障预案智能体模型中的运筹优化智能体模型，并通过电力系统仿真处理，输出针对所述待处理故障信息的电网故障预案生成结果；所述电网故障预案生成结果包括电网故障处置操作中的离散动作和连续动作。
26、第三方面，本申请还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
27、基于构建的强化学习智能体模型和运筹优化智能体模型，采用预想故障训练数据，按照深度强化学习和数学优化的双层优化训练方式进行模型训练，得到故障预案智能体模型；
28、将待处理故障信息输入至所述故障预案智能体模型中训练好的强化学习智能体模型，得到离散动作生成结果；
29、根据所述离散动作生成结果，运行所述故障预案智能体模型中的运筹优化智能体模型，并通过电力系统仿真处理，输出针对所述待处理故障信息的电网故障预案生成结果；所述电网故障预案生成结果包括电网故障处置操作中的离散动作和连续动作。
30、第四方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
31、基于构建的强化学习智能体模型和运筹优化智能体模型，采用预想故障训练数据，按照深度强化学习和数学优化的双层优化训练方式进行模型训练，得到故障预案智能体模型；
32、将待处理故障信息输入至所述故障预案智能体模型中训练好的强化学习智能体模型，得到离散动作生成结果；
33、根据所述离散动作生成结果，运行所述故障预案智能体模型中的运筹优化智能体模型，并通过电力系统仿真处理，本文档来自技高网...
【技术保护点】
1.一种基于故障预案智能体模型的电网故障预案生成方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于构建的强化学习智能体模型和运筹优化智能体模型，采用预想故障训练数据，按照深度强化学习和数学优化的双层优化训练方式进行模型训练，得到故障预案智能体模型，包括：
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
5.根据权利要求3所述的方法，其特征在于，所述方法还包括：
6.根据权利要求1所述的方法，其特征在于，所述按照深度强化学习和数学优化的双层优化训练方式进行模型训练，包括：
7.一种基于故障预案智能体模型的电网故障预案生成装置，其特征在于，所述装置包括：
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
...【技术特征摘要】
1.一种基于故障预案智能体模型的电网故障预案生成方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于构建的强化学习智能体模型和运筹优化智能体模型，采用预想故障训练数据，按照深度强化学习和数学优化的双层优化训练方式进行模型训练，得到故障预案智能体模型，包括：
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
5.根据权利要求3所述的方法，其特征在于，所述方法还包括：
6.根据权利要求1所述的方法，其特征在于，所述按照深度强化学习和数...
【专利技术属性】
技术研发人员：钟子涵，牛振勇，胡林麟，吴任博，肖健，王佳，张扬，涂耀文，齐锐，
申请(专利权)人：广东电网有限责任公司广州供电局，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。