【技术实现步骤摘要】
本专利技术涉及配电网，具体而言，涉及一种配电网有功无功的优化方法、优化装置、计算机可读存储介质和计算机程序产品。
技术介绍
1、在配电网管理领域，随着光伏(pv)系统和其他可再生能源的广泛部署，配电网的运行模式正在从传统的被动电网向活跃的主动电网转变。在此过程中，逆变器驱动的pv系统不仅为电网提供了清洁能源，还被动员来提供无功功率支持，以便根据ieee标准1547.8调节电压，同时在配电网中安装储能系统(ess)也可以完成能量的时空转移，完成对配电网的优化。尽管pv和ess在配电网调控时具备快速、连续等优势，但随着灵活性负荷以及pv的比例越来越高，配电网功率的不确定性也越来越强，且网损增大和电压越限现象也越发严重。
2、传统配电网的有功无功优化方法通常采用基于详尽物理模型的集中式优化策略。这些策略通过协调有载分接开关、电容器组以及pv这类响应速度不一的设备，来实现电压调节。例如，集中控制方案经常采用模型预测控制、基于全分布式交替方向乘子法的优化算法，或者是结合分布式和局部控制的电压调节策略。然而，这些基于模型的方法依赖于对系统模型和参数的精确了解，对于现代的大型、复杂且测量单元有限的配电系统来说，这种依赖是不切实际的。针对这些挑战，一些研究人员近年来提出了基于深度强化学习算法(drl)的数据驱动配电网有功无功优化方法，这种方法减少了对系统精确参数的依赖。drl方法如ddpg、ppo和sac等已被应用于集中式功率控制，而maddpg和masac等算法则用于分布式控制策略。现有基于drl算法的有功无功协同优化方法在执行配
技术实现思路
1、本申请的主要目的在于提供一种配电网有功无功的优化方法、优化装置、计算机可读存储介质和计算机程序产品，以至少解决现有技术中配电网有功无功优化过程中安全约束无法保证的间题。
2、为了实现所述目的，根据本申请的一个方面，提供了一种配电网有功无功的优化方法，包括：基于马尔可夫决策过程构建配电网的马尔可夫决策模型，所述马尔可夫决策过程用于描述对所述配电网的有功功率和无功功率进行协同优化的过程，所述马尔可夫决策模型为对所述配电网的所述有功功率和所述无功功率进行协同优化的模型；在深度强化学习算法中引入指导规则，并对所述深度强化学习算法中的参数进行更新，得到改进深度强化学习算法，所述深度强化学习算法用于通过与配电网的环境进行交互来学习做出最佳的决策，所述指导规则用于确保在最小化有功功率损耗的情况下配电网中线路节点的电压不发生越限，所述越限为所述电压超过电压上限或电压下限；采用所述改进深度强化学习算法对所述马尔可夫决策模型进行求解，得到电压调节策略，并根据所述电压调节策略对电压进行调节控制，所述电压调节策略为通过协调优化光伏系统的无功功率和储能系统的有功功率来实现电压调节。
3、可选地，在基于马尔可夫决策过程构建配电网的马尔可夫决策模型之前，所述方法还包括：获取配电网的运行数据，所述运行数据至少包括所述配电网在任意时刻线路节点的有功功率注入量、无功功率注入量和电压幅值，所述有功功率注入量为所述线路节点注入负荷对应的有功功率，所述无功功率注入量为所述线路节点注入负荷对应的无功功率；将所述运行数据输入至电力分析工具，以利用所述电力分析工具对所述运行数据进行潮流计算，得到优化运行数据，所述电力分析工具至少用于执行电力系统潮流分析和负荷流动；根据所述优化运行数据确定配电网有功无功优化的环境。
4、可选地，基于马尔可夫决策过程构建配电网的马尔可夫决策模型，包括：获取状态空间、动作空间和奖励函数，所述状态空间包括多个状态，所述状态包括所述配电网在任意时刻各所述线路节点的有功功率注入量、无功功率注入量和电压幅值，所述动作空间包括多个动作，所述动作包括所述配电网中光伏节点的无功输出和储能节点的有功输出，所述奖励函数用于判断执行所述动作的标准性，所述光伏节点为所述线路节点中连接了光伏发电站的节点，所述储能节点为所述线路节点中连接了储能设备的节点；根据当前状态执行当前动作进行状态转移，得到下一状态和奖励值，所述当前状态为当前时刻的所述状态，所述当前状态为所述当前时刻选择的所述动作，所述奖励值为在所述当前执行所述当前动作后所获得的数值，所述下一状态为所述当前时刻的下一个时刻的所述状态；根据所述当前状态、所述当前动作、所述下一状态和所述奖励值形成经验轨迹，所述经验轨迹为执行动作后根据状态变化所形成的状态序列；根据所述状态空间、所述动作空间、所述奖励函数和所述经验轨迹构建所述马尔可夫决策模型。
5、可选地，在深度强化学习算法中引入指导规则之前，所述方法还包括：获取第一电压灵敏度矩阵和第二电压灵敏度矩阵，所述第一电压灵敏度矩阵用于表示所述电压幅值与所述光伏节点的无功功率之间的关系矩阵，所述第二电压灵敏度矩阵用于表示所述电压幅值与所述储能节点的有功功率之间的关系矩阵；在任意所述线路节点的电压值大于电压上限值的情况下，确定第一指导规则，所述第一指导规则为根据第一公式对所述光伏节点输出的所述无功功率和所述储能节点输出的所述有功功率进行修正，所述第一公式为表示修正后的所述储能节点输出的所述有功功率，表示修正后的所述光伏节点输出的所述无功功率，vmax表示所述电压上限值，vmin表示电压下限值，表示修正前的所述储能节点输出的所述有功功率，表示修正前的所述光伏节点输出的所述无功功率，spv表示所述第一电压灵敏度矩阵，sqv表示所述第二电压灵敏度矩阵，vi，t表示第i个所述线路节点在t时刻的所述电压值；在任意所述线路节点的电压值小于所述电压下限值的情况下，确定第二指导规则，所述第二指导规则为根据第二公式对所述光伏节点输出的所述无功功率和所述储能节点输出的所述有功功率进行修正，所述第二公式为
6、可选地，在对所述深度强化学习算法中的参数进行更新，得到改进强化算法之前，所述方法还包括：根据第一情况下的所述经验轨迹，得到危险经验轨迹，所述第一情况为在执行所述动作空间内的任意一个所述动作时导致电压越限的情况；根据第二情况下的所述经验轨迹，得到安全经验轨迹，所述第二情况为在对所述光伏节点输出的所述无功功率和所述储能节点输出的所述有功功率进行修正后执行所述动作的情况；根据所述危险经验轨迹和所述安全经验轨迹确定混合经验轨迹池。
7、可选地，对所述深度强化学习算法中的参数进行更新，得到改进深度强化学习算法，包括：初始化价值参数和策略参数，所述价值参数为价值网络需更新的参数，所述策略参数为策略网络需更新的参数，所述价值网络用于通过高斯分布的均值和方差将所述状态映射为所述动作，所述策略网络用于将所述状态和所述动作映射为一个标量值来评估所本文档来自技高网...
【技术保护点】
1.一种配电网有功无功的优化方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，在基于马尔可夫决策过程构建配电网的马尔可夫决策模型之前，所述方法还包括：
3.根据权利要求1所述的方法，其特征在于，基于马尔可夫决策过程构建配电网的马尔可夫决策模型，包括：
4.根据权利要求3所述的方法，其特征在于，在深度强化学习算法中引入指导规则之前，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，在对所述深度强化学习算法中的参数进行更新，得到改进强化算法之前，所述方法还包括：
6.根据权利要求3所述的方法，其特征在于，对所述深度强化学习算法中的参数进行更新，得到改进深度强化学习算法，包括：
7.根据权利要求5所述的方法，其特征在于，利用随机梯度法对价值网络和策略网络中的参数进行更新，包括：
8.一种配电网有功无功的优化装置，其特征在于，所述装置包括：
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质
10.一种计算机程序产品，包括计算机指令，其特征在于，所述计算机指令被处理器执行时实现权利要求1至7任意一项所述的方法。
...【技术特征摘要】
1.一种配电网有功无功的优化方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，在基于马尔可夫决策过程构建配电网的马尔可夫决策模型之前，所述方法还包括：
3.根据权利要求1所述的方法，其特征在于，基于马尔可夫决策过程构建配电网的马尔可夫决策模型，包括：
4.根据权利要求3所述的方法，其特征在于，在深度强化学习算法中引入指导规则之前，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，在对所述深度强化学习算法中的参数进行更新，得到改进强化算法之前，所述方法还包括：
6.根据权利要求3所述的方法，其特征...
【专利技术属性】
技术研发人员：曹安瑛，丘冠新，甘德树，林桂辉，侯祖锋，毛植坚，张勇，舒放，钟哲彦，黄志新，陈建钿，徐春华，吴海雄，凌华保，韦伯鲁，徐向军，冯佲倩，
申请(专利权)人：广东电网有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。