【技术实现步骤摘要】
本专利技术涉及多微网协调控制，尤其涉及一种基于深度学习的多微网协调控制方法。
技术介绍
1、微电网也译为微网，是指由分布式电源、储能装置、能量转换装置、负荷、监控和保护装置等组成的小型发配电系统。微电网的提出旨在实现分布式电源的灵活、高效应用，解决数量庞大、形式多样的分布式电源并网问题，开发和延伸微电网能够充分促进分布式电源与可再生能源的大规模接入，实现对负荷多种能源形式的高可靠供给，是实现主动式配电网的一种有效方式，使传统电网向智能电网过渡。微电网是一个可以实现自我控制、保护和管理的自治系统，它作为完整的电力系统，依靠自身的控制及管理供能实现功率平衡控制、系统运行优化、故障检测与保护、电能质量治理等方面的功能。
2、其中，多微电网是一种由多个微电网组成的系统，这些微电网可以独立运行，也可以相互连接以实现更大的灵活性和可靠性。每个微电网通常由分布式能源(der)、储能系统、电力负荷、计量、保护和能源管理系统等组成，能够实现局部的能源生产和消费平衡。这些微电网通常由以下组件构成：分布式电源：包括太阳能、风能、生物质能等可再生能源发电设备。储能系统：如锂离子电池、钠电池等，用于储存和调节能源。电力负荷：包括建筑物负载和住户负载等。电力电子设备：如智能功率仪表、柔性直流输电设备等。能源管理系统；负责整体能源的调度和管理。
3、多微电网的应用场景非常广泛，可以应用于工业园区、商业综合体、住宅楼、公共建筑等多种场景。其优势包括：提高能源利用效率：通过优化能源管理和分配，减少能源浪费。增强系统可靠性：在主电网故障时，
4、然而，大量的风力发电、光伏发电等分布式可再生能源接入配电网，加大了配电网结构的复杂性以及管理和控制的难度，影响了电网运行的安全可靠性，面向配电网的多微电网系统这一概念的提出在一定程度上能够缓解上述问题，为复杂电网的协调运行提供了新的思路。多微网系统的能量管理与优化调度是多微网系统研究的一个关键点，而经济性调度是电网运行的重点，也是用户关注的热点因此，需要采取合理有效的调度方法使多微电系统能够协调经济运行，提高配电网下多微网系统运行的协调性和安全性。
技术实现思路
1、本专利技术公开一种基于深度学习的多微网协调控制方法，旨在解决
技术介绍
中的技术问题。
2、为了实现上述目的，本专利技术采用了如下技术方案：
3、一种基于深度学习的多微网协调控制方法，包括多微电网模型构建、决策数学模型构建和基于深度强化学习模型构建三个部分；
4、其中，多微电网模型由一个风力发电的分布式电源，一个公共的储能系统，一组恒温控制负荷如园区恒温系统、制热系统和制冷系统等，以及一组园区负荷组成的新型微电网模型，同时多微电网与主电网相连，可以在电力系统中进行能源的买卖；
5、其中，决策数学模型采用马尔科夫决策过程；
6、其中，基于深度强化学习模型采用ac算法进行构建，采用多个智能体共同探索实现异步训练，加快模型的收敛，同时减少样本的关联性。
7、3、在一个优选的方案中，多微电网模型构建包括以下步骤：
8、s1、多微电网优化调度，其根据能量状况对储能装置和其与主电网的交互进行控制，同时对恒温控制负载和园区负载进行控制，目标函数可表示为：
9、
10、上述式中，rt表示在t时刻微电网中出售电力给用户和主电网所获得的收入，ct表示在t时刻微电网发电，及从主电网购电和输电所花的成本；上述式中，pt表示微电网卖给用户电力的价格；表示第i组园区负荷所消耗的功率；cgen是发电成本；ub,t(j)表示第j组tcl备份控制器决定的开关动作；wac,t表示微电网中的恒温控制负荷总数；表示下调价格，即向主电网出售电力的价格；表示出售给主电网的电量；上述式中，gt和分别为风力发出的电量和从主电网购买的电量；表示上调价格，即向主电网购买电力的价格；ctimp和分别表示从外网输入和输送到外网的输电成本；
11、s2、满足约束条件，多微电网调度优化调度需要满足下列约束条件：
12、1)功率平衡约束条件：
13、2)储能系统运行约束条件：
14、3)与主电网交互约束条件：
15、4)恒温控制负荷约束条件。
16、在一个优选的方案中，马尔科夫决策过程包括状态空间s、动作空间a和奖励函数r()。
17、在一个优选的方案中，状态空间s是由智能体在每个时间t与微电网环境进行交互产生的；动作空间a是根据t时刻下的微电网状态st，系统对风力所发出的电量和与主电网的交互进行调度来实现微电网系统的能量分配；奖励函数r()为定义t时刻下的微电网总运行成本为奖励值。
18、在一个优选的方案中，ac算法将值函数网络和策略网络结合使用，策略梯度(policy gradient，pg)可以在连续动作空间上进行动作，但其在每一个回合结束后才进行参数的训练，无法单步更新，学习效率比较慢，而q learning可以进行单步更新，但动作只能局限在离散空间上，二者优势互补，将二者相结合形成了ac算法。
19、在一个优选的方案中，ac算法由两个神经网络组成，π(a,s；θ)为策略网络actor，θ为网络参数；q(s,a；w)为价值网络critic，ω为网络参数。在与环境进行交互时，actor策略网络根据环境状态输出动作critic价值网络需要输入状态和动作，该网络的作用是对actor网络所选的动作进行评判；actor网络参数的更新目标是为了获取更大的critic网络输出值，使策略不断优化；critic网络参数的更新目标是通过环境给出的奖励值来对自己的打分系统进行优化，使打分更加标准，从而不断优化策略网络的动作。
20、由上可知。本专利技术提供的利用一种基于深度学习的多微网协调控制方法以多微电网经济运行费用最小为优化目标，在基于ac算法的框架上，并基于马尔科夫决策过程将微电网优化调度问题进行建模分析，通过不断与微电网环境进行交互试错获取大量的调度经验来训练神经网络，利用训练好的神经网络生成决策来控制储能装置的动作和其与主电网进行电力交互，实现微电网经济调度优化，而且该算法训练时间更短，算法模型给出的调度策略经济效益更高，可以有效地降低风电波动性对微电网安全经济运行的影响。
本文档来自技高网...【技术保护点】
1.一种基于深度学习的多微网协调控制方法，其特征在于，包括多微电网模型构建、决策数学模型构建和基于深度强化学习模型构建三个部分；
2.根据权利要求1所述的一种基于深度学习的多微网协调控制方法，其特征在于，所述多微电网模型构建包括以下步骤：
3.根据权利要求1所述的一种基于深度学习的多微网协调控制方法，其特征在于，所述马尔科夫决策过程包括状态空间S、动作空间A和奖励函数R()。
4.根据权利要求3所述的一种基于深度学习的多微网协调控制方法，其特征在于，所述状态空间S是由智能体在每个时间T与微电网环境进行交互产生的；所述动作空间A是根据T时刻下的微电网状态ST，系统对风力所发出的电量和与主电网的交互进行调度来实现微电网系统的能量分配；所述奖励函数R()为定义T时刻下的微电网总运行成本为奖励值。
5.根据权利要求1所述的一种基于深度学习的多微网协调控制方法，其特征在于，所述AC算法将值函数网络和策略网络结合使用，策略梯度(Policy Gradient，PG)可以在连续动作空间上进行动作，但其在每一个回合结束后才进行参数的训练，无法单步更
6.根据权利要求5所述的一种基于深度学习的多微网协调控制方法，其特征在于，所述AC算法由两个神经网络组成，π(a,s；θ)为策略网络Actor，θ为网络参数；q(s,a；w)为价值网络Critic，ω为网络参数。在与环境进行交互时，Actor策略网络根据环境状态输出动作Critic价值网络需要输入状态和动作，该网络的作用是对Actor网络所选的动作进行评判；Actor网络参数的更新目标是为了获取更大的Critic网络输出值，使策略不断优化；Critic网络参数的更新目标是通过环境给出的奖励值来对自己的打分系统进行优化，使打分更加标准，从而不断优化策略网络的动作。
...【技术特征摘要】
1.一种基于深度学习的多微网协调控制方法，其特征在于，包括多微电网模型构建、决策数学模型构建和基于深度强化学习模型构建三个部分；
2.根据权利要求1所述的一种基于深度学习的多微网协调控制方法，其特征在于，所述多微电网模型构建包括以下步骤：
3.根据权利要求1所述的一种基于深度学习的多微网协调控制方法，其特征在于，所述马尔科夫决策过程包括状态空间s、动作空间a和奖励函数r()。
4.根据权利要求3所述的一种基于深度学习的多微网协调控制方法，其特征在于，所述状态空间s是由智能体在每个时间t与微电网环境进行交互产生的；所述动作空间a是根据t时刻下的微电网状态st，系统对风力所发出的电量和与主电网的交互进行调度来实现微电网系统的能量分配；所述奖励函数r()为定义t时刻下的微电网总运行成本为奖励值。
5.根据权利要求1所述的一种基于深度学习的多微网协调控制方法，其特征在于，所述ac算法将值函数网络和策略网...
【专利技术属性】
技术研发人员：孟祥东，纪秀，田春光，李德鑫，吕项羽，郑博阳，张海洋，张海锋，王佳蕊，张懿夫，
申请(专利权)人：国网吉林省电力有限公司电力科学研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。