【技术实现步骤摘要】
本专利技术涉及新能源领域，具体是一种光储一体装置联合运行策略生成方法、系统及介质。
技术介绍
1、太阳能是一种广泛存在的可再生能源，具有广泛的应用前景。但是，太阳能发电系统的发电效率、不稳定性和可靠性等问题一直困扰着人们。为了解决这些问题，研究者们开始将太阳能发电系统与储能系统进行集成，形成了光储一体机。光储一体机是将太阳能发电系统和储能系统集成在一起的一种新型设备，它通过光伏发电系统将太阳能转化为电能，并将电能储存到电池储能系统中，从而在需要时提供电力供应。光储一体机集光伏发电与储能功能于一体，可以减少电网的负担，提高电能利用率，具有广阔的应用前景。在光储一体机的控制策略方面， 研究人员们通常采用pid控制、模糊控制、神经网络控制、最大功率点跟踪控制等控制策略。
2、但是在多个光储一体机联合运行形成的局部微网的场景中，考虑到在一个台区内，光伏和储能的容量有所不同，通过多个光储一体机联合控制，能够内部均衡，内部平衡，从而降低损耗，减少外部电网的纳入。如何对这些光储一体机进行控制，还缺乏相关的研究。
技术实现思路
1、本专利技术要解决的技术问题是提供一种光储一体装置联合运行策略生成方法、系统及介质，针对多个光储一体机联合运行的场景，基于多智能体强化学习方法，设计了一种多光储一体机联合运行策略生成方法，实现多光储一体机组成的微网内的能量互济和能量交换，实现微网内能源互济和设备高效率使用。
2、为了解决所述技术问题，本专利技术采用的技术方案是：一种光储一体装置联合
3、s01、通过输入/输出功率对单个光储一体微网系统进行定量建模，将每个光储一体微网系统视为一个智能体，单个智能体的输入/输出功率为其对应的光伏发电功率、光储功率以及负荷消耗功率之和；
4、s02、多个光储一体微网系统组成整体光储微网系统，整体光储微网系统内部能量互济，以整体光储微网系统运行成本最小化为优化目标；
5、s03、将整体光储微网系统运行成本最小化问题转化成强化学习的激励最大化问题，定义强化学习的激励为：
6、，
7、其中f表示整体光储微网系统运行成本；
8、定义强化学习的动作值函数为：
9、，
10、其中表示在t时刻采取的动作，表示t时刻的环境信息，表示环境信息和环境反馈的奖励，表示动作a是由策略生成的，表示给定策略下一个随机变量的期望值，表示时间t下的奖励；
11、定义动作为时刻t下每个光储一体微网系统的光伏功率及储能功率，定义环境信息包括时刻t的电价信息、运行成本信息、负荷信息；
12、s04、基于ac框架构建强化学习网络，actor表示学习的策略，输入是环境信息，输出为动作值，作用是智能体在不同的环境信息下输出动作，critic是学习的值函数，输入是环境信息及工作，输出是动作价值q，用于评估相应环境信息下动作的价值，通过actor与critic多个周期的迭代计算，获取具有最大奖励的动作序列。
13、进一步的，步骤s04）具体为：
14、s41、定义actor的动作函数和critic的值网络，s表示环境信息，a表示动作，为actor的网络参数，为critic的网络参数；
15、采用深度神经网络构成actor网络和critic网络，actor网络输入为环境信息，输出为动作值，critic网络输入信息为环境信息及动作，输出为动作价值q；
16、s42、定义迭代周期为m，单个周期执行步数为t，每个时间步，构造一个独立的探索策略来承担智能体的探索问题，即：
17、
18、其中为噪声，用于在动作之中添加噪声，
19、执行动作，探索策略与环境交互获得奖励与环境信息，存入经验池，作为与环境交互的反馈；
20、s43、在经验池中随机选取数量为z的数据，令：
21、，
22、其中表示第i个智能体的奖励，表示折扣因子，为固定值，用于控制算法的更新速度，表示critic网络的目标网络，表示actor网络的目标网络；
23、更新critic网络，
24、其中l表示损失函数，
25、更新actor网络,
26、表示对下标变量进行偏导计算，是一种偏导计算的形式，在右下参数为这个值时计算偏导；表示预期收益；
27、通过软更新目标网络参数：
28、
29、
30、其中，且为一预设值，
31、最终形成目标策略，部署成为多个光储一体机联合运行的策略。
32、进一步的，步骤s42中，预设策略经验池，将单个光储一体微网系统的工作模式分为以下五种：
33、模式1：当光伏能量多余时，向储能系统充电；
34、模式2：当光伏系统能量多余时，向内部微网或电网馈电；
35、模式3：当光伏不能满足负荷需要时，光伏与储能一起向负荷供电；
36、模式4：若光伏和储能都无法满足，电网向负荷直接供电；
37、模式5：电网向储能系统充电；
38、基于光储一体微网系统的工作模式，
39、基于上面的单个光储一体微网系统工作模式，将部署在强化学习训练环境中进行交互，生成一系列的经验池数据，其形式为，每种工作模式对应多组数据，数据作为前期的经验池，为策略学习提供经验，在后续的强化学习算法迭代中，同时随机选取数据和通过强化学习算法获得的数据，进行数据更新。
40、进一步的，迭代过程中，环境信息包括负荷信息、当地的电价信息以及每个光储一体微网系统的储能容量和最大运行效率。
41、进一步的，步骤s02中，定义整体光储微网系统的优化目标为：
42、，
43、其中，
44、f表示整体光储微网系统的运行成本，表示时刻整体光储微网系统向大电网的交互成本，在计算时用购电成本减去售电成本，表示t 时刻储能系统的维护成本，表示光伏系统在t 时刻的运维费用，和分别表示t 时刻的购电功率和售电功率；表示时刻的购电价格；表示时刻的售电价格。
45、进一步的，步骤s01中，单个智能体的输入/输出功率表示为：
46、；
47、其中表示光伏发电功率，，表示光伏逆变器的最大功率，也是光伏发电功率的最大值，为储能系统输出或者输入的功率，正值为储能输出功率，负值为储能输入功率，，表示储能变流器的最大功率，并且受到电池容量的控制，，表示光储一体微网系统自身的当前电池容量，t为时间，为光储一体微网系统的负荷消耗，默认为负值，为光储一体微网系统的实时功率，若为负值，则说明需要其他光储一体微网系统或者大电网向其提供功率，若为正值，则说明其向其他光储一体微网系统传递能量；
48、将n个光储一体微网系统组合起来成为整体光储微网系统，整体光储微网系统内部能量互济，整体光储微网本文档来自技高网...
【技术保护点】
1.一种光储一体装置联合运行策略生成方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的光储一体装置联合运行策略生成方法，其特征在于：步骤S04）具体为：
3.根据权利要求2所述的光储一体装置联合运行策略生成方法，其特征在于：步骤S42中，预设策略经验池，将单个光储一体微网系统的工作模式分为以下五种：
4.根据权利要求2所述的光储一体装置联合运行策略生成方法，其特征在于：迭代过程中，环境信息包括负荷信息、当地的电价信息以及每个光储一体微网系统的储能容量和最大运行效率。
5.根据权利要求1所述的光储一体装置联合运行策略生成方法，其特征在于：步骤S02中，定义整体光储微网系统的优化目标为：
6.根据权利要求1所述的光储一体装置联合运行策略生成方法，其特征在于：步骤S01中，单个智能体的输入/输出功率表示为：
7.根据权利要求2所述的光储一体装置联合运行策略生成方法，其特征在于：
8.根据权利要求2所述的光储一体装置联合运行策略生成方法，其特征在于：单个周期执行步数为一天，每个时间步为一个小时。<...
【技术特征摘要】
1.一种光储一体装置联合运行策略生成方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的光储一体装置联合运行策略生成方法，其特征在于：步骤s04）具体为：
3.根据权利要求2所述的光储一体装置联合运行策略生成方法，其特征在于：步骤s42中，预设策略经验池，将单个光储一体微网系统的工作模式分为以下五种：
4.根据权利要求2所述的光储一体装置联合运行策略生成方法，其特征在于：迭代过程中，环境信息包括负荷信息、当地的电价信息以及每个光储一体微网系统的储能容量和最大运行效率。
5.根据权利要求1所述的光储一体装置联合运行策略生成方法，其特征在于：步骤s02中，定义整体光储微网系统的优化目标为：
6.根据权利要求...
【专利技术属性】
技术研发人员：李军，邢介邦，韩己红，李雪玲，刘娟，宋梦雪，马仁龙，曹玉祥，王立明，吴园园，翟绪梅，王坤，张国珍，
申请(专利权)人：山东电工电气集团数字科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。