【技术实现步骤摘要】
本专利技术属于多能源微电网系统协同优化与碳排放管理，具体涉及一种分层多智能体微电网优化与碳排放管理方法。
技术介绍
1、随着全球能源需求的不断增加和环境保护意识的提升，如何在满足负载需求的同时减少碳排放成为了微电网系统的重要研究方向，现有的微电网优化方法通常未能充分考虑能源波动性与负载随机变化的影响，特别是在多能源并存的复杂系统中，现有的优化策略难以同时实现系统的鲁棒性和可持续性；因此，提供一种采用强化学习算法、提高系统的适应性、提高能源管理效率的一种分层多智能体微电网优化与碳排放管理方法是非常有必要的。
技术实现思路
1、本专利技术的目的是为了克服现有技术的不足，而提供一种采用强化学习算法、提高系统的适应性、提高能源管理效率的一种分层多智能体微电网优化与碳排放管理方法。
2、本专利技术的目的是这样实现的：一种分层多智能体微电网优化与碳排放管理方法，包括以下步骤：
3、步骤1：构建分层多智能体架构，将微电网系统分为上层微电网协同优化和下层单一微电网能量管理；
4、步骤2：在上层中，通过信任域模型实现微电网间的协同优化，管理微电网之间的能量流动；
5、步骤3：在下层中，通过多智能体强化学习算法优化单一微电网内部的能量管理，提升系统的自适应性；
6、步骤4：集成可再生能源与混合储能系统，增强系统对能源波动的适应性；
7、步骤5：基于用电时间费率的策略，优化不同时间段的能量存储和分配，降低高峰时段对电网的依赖；>
8、步骤6：通过碳排放限制模型，优化系统的碳排放策略，减少化石燃料的使用，实现绿色能源管理。
9、所述步骤2中利用信任域模型解决多智能体间决策中的相互排斥问题，具体包括以下步骤：
10、步骤2.1：通过多智能体优势分解引理，在多个设备控制智能体之间建立信任域，信任域基于联合优势函数的分解表示为：其中，为在状态s下的联合优势函数，表示所有智能体在给定联合策略π时的整体决策效果；表示第ij个智能体在其他智能体的确定动作情况下的局部优势；
11、步骤2.2：通过信任域模型的分解，各智能体在优化过程中能够有效减少决策时序中的相互排斥效应，该模型通过将联合优势函数分解为局部优势函数，使得每个智能体只在其“信任域”内进行决策，减少与其他智能体之间的干扰，使得各智能体能够更加独立地进行优化，避免因相互影响而导致的决策冲突。
12、所述步骤2中的信任域模型利用kl散度约束公式用于约束策略更新步长的公式，通过kl散度控制策略更新幅度，确保每次更新不会偏离原有策略过多，保持系统的稳定性：式中，是对经验池中的样本进行归一化，用来对kl散度进行标准化，确保所有样本和时间步的散度都被均匀地考虑；e是经验池中的样本数，t是时间步长；是kl散度，用于衡量两个概率分布之间的差异，表示在时间步t下，状态st和联合策略bt的条件下，旧策略和新策略之间的差异。
13、所述步骤2中的信任域模型在信任域内的策略更新主要作用于控制策略更新的幅度，使得每个智能体在优化时能够逐步调整其策略，而不会发生剧烈变化，通过将步长限制在kl散度约束内，保证了策略更新的平稳性，公式如下：其中，是表示微电网m和智能体n的策略参数，上标a代表智能体的动作空间；αls是一个与线搜索相关的学习率参数；δ是kl散度约束的参数；表示更新的方向向量；表示策略分布的曲率；是步长的缩放因子。
14、所述步骤3中的多智能体强化学习算法具体为：每个智能体独立负责管理微电网中的特定设备，各智能体通过多智能体强化学习算法中的策略优化过程，基于局部环境信息自主选择最优动作，并能够通过实时调整策略提升其对变化环境的适应能力；通过引入热经验池机制，各智能体能够存储和利用历史状态、动作及奖励信息，减少高维度空间中的随机探索；与此同时，智能体之间通过全局评论网络进行协同优化，确保各设备在独立优化的同时，与整体系统的目标保持一致；各智能体通过共享局部策略的结果，协同工作。
15、所述步骤4具体为：集成可再生能源与混合储能系统组合通过模糊逻辑控制器优化能量的分配，确保各储能技术能够根据负载波动和时间使用费率策略进行协同工作；电力平衡公式的作用是确保微电网系统在每个时间段内，各个能源系统的输出能够满足负载需求，用于平衡不同能源来源的输出功率，电力平衡公式如下：pload(j)＝p1(j)+p2(j)+p4(j)+p6(j)+p8(j)(1≤j≤n)(4)，其中，pload(j)表示在时间段j内微电网的总负载需求；p1(j)代表光伏系统在时间j段内产生的功率；p2(j)表示电池系统在时间段j内的功率输出；p4(j)代表水力发电系统的输出功率；p6(j)表示超电容器在时间段j内的功率输出；p8(j)表示电网在时间段j内为负载提供的功率。
16、所述步骤5中的基于用电时间费率的策略具体为：通过监控电价波动，在电价较低时段优先利用电网为储能系统充电，并在电价较高的高峰时段通过储能系统为负载供电，减少高峰时段从电网取电的需求；该策略通过模糊逻辑控制系统动态调整储能设备的充放电行为，确保在负载需求高峰时段最大限度地利用储存的低价电能。
17、所述步骤6中的通过碳排放限制模型，优化系统的碳排放策略，具体为：通过碳排放限制模型优化系统的碳排放策略，包括基于化石燃料的使用状况以及绿色能源供应能力，自动调整能源分配策略，以实现最大限度减少碳排放的目标。
18、所述步骤6中的碳排放限制模型包括建立以下核心指标：
19、①衡量当前能源使用的碳排放水平指标：分析使用化石燃料产生的排放量，包括计算每单位化石燃料所产生的二氧化碳排放量，作为后续优化策略的基础；
20、②整合历史能源消耗和生产模式数据指标：特别是季节性数据，以预测未来不同季节的能源需求，这些数据可以用于制定针对性的碳减排策略，在能源需求高峰期可能更依赖可再生能源，减少化石燃料的使用；
21、③整合各种可再生能源产量的波动性指标：特别是太阳能和风能的季节性变化，以及水能的稳定性，可再生能源的发电量在不同季节有所波动，例如太阳能发电在夏季较为活跃，而风能在3月至8月表现较好，以确保最大限度地利用可再生能源并减少对化石燃料的依赖。
22、本专利技术的有益效果：本专利技术为一种基于分层多智能体强化学习算法的微电网系统优化方法，在使用中，本专利技术方法通过构建分层多智能体架构，将微电网系统分为上层的微电网协同优化和下层的单一微电网能量管理，上层通过信任域模型实现微电网之间的能量流动协同优化，确保各智能体之间的操作稳定性，下层则通过多智能体强化学习算法优化单一微电网的能量管理，提高系统的自适应能力；本专利技术方法集成了光伏、风能等可再生能源与超电容器、抽水蓄能、电池等混合储能系统，以应对能源波动并确保系统稳定运行，同时，通过碳排放限制模型优化系统的碳排放策略，减少化石燃料的使用，促进绿色能源管理；本专利技术方法能够有效降低电网高峰时段的负荷，提升微电网系统的能源管理效本文档来自技高网...
【技术保护点】
1.一种分层多智能体微电网优化与碳排放管理方法，其特征在于：包括以下步骤：
2.如权利要求1所述的一种分层多智能体微电网优化与碳排放管理方法，其特征在于：所述步骤2中利用信任域模型解决多智能体间决策中的相互排斥问题，具体包括以下步骤：
3.如权利要求2所述的一种分层多智能体微电网优化与碳排放管理方法，其特征在于：所述步骤2中的信任域模型利用KL散度约束公式用于约束策略更新步长的公式，通过KL散度控制策略更新幅度，确保每次更新不会偏离原有策略过多，保持系统的稳定性：式中，是对经验池中的样本进行归一化，用来对KL散度进行标准化，确保所有样本和时间步的散度都被均匀地考虑；E是经验池中的样本数，T是时间步长；
4.如权利要求3所述的一种分层多智能体微电网优化与碳排放管理方法，其特征在于：所述步骤2中的信任域模型在信任域内的策略更新主要作用于控制策略更新的幅度，使得每个智能体在优化时能够逐步调整其策略，而不会发生剧烈变化，通过将步长限制在KL散度约束内，保证了策略更新的平稳性，公式如下：其中，是表示微电网m和智能体n的策略参数，上标a代表智能体的动作空间
5.如权利要求1所述的一种分层多智能体微电网优化与碳排放管理方法，其特征在于：所述步骤3中的多智能体强化学习算法具体为：每个智能体独立负责管理微电网中的特定设备，各智能体通过多智能体强化学习算法中的策略优化过程，基于局部环境信息自主选择最优动作，并能够通过实时调整策略提升其对变化环境的适应能力；通过引入热经验池机制，各智能体能够存储和利用历史状态、动作及奖励信息，减少高维度空间中的随机探索；与此同时，智能体之间通过全局评论网络进行协同优化，确保各设备在独立优化的同时，与整体系统的目标保持一致；各智能体通过共享局部策略的结果，协同工作。
6.如权利要求1所述的一种分层多智能体微电网优化与碳排放管理方法，其特征在于：所述步骤4具体为：集成可再生能源与混合储能系统组合通过模糊逻辑控制器优化能量的分配，确保各储能技术能够根据负载波动和时间使用费率策略进行协同工作；电力平衡公式的作用是确保微电网系统在每个时间段内，各个能源系统的输出能够满足负载需求，用于平衡不同能源来源的输出功率，电力平衡公式如下：Pload(j)＝P1(j)+P2(j)+P4(j)+P6(j)+P8(j)(1≤j≤N)(4)，其中，Pload(j)表示在时间段j内微电网的总负载需求；P1(j)代表光伏系统在时间j段内产生的功率；P2(j)表示电池系统在时间段j内的功率输出；P4(j)代表水力发电系统的输出功率；P6(j)表示超电容器在时间段j内的功率输出；P8(j)表示电网在时间段j内为负载提供的功率。
7.如权利要求1所述的一种分层多智能体微电网优化与碳排放管理方法，其特征在于：所述步骤5中的基于用电时间费率的策略具体为：通过监控电价波动，在电价较低时段优先利用电网为储能系统充电，并在电价较高的高峰时段通过储能系统为负载供电，减少高峰时段从电网取电的需求；该策略通过模糊逻辑控制系统动态调整储能设备的充放电行为，确保在负载需求高峰时段最大限度地利用储存的低价电能。
8.如权利要求1所述的一种分层多智能体微电网优化与碳排放管理方法，其特征在于：所述步骤6中的通过碳排放限制模型，优化系统的碳排放策略，具体为：通过碳排放限制模型优化系统的碳排放策略，包括基于化石燃料的使用状况以及绿色能源供应能力，自动调整能源分配策略，以实现最大限度减少碳排放的目标。
9.如权利要求8所述的一种分层多智能体微电网优化与碳排放管理方法，其特征在于：所述步骤6中的碳排放限制模型包括建立以下核心指标：
...【技术特征摘要】
1.一种分层多智能体微电网优化与碳排放管理方法，其特征在于：包括以下步骤：
2.如权利要求1所述的一种分层多智能体微电网优化与碳排放管理方法，其特征在于：所述步骤2中利用信任域模型解决多智能体间决策中的相互排斥问题，具体包括以下步骤：
3.如权利要求2所述的一种分层多智能体微电网优化与碳排放管理方法，其特征在于：所述步骤2中的信任域模型利用kl散度约束公式用于约束策略更新步长的公式，通过kl散度控制策略更新幅度，确保每次更新不会偏离原有策略过多，保持系统的稳定性：式中，是对经验池中的样本进行归一化，用来对kl散度进行标准化，确保所有样本和时间步的散度都被均匀地考虑；e是经验池中的样本数，t是时间步长；
4.如权利要求3所述的一种分层多智能体微电网优化与碳排放管理方法，其特征在于：所述步骤2中的信任域模型在信任域内的策略更新主要作用于控制策略更新的幅度，使得每个智能体在优化时能够逐步调整其策略，而不会发生剧烈变化，通过将步长限制在kl散度约束内，保证了策略更新的平稳性，公式如下：其中，是表示微电网m和智能体n的策略参数，上标a代表智能体的动作空间；αls是一个与线搜索相关的学习率参数；δ是kl散度约束的参数；表示更新的方向向量；表示策略分布的曲率；是步长的缩放因子。
5.如权利要求1所述的一种分层多智能体微电网优化与碳排放管理方法，其特征在于：所述步骤3中的多智能体强化学习算法具体为：每个智能体独立负责管理微电网中的特定设备，各智能体通过多智能体强化学习算法中的策略优化过程，基于局部环境信息自主选择最优动作，并能够通过实时调整策略提升其对变化环境的适应能力；通过引入热经验池机制，各智能体能够存储和利用历史状态、动作及奖励信息，减少高维度空间中的随机探索；与此同时，智能体之间通过全局评论网络进行协同优化，确保各设备在独立优化的同时，与整体系统的目标保持...
【专利技术属性】
技术研发人员：郭雪丽，王莹，张雪煜，刘沛，冀宇红，王辛晨，马祥云，朱俊，林丽，董捷，王宇晨，
申请(专利权)人：国网河南省电力公司南阳供电公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。