【技术实现步骤摘要】
本专利技术涉及能源调度，尤其涉及一种基于多智能体的能源节点优化调节方法及装置。
技术介绍
1、随着能源危机和环境污染问题日益严峻，研究开发绿色清洁的可再生能源已成为我国的能源发展战略和技术方向。因此，包含风电、光伏、储能单元等分布式能源发展迅速，并广泛应用。而以风能和光伏为代表的分布式能源具有间歇性、随机性、波动性特点，给大规模分布式能源并网消纳以及电网的优化调度带来了极大的挑战。建立良好的微电网调度体系，对于保持电网稳定，确保供电质量，减小发电成本具有重要意义。
2、然而，目前微电网中分布式电源的种类繁多、运行状态多样、输出特性及控制方法各异，且存在很多不稳定供电电源。因此，构建良好的微电网优化调度体系，维持供电电压、频率、有功无功分配比例稳定，将多种能源进行融合互补、协同优化，构建综合能源系统成为当务之急。
技术实现思路
1、本专利技术实施例提供了一种基于多智能体的能源节点优化调节方法及装置，以解决对微电网中能源节点进行优化调度的问题。
2、第一方面，本专利技术实施例提供了一种基于多智能体的能源节点优化调节方法，应用于微网系统，微网系统中包括多个能源设备，设备包括分布式电源、用电负荷和储能装置；该方法包括：
3、针对每个能源设备，将该能源设备在微网系统中的运行参数组成该能源设备的状态向量；其中，运行参数包括额定功率、输出角频率、电流和电压；
4、针对每个能源设备，将该能源设备的状态向量输入该能源设备内置的经过训练的智能体，确定该能
5、基于各个动作向量，对微网系统中各个能源设备进行优化调节。
6、在一种可能的实现方式中，针对每个能源设备，将该能源设备的状态向量输入该能源设备内置的经过训练的智能体，确定该能源设备的动作向量，包括：
7、将第一能源设备的状态向量输入第一能源设备内置的智能体，基于第一能源设备内置的经过训练的智能体对应的状态-动作-值函数，确定第一能源设备的动作向量；其中，第一能源设备为任一能源设备。
8、在一种可能的实现方式中，在针对每个能源设备，将该能源设备的状态向量输入该能源设备内置的智能体，确定该能源设备的动作向量之前，还包括：
9、获取各个能源设备在微网系统中的历史运行参数，并组成历史状态向量；
10、基于各个历史状态向量对各个智能体进行强化训练，得到多个经过训练的智能体。
11、在一种可能的实现方式中，基于各个历史状态向量对各个智能体进行强化训练，得到多个经过训练的智能体，包括：
12、在各个智能体中选取多个行动者和多个学习者；其中，每个行动者用于基于该行动者所在的能源设备对应的历史状态向量，执行不同的动作，得到历史状态向量对应的动作和值，并作为经验存储到经验池，每个学习者用于基于约束条件、惩罚函数和损失函数计算经验池中各个经验对应的损失函数值；
13、基于梯度下降法对各个智能体的状态-动作-值函数的参数进行更新，确定各个智能体的最优状态-动作-值函数，得到多个经过训练的智能体。
14、在一种可能的实现方式中，最优状态*动作*值函数为：
15、
16、其中，q*(st，at)为最优状态-动作-值函数，st为t时刻能源设备的状态向量，at为t时刻能源设备的动作向量，π为策略值，eπ为在策略π作用下产生的长期回报期望，rt+1表示t+1时刻的惩罚函数，γ为未来回报的折扣因子。
17、在一种可能的实现方式中，约束条件包括：
18、
19、其中，为t时刻能源设备i与能源设备j的输出角频率之差，δ0为输出角频率差值阈值，为t时刻能源设备i的输出角频率，为t时刻能源设备i与能源设备j的电压之差，为电压差值阈值，为t时刻能源设备i的电压，为t时刻能源设备i与能源设备j的可调功率比之差，ε0为可调功率比差值阈值，为t时刻能源设备i的可调功率比，为能源设备i的额定功率，为t时刻能源设备i的可调功率。
20、在一种可能的实现方式中，惩罚函数为：
21、
22、其中，rt为t时刻能源设备i与能源设备j的惩罚函数值，α为输出角频率惩罚系数，为t时刻能源设备i与能源设备j的输出角频率之差，β为电压惩罚系数，为t时刻能源设备i与能源设备j的电压之差，k为功率惩罚系数，为t时刻能源设备i与能源设备j的可调功率比之差。
23、在一种可能的实现方式中，损失函数为：
24、l(θ)＝e[(targetq-q*(s，a，θ))2]
25、
26、其中，l(θ)为损失函数，θ为权重参数，e[·]为期望，targetq为目标q值，q*(s，a，θ)为最优状态-动作-值函数，r为惩罚函数，γ为未来回报的折扣因子。
27、第二方面，本专利技术实施例提供了一种基于多智能体的能源节点优化调节装置，应用于微网系统，微网系统中包括多个能源设备，设备包括分布式电源、用电负荷和储能装置；该装置包括：
28、获取模块，用于针对每个能源设备，将该能源设备在微网系统中的运行参数组成该能源设备的状态向量；其中，运行参数包括额定功率、输出角频率、电流和电压；
29、计算模块，用于针对每个能源设备，将该能源设备的状态向量输入该能源设备内置的经过训练的智能体，确定该能源设备的动作向量；其中，动作向量包括能源设备的有功频率下垂特性系数和无功电压下垂特性系数；
30、调节模块，用于基于各个动作向量，对微网系统中各个能源设备进行优化调节。
31、本专利技术实施例提供一种基于多智能体的能源节点优化调节方法及装置，依托微电网生态系统，基于分布式能源运行特征，设计了一种将多智能体深度强化学习技术融入分布式能源节点，分别确定各能源节点的动作向量，利用动作向量中的下垂特性系数实现自主调节和优化，保持微网中各节点功率、系统频率和电压的稳定。
本文档来自技高网...【技术保护点】
1.一种基于多智能体的能源节点优化调节方法，其特征在于，应用于微网系统，所述微网系统中包括多个能源设备，所述设备包括分布式电源、用电负荷和储能装置；所述方法包括：
2.根据权利要求1所述的基于多智能体的能源节点优化调节方法，其特征在于，所述针对每个能源设备，将该能源设备的状态向量输入该能源设备内置的经过训练的智能体，确定该能源设备的动作向量，包括：
3.根据权利要求1所述的基于多智能体的能源节点优化调节方法，其特征在于，在所述针对每个能源设备，将该能源设备的状态向量输入该能源设备内置的智能体，确定该能源设备的动作向量之前，还包括：
4.根据权利要求3所述的基于多智能体的能源节点优化调节方法，其特征在于，所述基于各个历史状态向量对各个智能体进行强化训练，得到多个经过训练的智能体，包括：
5.根据权利要求4所述的基于多智能体的能源节点优化调节方法，其特征在于，所述最优状态-动作-值函数为：
6.根据权利要求4所述的基于多智能体的能源节点优化调节方法，其特征在于，所述约束条件包括：
7.根据权利要求4所述的基于多智
8.根据权利要求4所述的基于多智能体的能源节点优化调节方法，其特征在于，所述损失函数为：
9.一种基于多智能体的能源节点优化调节装置，其特征在于，应用于微网系统，所述微网系统中包括多个能源设备，所述设备包括分布式电源、用电负荷和储能装置；所述装置包括：
10.根据权利要求9所述的基于多智能体的能源节点优化调节装置，其特征在于，所述计算模块具体用于：
...【技术特征摘要】
1.一种基于多智能体的能源节点优化调节方法，其特征在于，应用于微网系统，所述微网系统中包括多个能源设备，所述设备包括分布式电源、用电负荷和储能装置；所述方法包括：
2.根据权利要求1所述的基于多智能体的能源节点优化调节方法，其特征在于，所述针对每个能源设备，将该能源设备的状态向量输入该能源设备内置的经过训练的智能体，确定该能源设备的动作向量，包括：
3.根据权利要求1所述的基于多智能体的能源节点优化调节方法，其特征在于，在所述针对每个能源设备，将该能源设备的状态向量输入该能源设备内置的智能体，确定该能源设备的动作向量之前，还包括：
4.根据权利要求3所述的基于多智能体的能源节点优化调节方法，其特征在于，所述基于各个历史状态向量对各个智能体进行强化训练，得到多个经过训练的智能体...
【专利技术属性】
技术研发人员：张鹏飞，辛锐，李贵昌，吴军英，王桂兰，徐行，曹琮皓，王玉贞，柴守亮，杨恺，刘亚铎，
申请(专利权)人：国网河北省电力有限公司信息通信分公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。