一种基于多智能体深度强化学习的5G基站光储微电网系统调度方法技术方案

本发明专利技术公开了一种基于多智能体深度强化学习的5G基站光储微电网系统调度方法，本发明专利技术步骤如下：首先将微电网引入5G基站中建立系统模型，之后为5G基站的负载建立数学模型，先通过智能反射表面(RIS)增强基站的发射信号，再将5G基站光储微电网储能调度问题描述为马尔科夫决策过程(MDP)，不同的5G基站光储微电网之间可以进行能量共享，以多个5G基站光储微电网系统调度模型为状态空间，以每个基站的储能充放电、不同基站之间可以进行能量交换为动作空间，通过对电价、负荷量等数据和探索性策略对神经网络参数不断进行训练，并获得最优的储能调度策略，最终降低基站的运营成本。最终降低基站的运营成本。最终降低基站的运营成本。

【技术实现步骤摘要】
一种基于多智能体深度强化学习的5G基站光储微电网系统调度方法


[0001]本专利技术属于微电网调度领域，尤其涉及一种基于多智能体深度强化学习的5G基站光储微电网系统调度方法。

技术介绍

[0002]随着移动通信的快速发展，伴随着4G到5G的高带宽、高速率的转变，基站的耗电量越来越大，所以基站节能已经成为了时代发展的迫切需求。由于RIS具有功耗低、部署灵活、放大发射信号等特点，将其与5G基站结合，不仅可以消除邻区干扰更重要的是通过增强发射信号可以反过来减少基站的发射功率降低基站功耗，从而进一步节约基站的运营成本。而随着清洁能源的技术越来越成熟，将清洁能源应用到移动通信中也已经是时代发展的趋势，并且发展可再生能源不仅能保护环境还能在很大程度上节约能源。但是可再生能源发电具有间歇性和不确定性，为了保证可再生能源发电的稳定性，需要结合储能设备进行调节。对于5G基站来说，其拥有备用电池，且大部分时间处于闲置状态，如果和可再生能源发电充分结合起来，可以在更大的程度上节约5G基站的运行成本。
[0003]但是可再生能源与储能设备的结合，会进一步带来能量管理相关的问题，为此需要利用微电网进行灵活的调控，现有方案大多数是基于DQN算法来实现对微电网的优化和管理，但该方案只针对单个微电网的情况，对于多个5G基站拥有多个微电网的情况时很难做出最优的储能调控方案，因此，本专利技术提出一种基于多智能体深度强化学习的5G基站光储微电网系统调度方法，来提高5G基站光储微电网系统的工作效率和减少其运营成本。

技术实现思路

[0004]专利技术目的：本专利技术所要解决的技术问题是提供一种基于多智能体深度强化学习的5G基站光储微电网系统调度方法，采用最优的储能调度策略对储能设备进行调度，调度目标为减少5G基站一天的运营成本，使其利用分时电价差，调节储能充放电量，最大限度减少在高电价时从主电网购电，从而提高5G基站光储微电网系统的工作效率和减少其运营成本。
[0005]技术方案：为解决上述技术问题，本专利技术采用如下技术方案：一种基于多智能体深度强化学习的5G基站光储微电网系统调度方法，该方法包括如下步骤：
[0006]步骤(1)：获取某地区家庭微电网一年的历史数据，将这些数据经过预处理后构成训练集。
[0007]步骤(2)：在与主电网连接的每个5G基站中配备光伏组件，并与5G基站本身的备用电池模型以及自身负荷量模型组成微电网系统模型，根据系统各模型建立运行成本最小化模型、功率平衡条件和约束条件；
[0008]步骤(3)：根据系统各模型和条件，构建基于多智能体深度强化学习的5G基站光储微电网系统的强化学习环境，包括状态、动作和奖励，并根据DDPG算法构建行动者
‑
评论家
(Actor
‑
Critic)网络；
[0009]步骤(4)：在多智能体深度强化学习的5G基站光储微电网系统的强化学习环境下，将训练集输入行动者
‑
评论家网络进行训练，并保存训练好的模型；
[0010]步骤(5)：采集待调度的5G基站光储微电网系统模型中光伏发电组件的日发电量，日负荷量，日电池电量状态以及分时电价等数据信息，将数据信息经过处理后输入训练好的模型，得出使5G基站光储微电网运行成本最小的调度方案。
[0011]优选的，所述步骤(1)包括如下步骤：
[0012]获取某地区家庭微电网一年的历史数据，包括光伏发电量、负荷量以及分时电价信息，对获取的历史数据进行预处理，包括数据清洗和对数据进行标准化处理。
[0013]优选的，所述步骤(2)包括如下步骤：
[0014]在5G基站光储微电网系统中，运行成本C
t
包括基站与主电网交易电量的成本，基站与基站之间的交易电量的成本，以及基站电池的充放电损耗成本，5G基站光储微电网系统与主电网进行交易过程中，假设基站数量为M个，对于第i个基站，模型如下：
[0015][0016]其中，为基站当前时刻从主电网购电的价格；为微电网当前时刻向主电网售电的价格，为基站之间交易电量的电价，E
i，grid
(t)为与主电网的交易电量，其值取决于电池充放电动作和电池荷电水平，E
i，B
(t)为基站i与基站j之间的交易电量，C
i，b
(t)为第t时刻第i个基站电池的充放电损耗成本，C
i，b
(t)遵循如下关系：
[0017]C
i，b
(t)＝c
ω
*[E
i，c
(t)+E
i，d
(t)][0018]其中，C
i，b
(t)为第t小时电池基站i的充放电损耗成本，c
ω
为电池损耗系数，E
i，c
(t)为t时刻第i个基站备用电池的实际充电量，E
i，d
(t)为t时刻第i个基站备用电池的实际放电量；
[0019]E
i，grid
(t)遵循如下关系：
[0020]E
i，grid
(t)＝E
i，PV
(t)+E
i，B
(t)+E
i，b
(t)
‑
E
i，load
(t)
[0021]E
i，load
(t)为t时刻基站i负荷消耗量，E
i，PV
(t)为t时刻光伏发电量，E
i，b
(t)为t时刻储能电池的充放电量。
[0022]E
i，b
(t)和E
i，B
(t)遵循如下关系：
[0023][0024][0025]其中，P
i，ch
(t)为t时刻第i个基站的最大充电功率，P
i，diss
(t)为t时刻第i个基站的最大放电功率，P
i，j
(t)表示基站i与基站j之间的充放电功率，Δt表示时间间隔，t
c
和t
d
分别表示充电时刻以及放电时刻；
[0026]E
i，load
(t)为t时刻基站i负荷消耗量，包括基站的静态功率、动态功率以及与基站相连的用户消耗的静态功率。假设每个基站都配备m个天线和K个单天线移动用户，RIS的反射元件个数为n，每个元件功耗为Pn，则其模型表示如下
[0027][0028]其中，ω表示发射功率放大器效率的倒数，P
i，k
表示基站i发射功率，表示与基站i相连的移动用户k消耗的静态功率，P
i，BS
表示基站i的静态功率，nP
n
表示RIS的功耗，Δt表示时间间隔；
[0029]若电池可充入电量或可放出电量达到电池的上下限，则最大充放电功率等于向上可充电容量或向下可放电容量与时间t的比值，电池具有充放电上下限故其约束条件为：
[0030][0031]其中，S
i本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多智能体深度强化学习的5G基站光储微电网系统调度方法，其特征在于，包括以下步骤：步骤(1)获取某地区家庭微电网一年的历史数据，将这些数据经过预处理后构成训练集；步骤(2)在与主电网连接的每个5G基站中配备光伏组件，并与5G基站本身的备用电池模型以及自身负荷量模型组成微电网系统模型，根据系统各模型建立运行成本最小化模型、功率平衡条件和约束条件；步骤(3)根据系统各模型和条件，构建基于多智能体深度强化学习的5G基站光储微电网系统的强化学习环境，包括状态、动作和奖励，并根据DDPG算法构建行动者
‑
评论家(Actor
‑
Critic)网络；步骤(4)在多智能体深度强化学习的5G基站光储微电网系统的强化学习环境下，将训练集转换成状态信息输入行动者
‑
评论家网络进行训练，保存训练好的模型；步骤(5)采集待调度的5G基站光储微电网系统模型中光伏发电组件的日发电量，日负荷量，日电池电量状态以及分时电价数据信息，将数据信息经过处理后输入训练好的模型，得出使5G基站光储微电网运行成本最小的调度方案。2.根据权利要求1所述的一种基于多智能体深度强化学习的5G基站光储微电网系统调度方法，其特征在于，所述步骤(1)包括如下步骤：(1.1)获取某地区家庭微电网一年的历史数据，包括光伏发电量、负荷量以及分时电价信息；(1.2)对获取的历史数据进行预处理，包括数据清洗和对数据进行标准化处理。3.根据权利要求1所述的一种基于多智能体深度强化学习的5G基站光储微电网系统调度方法，其特征在于，所述步骤(2)包括如下步骤：在5G基站光储微电网系统中，运行成本C
t
包括基站与主电网交易电量的成本，基站与基站之间的交易电量的成本，以及基站电池的充放电损耗成本，5G基站光储微电网系统与主电网进行交易过程中，假设基站数量为M个，对于第i个基站，模型如下：其中，为基站当前时刻从主电网购电的价格；为微电网当前时刻向主电网售电的价格，为基站之间交易电量的电价，E
i,grid
(t)为与主电网的交易电量，其值取决于电池充放电动作和电池荷电水平，E
i，B
(t)为基站i与基站j之间的交易电量，C
i，b
(t)为第t时刻第i个基站电池的充放电损耗成本，C
i，b
(t)遵循如下关系：C
i，b
(t)＝c
ω
*[E
i，c
(t)+E
i，d
(t)]其中，C
i，b
(t)为第t时刻第i个电池基站充放电损耗成本，c
ω
为电池损耗系数，E
i，c
(t)为t时刻第i个基站备用电池的实际充电量，E
i，d
(t)为t时刻第i个基站备用电池的实际放电量；E
i，grid
(t)遵循如下关系：E
i，grid
(t)＝E
i，PV
(t)+E
i，B
(t)+E
i，b
(t)
‑
E
i，load
(t)
E
i，load
(t)为t时刻基站i负荷消耗量，E
i，PV
(t)为t时刻光伏发电量，E
i，b
(t)为t时刻储能电池的充放电量；E
i，b
(t)和E
i，B
(t)遵循如下关系：(t)遵循如下关系：其中，P
i，ch
(t)为基站i的备用电池在t时刻的充电功率，F
i，diss
(t)为基站i的备用电池在t时刻的放电功率，P
i，j
(t)表示基站i与基站j之间的充放电功率，Δt表示时间间隔，t
c
和t
d
分别表示充电时刻以及放电时刻；E
i，load
(t)为t时刻基站i负荷消耗量，包括基站的静态功率、动态功率以及与基站相连的用户消耗的静态功率，假设每个基站都配备m个天线和K个单天线移动用户，RIS的反射元件个数为n，每个元件功耗为P
n
，则其模型表示如下：其中，ω表示发射功率放大器效率的倒数，P
i，k
表示基站i发射功率，表示与基站i相连的移动用户k消耗的静态功率，P
i，BS
表示基站i的静态功率，nP
n
表示RIS的功耗，Δt表示时间间隔；若电池可充入电量或可放出电量达到电池的上下限，则最大充放电功率等于向上可充电容量或向下可放电容量与时间t的比值，电池具有充放电上下限故其约束条件为：其中，S
i
(t)为t时刻基站i的储能电池电量，S
i，max
、S
i，min
分别为基站i的储能电池电量的最大容量和最小容量，P
i，ch
(t)为基站i的备用电池在t时刻的充电功率，P
i，di...

【专利技术属性】
技术研发人员：孟庆民，凡少林，邹玉龙，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：