基于自适应学习的互联微电网复合频率控制方法及装置制造方法及图纸

本发明专利技术公开了一种基于自适应学习的复合频率控制方法及装置，方法包括：建立包含电动汽车和风电的互联微电网频率控制模型；依据所述互联微电网频率控制模型完成状态采集、计算奖励信号并设计网络更新规则，获取基于自适应强化学习的智能控制策略；基于强化学习过程和梯度下降法得到网络更新规则，通过评价网络评估当前策略并给出代价函数的近似值，行为网络依据近似值和当前状态给出新的辅助控制策略；频率控制器由PID主控制器和辅助控制器组成，辅助控制器由评价网络和行为网络组成并执行强化学习过程；将新的辅助控制策略进行限幅操作并与PID控制器的主控制策略相加，实现对微电网频率的复合控制。装置包括：处理器和存储器。本发明专利技术提高了互联微电网系统的动态频率响应能力。应能力。应能力。

【技术实现步骤摘要】
基于自适应学习的互联微电网复合频率控制方法及装置


[0001]本专利技术涉及互联微电网领域，尤其涉及一种基于自适应学习的互联微电网复合频率控制方法及装置。

技术介绍

[0002]微电网是指由分布式电源、储能装置和电力负载等组成的小型系统，是现代电力系统的一种典型代表。在电力系统中，通常存在着不同的发电单元和电力负载，频率偏差是电力负载与发电机提供的机械功率之间功率不匹配的直接后果。因此，频率偏差已成为评价电力系统稳定性和电能质量的有用指标，有功功率和频率控制称为负载频率控制(LFC, load frequency control)。
[0003]随着可再生能源的加入，由于不确定的发电量和多变的负载需求，微电网的频率控制变得更具挑战性。微型涡轮机被认为是补偿功率失配的主要受控设备；但是，对于具有可再生能源的微电网，还需要一些额外的储能设备来参与调频。电动汽车并网后可被视为分布式储能装置，它除了满足出行需求外，还可以对调频产生一些积极的影响。
[0004]比例积分微分(PID,proportion
‑
integration
‑
differentiation)控制是LFC设计的经典调频策略，但难以处理复杂非线性且无法应对新能源设备并网带来的挑战。近年来，基于机器学习的一些智能控制方法已经被应用到微电网系统的调频问题中。但是对于互联微电网系统，动态频率响应能力仍然有待提高、新能源设备的高效集成亟待解决。

技术实现思路

[0005]本专利技术提供了一种基于自适应学习的互联微电网复合频率控制方法及装置，本专利技术提高了互联微电网系统的动态频率响应能力，实现了新能源设备的高效集成，且本方法设计简单、易于实现，提高了频率稳定性，详见下文描述：
[0006]第一方面，一种基于自适应学习的复合频率控制方法，所述方法包括以下步骤：
[0007]建立包含电动汽车和风电的互联微电网频率控制模型；
[0008]依据所述互联微电网频率控制模型完成状态采集、计算奖励信号并设计网络更新规则，获取基于自适应强化学习的智能控制策略；
[0009]基于强化学习过程和梯度下降法得到网络更新规则，通过评价网络评估当前策略并给出代价函数的近似值，行为网络依据近似值和当前状态给出新的辅助控制策略；
[0010]频率控制器由PID主控制器和辅助控制器组成，辅助控制器由评价网络和行为网络组成并执行强化学习过程；将新的辅助控制策略进行限幅操作并与PID控制器的主控制策略相加，实现对微电网频率的复合控制。
[0011]其中，所述互联微电网频率控制模型为：
[0012]电动汽车通过集群的形式接入微电网系统；电动汽车聚合器产生功率偏差信号并作用至电力系统；
[0013]在每个区域中，微型涡轮机和风力涡轮机为电力负载提供有功功率；各区域利用
联络线进行互联互通；每个微网通过区域控制误差进行调频控制，风机系统的功率稳定通过桨距角控制实现。
[0014]基于其他区域的频率偏差，每个区域微网产生联络线功率偏差并反馈至频率控制器，频率控制器输出控制信号至调速器和电动汽车聚合器。
[0015]其中，状态采集中的状态为：频率偏差及其在不同时间步的时延；
[0016]所述奖励信号由当前辅助控制的能量成本和状态奖励组成，采用典型的二次型函数表征，建立微电网系统频率调节的效用函数和代价函数。
[0017]所述方法还包括，所述辅助控制器利用行为网络和评价网络来生成辅助自适应控制信号，评价网络和行为网络通过强化学习的交互迭代实现控制决策；通过对辅助控制信号进行限幅并与PID主控制器的控制信号相加，便可得到复合频率控制信号。
[0018]第二方面，一种基于自适应学习的复合频率控制装置，所述装置包括：处理器和存储器，所述存储器中存储有程序指令，所述处理器调用存储器中存储的程序指令以使装置执行第一方面的任一项所述的方法步骤。
[0019]本专利技术提供的技术方案的有益效果是：
[0020]1、本专利技术考虑了风能和电动汽车并入互联微电网系统的工作场景，构建了一种新颖的风能混合的频率控制模型，电动汽车作为储能装置参与调频；
[0021]2、本专利技术提出了一种具有自适应学习能力的新型复合频率控制器，由PID主控制信号和基于强化学习的辅助控制信号组成复合控制策略，从而实现了新能源波动和负荷干扰时微电网频率的有效调节、有效消除频率偏差的同时改善了频率响应的动态性能。
附图说明
[0022]图1为一种基于自适应学习的互联微电网复合频率控制方法的流程图；
[0023]图2为频率控制模型的结构示意图；
[0024]图3为基于自适应学习的复合控制结构示意图；
[0025]其中，实线表示控制信号，虚线表示状态采集信号。
[0026]图4为扰动信号的示意图；
[0027]图5为评价神经网络的学习调整过程的示意图；
[0028]图6为频率响应结果的对比图；
[0029]图7为一种基于自适应学习的互联微电网复合频率控制装置的结构示意图。
具体实施方式
[0030]为使本专利技术的目的、技术方案和优点更加清楚，下面对本专利技术实施方式作进一步地详细描述。
[0031]实施例1
[0032]本专利技术实施例公开了一种考虑包含常规发电机(微型涡轮机)、电动汽车、风力发电和智能负荷的互联微电网系统，基于PID控制方法和强化学习技术提出了一种基于自适应学习的复合频率控制方法，参见图1，该方法包括以下步骤：
[0033]101：建立包含电动汽车和风电的互联微电网频率控制模型；
[0034]其中，本专利技术实施例公开考虑的微电网主要包括：微型涡轮机、风力涡轮机、调速
器、电动汽车等设备。对于每个区域微网，测量获得涡轮机时间常数T
it
，调速器时间常数T
ig
，电力系统时间常数T
ip
，电动汽车聚合器时间常数T
ie
，电力系统增益K
ip
和调速系数K
if
；测量获得微电网运行的各类数据信息，包括：区域电网的频率偏差Δf
i
(t)，联络线功率偏差ΔP
tie,i
(t)，涡轮机功率偏差ΔP
it
(t)，调速器位置偏差ΔX
ig
(t)和电动汽车聚合器功率偏差ΔP
ie
(t)；测量获得风机功率偏差ΔP
iwg
(t)和负荷扰动信号ΔP
id
(t)。
[0035]电力系统通过自动发电控制实现负载波动下的频率稳定性，当微电网供需功率不平衡时，运行频率偏移期望，可以通过区域控制误差ACE
i
＝ΔP
tie,i
+K
if
Δf
i
进行调频控制。风机系统的功率稳定通过桨距角控制实现。
[003本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自适应学习的复合频率控制方法，其特征在于，所述方法包括以下步骤：建立包含电动汽车和风电的互联微电网频率控制模型；依据所述互联微电网频率控制模型完成状态采集、计算奖励信号并设计网络更新规则，获取基于自适应强化学习的智能控制策略；基于强化学习过程和梯度下降法得到网络更新规则，通过评价网络评估当前策略并给出代价函数的近似值，行为网络依据近似值和当前状态给出新的辅助控制策略；频率控制器由PID主控制器和辅助控制器组成，辅助控制器由评价网络和行为网络组成并执行强化学习过程；将新的辅助控制策略进行限幅操作并与PID控制器的主控制策略相加，实现对微电网频率的复合控制。2.根据权利要求1所述的一种基于自适应学习的复合频率控制方法，其特征在于，所述互联微电网频率控制模型为：电动汽车通过集群的形式接入微电网系统；电动汽车聚合器产生功率偏差信号并作用至电力系统；在每个区域中，微型涡轮机和风力涡轮机为电力负载提供有功功率；各区域利用联络线进行互联互通；每个微网通过区域控制误差进行调频控制，风机系统的功率...

【专利技术属性】
技术研发人员：穆朝絮，王珂，刘朝阳，孙长银，
申请(专利权)人：天津大学，
类型：发明
国别省市：