一种基于双堆燃料电池的混合储能系统能量管理策略技术方案

本发明专利技术公开了一种基于双堆燃料电池的混合储能系统能量管理策略，属于燃料电池混合动力能量管理领域，能够在降低成本的同时，维持电池SOC并提高双堆燃料电池的效率。本发明专利技术针对双堆燃料电池系统和锂电池，分别构建基于人工势场（APF）函数的混合储能系统权重调节器，实现双堆燃料电池系统在高效率区间工作，并将电池荷电状态（SOC）维持在理想区间，采用一种深度强化学习代理，即深度确定性策略梯度（DDPG）对基于APF的电池SOC调节器参数进行全局优化，实现SOC权重的自适应调节，提升双堆燃料电池系统工作效率，针对混合储能系统，构建基于全里程成本最优目标函数，避免燃料电池在高/低电流、频繁启停工况下工作，延长燃料电池使用寿命。

【技术实现步骤摘要】
一种基于双堆燃料电池的混合储能系统能量管理策略
本专利技术属于燃料电池混合动力能量管理领域，尤其涉及一种基于双堆燃料电池的混合储能系统能量管理策略。
技术介绍
近年来，由于日益严峻的能源和环境问题，燃料电池的应用引起了广泛的关注。燃料电池由于将燃料的化学能直接转化为电能，在电动汽车中，能实现比传统电动汽车更长的行驶里程和更短的充能时间。在各种类型的燃料电池中，质子交换膜燃料电池(ProtonExchangeMembraneFuelCell，PEMFC)被广泛认为是最适合的车辆动力源。在最佳功率分配层面下，PEMFC与传统电池或超级电容混合供能作为车载能源，能有效解决能源问题。由于燃料电池堆的功率限制，难以满足各种车辆(如中型或大型商用车)的功率需求，因而出现了多堆燃料电池系统(Multi-stackFuelCell，MFC)。MFC提供的模块化的结构，可以有效简化系统结构，并且在效率方面MFC表现出了比单堆燃料电池更好的性能。然而，大多数现有的能量管理策略都专用于单燃料电池混合动力汽车，对于具有不同特性电池组的MFC系统能量管理策略的研究较为匮乏。
技术实现思路
本专利技术提供了一种基于双堆燃料电池的混合储能系统能量管理策略，采用非线性规划算法作为分配策略，在降低成本的同时，维持电池SOC并提高双堆燃料电池的效率。为达到以上目的，本专利技术采用以下技术方案：一种基于双堆燃料电池的混合储能系统能量管理策略，包括以下步骤：步骤S1：DRL代理输入当前锂电池SOC、当前速度、加速度作为系统状态量st，对APF参数进行离线优化；步骤S2：基于APF的非线性规划算法输入当前系统需求功率、SOC及双堆燃料电池效率，输出燃料电池①需求功率、燃料电池②需求功率及锂电池需求功率。以上所述步骤中，步骤S1中所述DRL代理为深度确定性策略梯度(DeepDeterministicPolicyGradient，DDPG)，用于优化非线性规划算法中的APF参数，以增强策略的适应性，所述APF分为燃料电池①APF调节器、燃料电池②APF调节器和锂电池SOC人工势场调节器，用以将控制目标稳定在一定区间内，具体如下：燃料电池APF调节器(包括燃料电池①APF调节器和燃料电池②APF调节器)用以将燃料电池的效率稳定在目标高效率区间内，其虚拟力函数表示为：式中，afc为可优化参数，用以改变APF调节器的调节强度；Ifc为当前燃料电池电流；[Ilow_lim,Ihigh_lim]为目标高效率区间在电流-效率图(以下简称效率图)上对应的电流区间；Iref为燃料电池效率最高点在效率图上对应的电流值，燃料电池①的虚拟力函数表示为Ffc1，燃料电池②的虚拟力函数表示为Ffc2，对应的可优化参数各为afc1和afc2；锂电池SOC人工势场调节器用以将锂电池SOC维持在目标区间内，其虚拟力函数表示为：xb＝SOC-SOCref式中，ab为可优化参数，用以改变APF调节器的调节强度；[SOCmin,SOCmax]为目标区间；SOCref为目标区间中点；步骤S2中所述非线性规划算法的优化问题描述为：式中，为成本，包含燃料电池消耗氢能产生的成本和锂电池消耗电能产生的成本；ηfc1,max和ηfc2,max各为燃料电池①和燃料电池②的最大效率；为锂电池SOC变化率；λfc1、λfc2和λbat表示等效成本系数，各表示燃料电池①效率波动引起的成本、燃料电池②效率波动引起的成本和锂电池SOC变化引起的成本，具体取值视工况而定，Pfc1、Pfc2和Pbat分别为燃料电池①的输出功率、燃料电池②的输出功率和锂电池的输出功率；Pt为需求总功率；所述非线性规划算法采用的求解器为序列二次规划(sqp)。步骤S1中采用DDPG进行离线优化的APF参数为afc1、afc2和ab，同时为了限制电池SOC、维持燃料电池高效率同时减少成本，设置奖励函数为：式中，当SOC处于目标区间时σ＝1否则σ＝0；当燃料电池①和燃料电池②的效率各处于目标区间时，ζ和υ各取1，否则各取0；为理论最大成本；步骤S1中采用DDPG进行离线优化APF参数，包括以下步骤：步骤S1.1：初始化Actor和Critic的网络参数θ和ω；步骤S1.2：将步骤S1.1中的Actor和Critic的网络参数复制给目标Actor和目标Critic：θ′←θ，ω′←ω；步骤S1.3：清空经验回放池R；步骤S1.4：以一个基于Ornstein-Uhelnbeck(OU)的噪声N开始探索；步骤S1.5：Actor接收当前电池SOC、当前速度、当前加速度作为系统状态st，根据当前策略π(at,st)及噪声输出动作：πθ(s)表示网络参数为θ的Actor在当前策略π(at,st)下接收当前系统状态st时的输出，πθ(s)和N皆为3×1矩阵；步骤S1.6：当前系统状态st，当前Actor输出at，当前奖励反馈rt及下一时刻的系统状态st+1这些与环境交互的信息以经验样本的形式(st,at,rt,st+1)储存至经验回放池R中；步骤S1.7：随机从经验回放池中抽取一组数据用于更新网络参数；步骤S1.8：计算目标Q值：yi＝ri(si,ai)+γQ′(s′i,a′i,ω′)，rt(st,at)为所取动作和状态下的奖励反馈值，Q′(s′t,a′t,ω)为目标Critic的输出，γ∈(0,1]为折现系数；步骤S1.9：通过最小化损失函数更新Critic网络参数ω，m为样本数，Q(si,ai,ω)为Critic输入当前系统状态st和Actor动作at输出的Q值；步骤S1.10：通过损失梯度更新Actor网络参数，既得到反馈的Q值越大损失越小，得到反馈的Q值越小损失越大；步骤S1.11：对目标网络参数进行软跟新：ω′←τω+(1-τ)ω′，θ′←τθ+(1-τ)θ′，τ＜＜1为折现系数；步骤S1.12：判断是否达到终止条件，若是，则终止训练，若否，返回步骤S1.5。步骤S2具体步骤包括：步骤S2.1：非线性规划算法输入当前系统需求功率、电池SOC及燃料电池①和燃料电池②的效率；步骤S2.2：DDPG输入当前电池SOC、当前速度、当前加速度及奖励反馈rt，通过步骤S1训练好的网络输出非线性规划算法中3个APF函数的可优化参数：afc1、afc2和abat；步骤S2.3：非线性规划算法根据当前优化问题计算出当前最优的功率分配，输出燃料电池①需求功率、燃料电池②需求功率及锂电池需求功率。有益效果：本专利技术提供了一种基于双堆燃料电池的混合储能系统能量管理策略，采用非线性规划作为功率分配策略，将人工势场引入到非线性规划的目标函数中，目标函数包含成本、SOC调节项、MFC效率惩罚项；在SOC调节项和MFC效率惩罚项中引入APF函数，在保证汽车行驶的总功率需求的前提下本文档来自技高网...

【技术保护点】
1.一种基于双堆燃料电池的混合储能系统能量管理策略，其特征在于，包括以下步骤：/n步骤S1：DRL代理输入当前锂电池SOC、当前速度及加速度作为系统状态量s

【技术特征摘要】
1.一种基于双堆燃料电池的混合储能系统能量管理策略，其特征在于，包括以下步骤：
步骤S1：DRL代理输入当前锂电池SOC、当前速度及加速度作为系统状态量st，对APF参数进行离线优化；
步骤S2：基于APF的非线性规划算法输入当前系统需求功率、SOC及双堆燃料电池效率，输出燃料电池①需求功率、燃料电池②需求功率及锂电池需求功率。


2.根据权利要求1所述的基于双堆燃料电池的混合储能系统能量管理策略，其特征在于，步骤S1中所述DRL代理为深度确定性策略梯度(DeepDeterministicPolicyGradient，DDPG)；所述APF分为燃料电池①APF调节器、燃料电池②APF调节器和锂电池SOC人工势场调节器，用以将控制目标稳定在一定区间内。


3.根据权利要求2所述的基于双堆燃料电池的混合储能系统能量管理策略，其特征在于，所述燃料电池APF调节器用以将燃料电池的效率稳定在目标高效率区间内，其虚拟力函数表示为：






式中，afc为可优化参数，用以改变APF调节器的调节强度；Ifc为当前燃料电池电流；[Ilow_lim,Ihigh_lim]为目标高效率区间在电流-效率图(以下简称效率图)上对应的电流区间；Iref为燃料电池效率最高点在效率图上对应的电流值，燃料电池①的虚拟力函数表示为Ffc1，燃料电池②的虚拟力函数表示为Ffc2，对应的可优化参数各为afc1和afc2。


4.根据权利要求2所述的基于双堆燃料电池的混合储能系统能量管理策略，其特征在于，所述锂电池SOC人工势场调节器用以将锂电池SOC维持在目标区间内，其虚拟力函数表示为：



xb＝SOC-SOCref
式中，ab为可优化参数，用以改变APF调节器的调节强度；[SOCmin,SOCmax]为目标区间；SOCref为目标区间中点。


5.根据权利要求1所述的基于双堆燃料电池的混合储能系统能量管理策略，其特征在于，步骤S1中采用DDPG进行离线优化的APF参数为afc1、afc2和ab，同时为了限制电池SOC、维持燃料电池高效率同时减少成本，设置奖励函数为：



式中，当SOC处于目标区间时σ＝1否则σ＝0；当燃料电池①和燃料电池②的效率各处于目标区间时，ζ和υ各取1，否则各取0；为理论最大成本。


6.根据权利要求1或5所述的基于双堆燃料电池的混合储能系统能量管理策略，其特征在于，步骤S1中采用DDPG进行离线优化APF参数，包括以下步骤：
步骤S1.1：初始化Actor和Critic的网络参数θ和ω；
步骤S1.2：将步骤S1.1中的Actor和Critic的网络参数复制给目标Actor和目标Critic：θ′←θ，ω′←ω；
步骤S1.3：清空经验回放池R；
步骤S1.4：以一个基于Ornstein-Uhelnbeck(OU)的噪声N开始探索...

【专利技术属性】
技术研发人员：周健豪，刘军，薛四伍，顾诚，廖宇晖，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：江苏;32