一种基于强化学习的自适应优化储能方法技术

本发明专利技术公开了一种基于强化学习的自适应优化储能方法，包括：获取用户的电力数据，构建用户的需量计费模型；结合所述需量计费模型，考虑约束条件，对当前用电情况下储能系统的经济效益进行分析和评估，得到储能系统初步分配方案；根据所述储能系统初步分配方案，对储能动作参数进行预处理，并对动作策略进行粗分配；将粗分配后的储能系统动作转变为动作序列并与每个时刻点对应，生成按照时间排序的储能系统调度序列；需要根据当前环境特征，对所述储能系统调度序列进行动态的动作调整，以达到企业收益最优的目的。本发明专利技术弥补了传统算法通用性不足的缺陷，降低了传统算法对场景的依赖，能够适用在不同的场景，最终获得最优化的调度策略。调度策略。调度策略。

【技术实现步骤摘要】
一种基于强化学习的自适应优化储能方法


[0001]本专利技术属于电池储能优化调度
，具体涉及一种基于强化学习的自适应优化储能方法，可用于电力系统优化、微电网储能、工业工程、市政建设等多样化场景。

技术介绍

[0002]近年来，鉴于储能系统不断发展和完善，其所适用的电力系统领域由削峰填谷向频率调节、需求侧响应、供电可靠性分析、平抑新能源发电波动等各个方向发展，作为电力终端负荷削峰填谷十分良好的载体，可为工业企业用户节约电力成本，各地政府开始大力推荐储能系统应用，其商业前景广阔。因此，用户侧储能优化调度的研究备受关注。虽然储能优化调度有利于充分发挥能源系统的经济效益和环境效益，但是电力使用环境随机性和不确定性储能调度带来了极大的困难，为了更好地推广和使用储能系统，需要对储能进行优化调度以实现高效、经济稳定的运行。
[0003]传统的储能调度方式是基于数据综合分析并由人工进行调整的，整个储能调度的流程从数据分析到人工调整储能方案的闭环环节，如图1所示。可以看出，这个储能流程涉及用户、功能部门、储能系统以及能源交换设备等多个模块和部门，每个组成部分的业务不统一，相互之间交互不方便。储能规划时依据的环境信息和约束信息并非实时信息，存在一定滞后性。而且由于储能系统和供能方没有必要的联系，目前关于二者之间的工作流程也不完善，而有限的储能系统空闲资源在整个流程中起到了至关重要的作用，影响指令的下达和状态的反馈。整体上说，传统的储能规划流程可以完成对部分能量的响应，但已然是无法胜任新的需求与挑战。传统储能流程的弊端可总结如下：
[0004](1)整个储能流程过于复杂繁琐，企业用户从提出需求到获得能源使用反馈信息周期往往较长，无法满足用户对于时效性的要求；(2)储能规划一般以离线作业为主，规划方案不能与实时变化的环境相适应；(3)缺乏快速的辅助手段，缺乏自动化处理流程，很多情况下需要对储能系统运行数据进行手工修改操作，应急调整流程复杂，人机交互操作繁多，极易出现错误操作。
[0005]可以看出储能系统在整个过程中只是依据规划结果开展工作，不能依据企业工作环境和业务受理情况的变化做出实时响应，导致实际调度结果与预期存在偏差，也进一步反应出储能系统实际运行效率比预计的要低。
[0006]随着对智能优化方法的深入研究，强化学习算法成为解决用户侧储能调度问题的主要技术。该算法不需要先验知识，可以自适应参数调整实现系统动态学习进化，并能够适用在不同的场景，最终获得最优化的调度策略。目前针对混合储能系统实时调度问题，学者提出了一种基于动态规划
‑
遗传算法的混合储能系统实时调度方法，有效提升了储能调度的时效性。还有学者利用遗传算法结合模拟退火算法对用户侧储能充放电策略寻优，有效提升了算法寻优速度和收敛性能。此外，针对电池储能系统削峰填谷实时性较差的问题，提出利用动态规划对系统进行实时优化调整。上述技术在电力系统优化、微电网储能、工业工程领域中有着重要的研究意义和越来越广泛的应用价值。
[0007]针对电池储能系统优化调度问题，需要考虑储能系统经济性问题以及系统充放电策略优化调度问题。目前提出的算法在解决储能调度问题中仅从经济性出发，没有综合考虑两个方面的问题，所提出的算法在削峰填谷方面经济性和实时性二则无法兼顾，且对于系统稳定性和调度策略自适应性调整策略还存在不足，无法达到提高储能系统经济效益的目的。这是由于目前提出的优化算法在迭代过程中，探索结果对算法的参数配置极为敏感，计算过程中需要根据问题调整参数配置，计算效率较低；其次就是该类算法目前以问题导向型为主，求解过程依赖问题或者场景，未考虑储能调度问题的特殊性以及求解模型的适用性；再次，储能优化调度目标函数和约束条件极为复杂，计算复杂度高，当前的求解模型和求解方法在优化结果上收敛速度慢，还有待进一步完善。

技术实现思路

[0008]为了解决现有技术中存在的上述问题，本专利技术提供了一种基于强化学习的自适应优化储能方法。本专利技术要解决的技术问题通过以下技术方案实现：
[0009]本专利技术提供了一种基于强化学习的自适应优化储能方法，包括：
[0010]S1：获取用户的电力数据，分析当前电力系统的用电情况，构建用户的需量计费模型；
[0011]S2：结合所述需量计费模型，考虑约束条件，对当前用电情况下储能系统的经济效益进行分析和评估，得到储能系统初步分配方案；
[0012]S3：根据所述储能系统初步分配方案，对储能动作参数进行预处理，并对各阶段储能系统动作策略进行粗分配；
[0013]S4：将粗分配后的储能系统动作转变为动作序列并与每个时刻点对应，生成按照时间排序的储能系统调度序列；
[0014]S5：根据当前环境特征，基于Q学习算法对所述储能系统调度序列进行动态的动作调整，以达到企业收益最优的目的。
[0015]在本专利技术的一个实施例中，所述需量计费模型以最大的投资收益率max(E/C)表示，其中，C表示用户安装储能系统的投资成本，E表示储能系统收益。
[0016]在本专利技术的一个实施例中，所述S2包括：
[0017]S2.1：构建约束条件，所述约束条件包括储能负荷约束、储能系统容量约束和储能倍率约束，其中，
[0018]储能负荷约束：
[0019]储能系统容量约束：L
min,t
≤P
t
+δ
i,t
‑
ρ
i,t
≤L
max,t
[0020]储能倍率约束：E
max
＝β*P
max
[0021]其中，δ
max
表示最大放电功率，p
max
表示最大充电功率，P
t
表示t时刻的储能负荷，S
t
表示t时刻的电池电量状态，L
min，t
、L
max，t
表示t时刻储能系统负荷最小值和最大值，E
max
表示储能系统容量，β表示储能充放电倍率，P
max
表示储能系统额定功率；
[0022]S2.2：结合所述需量计费模型和所述约束条件，对当前用电情况下储能系统的经济效益进行分析和评估，得到储能系统初步分配方案。
[0023]在本专利技术的一个实施例中，所述S2.2包括：
[0024]S2.21：初始化用电参数，包括额定功率、充放电功率、充放电倍率参数设置；
[0025]S2.22：对用户一天之内各个时间段需要执行的充放电动作进行初始化，构成一天之内各个时间段内的充放电动作序列集合；
[0026]S2.23：判断当前的动作序列是否满足由所述需量计费模型和所述约束条件构成的目标函数的期望值，若满足，则输出预规划序列，否则返回步骤S2.22。
[0027]在本专利技术的一个实施例中，所述S3包括：
[0028]S3.1：考虑能量约束、充放电功率约束、储能的负荷约束以及储能倍率约束，计算用电本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于强化学习的自适应优化储能方法，其特征在于，包括：S1：获取用户的电力数据，分析当前电力系统的用电情况，构建用户的需量计费模型；S2：结合所述需量计费模型，考虑约束条件，对当前用电情况下储能系统的经济效益进行分析和评估，得到储能系统初步分配方案；S3：根据所述储能系统初步分配方案，对储能动作参数进行预处理，并对各阶段储能系统动作策略进行粗分配；S4：将粗分配后的储能系统动作转变为动作序列并与每个时刻点对应，生成按照时间排序的储能系统调度序列；S5：根据当前环境特征，基于Q学习算法对所述储能系统调度序列进行动态的动作调整，以达到企业收益最优的目的。2.根据权利要求1所述的基于强化学习的自适应优化储能方法，其特征在于，所述需量计费模型以最大的投资收益率max(E/C)表示，其中，C表示用户安装储能系统的投资成本，E表示储能系统收益。3.根据权利要求1所述的基于强化学习的自适应优化储能方法，其特征在于，所述S2包括：S2.1：构建约束条件，所述约束条件包括储能负荷约束、储能系统容量约束和储能倍率约束，其中，储能负荷约束：储能系统容量约束：L
min,t
≤P
t
+δ
i,t
‑
ρ
i,t
≤L
max,t
储能倍率约束：E
max
＝β*P
max
其中，δ
max
表示最大放电功率，ρ
max
表示最大充电功率，P
t
表示t时刻的储能负荷，S
t
表示t时刻的电池电量状态，L
min,t
、L
max,t
表示t时刻储能系统负荷最小值和最大值，E
max
表示储能系统容量，β表示储能充放电倍率，P
max
表示储能系统额定功率；S2.2：结合所述需量计费模型和所述约束条件，对当前用电情况下储能系统的经济效益进行分析和评估，得到储能系统初步分配方案。4.根据权利要求3所述的基于强化学习的自适应优化储能方法，其特征在于，所述S2.2包括：S2.21：初始化用电参数，包括额定功率、充放电功率、充放电倍率参数设置；S2.22：对用户一天之内各个时间段需要执行的充放电动作进行初始化，构成一天之内各个时间段内的充放电动作序列集合；S2.23：判断当前的动作序列是否满足由所述需量计费模型和所述约束条件构成的目标函数的期望值，若满足，则输出预规划序列，否则返回步骤S2.22。5.根据权利要求3所述...

【专利技术属性】
技术研发人员：邢立宁，蒋雪梅，李豪，郭泱泱，吕旷达，周宇，万方高，李济廷，宋彦杰，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：