温控负荷集群特性分析方法、系统、设备及可读存储介质技术方案

一种温控负荷集群特性分析方法、系统、设备及可读存储介质，方法包括基于预先建立的空调负荷热力学模型，构建温控负荷数值计算模型，并设计温控负荷集群控制器，构建温控负荷集群仿真环境；选取温控负荷集群的观测数据构成观测向量，设计温控负荷集群调节特性分析的动作向量以及奖励函数，构建温控负荷集群可调特征分析学习环境；采用深度强化学习算法，依据观测向量，通过策略神经网络生成可调度范围，在可调度范围之内，将决策结果与学习环境交互，获得动作经验，更新策略神经网络；利用训练好的温控负荷集群特征分析神经网络进行温控负荷集群特性分析。本发明专利技术采用模型、数据双驱动，实现利用部分温控负荷设备的量测数据分析整体可调节特性。析整体可调节特性。析整体可调节特性。

【技术实现步骤摘要】
温控负荷集群特性分析方法、系统、设备及可读存储介质


[0001]本专利技术属于电力系统调度
，具体涉及一种温控负荷集群特性分析方法、系统、设备及可读存储介质。

技术介绍

[0002]随着高比例新能源的接入，特别是分布式光伏和风电的接入，给功率平衡带来巨大挑战。分布式电源整体表现出分散接入、全额上网、低压裸接的特点，存在协调困难、供用失衡等问题。电动汽车、可控负荷、分布式储能等可调控资源潜力巨大，为电网能量平衡和功率平衡提供了额外调节能力。其中，制冷用电量占社会用电量的15％以上，大城市空调用电负荷约占夏季高峰负荷的60％，是未来重要的调节资源。但这些资源数量众多且大多与公网对接，受制于通信、安全、数据处理能力等限制，不能直接跟调度中心进行大范围的交互。
[0003]温控负荷集群的聚合可调特性是当前主要的研究热点之一。近年来，针对海量负荷资源的人工智能算发也逐渐兴起，部分研究人员通过生成对抗网络来解决海量资源样本数据不足的问题，一定程度上为温控负荷集群学习训练奠定了基础，但仍然着力于依据全部资源数据来进行聚合，并不具备工程实用条件。也有研究人员使用A3C算法，来解决电网电压控制问题。这些研究为人工智能技术在电力系统调度中的应用进行了初步探索。由于现有技术主要通过对温控负荷进行解析建模，再通过对集群所有设备进行量测量聚合，实现对集群外特性的统计，需要对所有设备进行量测、辨识和统计，然而，温控负荷解析建模存在建筑参数难以获取问题，温控负荷的用电特性与空间大小，建筑材质相关，工程应用中，不可能对所有温控负荷的建筑参数进行采集，也就导致现有基于模型的外特性聚合技术存在准确性低的问题。解析方法求取温控负荷集群可调节特性存在不适应用户变化的问题，解析模型依赖用户空间、空调设备类型等静态参数，一旦有新增用户或者用户更换设备，需要新建用户模型或者修改模型参数，如果不及时更新用户变化，将直接导致求取的可调节特性不准确。

技术实现思路

[0004]本专利技术的目的在于针对上述现有技术中海量温控负荷集群特性无法通过全部设备的精确建模来求取的问题，提供一种温控负荷集群特性分析方法、系统、设备及可读存储介质，设计离线学习模型，通过对集群进行抽样，利用部分温控负荷设备的量测数据，分析温控负荷集群整体可调节特性，支撑调度中心或者负荷聚合商对温控负荷资源进行合理调控。
[0005]为了实现上述目的，本专利技术有如下的技术方案：
[0006]第一方面，提供一种温控负荷集群特性分析方法，包括：
[0007]基于预先建立的空调负荷热力学模型，构建温控负荷数值计算模型，并设计温控负荷集群控制器，构建出温控负荷集群仿真环境；
[0008]基于温控负荷集群仿真环境，选取温控负荷集群的观测数据构成观测向量，设计温控负荷集群调节特性分析的动作向量以及奖励函数，构建出温控负荷集群可调特征分析学习环境；
[0009]基于温控负荷集群可调特征分析学习环境，采用深度强化学习算法，依据观测向量，通过策略神经网络生成可调度范围，在可调度范围之内，将决策结果与学习环境交互，获得动作经验，更新策略神经网络，完成温控负荷集群特征分析神经网络的训练；
[0010]利用训练好的温控负荷集群特征分析神经网络进行温控负荷集群特性分析。
[0011]作为一种优选方案，所述空调负荷热力学模型按照如下方式建立：
[0012]假设温控负荷室内是均匀温度场，则温控负荷在介质的热传导公式为：
[0013][0014]式中，Q
h
为热交换功率，λ为导热率，为传热方向上的温度梯度，A为传热面积；
[0015][0016]式中，T
in
为室温，T
out
为环境温度；
[0017]只考虑空气的蓄热过程，t0到t时刻的蓄热量计算公式为：
[0018]ΔQ
air
＝c
air
V
room
ρ
air
(T
in
(t)
‑
T
in
(t0))
[0019]式中，ΔQ
air
为空气中的蓄热量变化量，c
air
为空气比热容，V
room
为空间体积，ρ
air
为空气密度；
[0020]由此，推导出温控负荷的热力学方程为：
[0021][0022]式中，为室温变化速率，N
m
为空间导热面介质种类数，m为不同介质种类序号；
[0023]推导出，温控负荷在介质均匀和室温温度场均匀的条件下的室温演化公式如下：
[0024][0025]式中，C
room
＝c
air
V
room
，该参数描述负荷的蓄热性能；
[0026]该参数描述负荷与外界热交换的性能。
[0027]作为一种优选方案，所述温控负荷数值计算模型采用改进欧拉法构建，模型构建过程包括如下步骤：
[0028]采用改进欧拉法，对室温变化的一阶微分方程进行近似求解，求解的迭代公式如下：
[0029][0030]式中，T
pre
为按起点温度变化速度计算的下一时间点室温预测值，T
cor
为按估计终点温度变化速率计算的下一时间点室温预测值，T
i+1
为修正后下一时段室温。
[0031]作为一种优选方案，所述温控负荷集群控制器的设计方法如下：
[0032]采用比例控制器进行集群控制，比例控制器的反馈环节如下式：
[0033]ΔP＝k
ag
(P
target
‑
P
rt
)
[0034]式中，ΔP为聚合体功率调节量，k
ag
为集群比例控制系数，ag为集群序号，P
target
为目标功率，P
rt
为集群实时功率；通过所述比例控制器的反馈环节进行目标功率跟踪；
[0035]通过所述温控负荷集群控制器将调度中心下发的调度指令变换为温度调节信号；
[0036]功率
‑
温度变换公式如下：
[0037]ΔT＝ΔP*k
P2T
[0038]式中，k
P2T
为功率
‑
温度转换系数；
[0039]采用线性变换求取集群设定温度调节量。
[0040]作为一种优选方案，所述选取温控负荷集群的观测数据构成观测向量的步骤中，所述观测向量的表达式如下：
[0041]S
t
：(T
env
，P
cur
，P
target
，T
in_mean
，T
in_std
)
[0042]式中，S
t
为观测向量，T
env...

【技术保护点】

【技术特征摘要】
1.一种温控负荷集群特性分析方法，其特征在于，包括：基于预先建立的空调负荷热力学模型，构建温控负荷数值计算模型，并设计温控负荷集群控制器，构建出温控负荷集群仿真环境；基于温控负荷集群仿真环境，选取温控负荷集群的观测数据构成观测向量，设计温控负荷集群调节特性分析的动作向量以及奖励函数，构建出温控负荷集群可调特征分析学习环境；基于温控负荷集群可调特征分析学习环境，采用深度强化学习算法，依据观测向量，通过策略神经网络生成可调度范围，在可调度范围之内，将决策结果与学习环境交互，获得动作经验，更新策略神经网络，完成温控负荷集群特征分析神经网络的训练；利用训练好的温控负荷集群特征分析神经网络进行温控负荷集群特性分析。2.根据权利要求1所述的温控负荷集群特性分析方法，其特征在于，所述空调负荷热力学模型按照如下方式建立：假设温控负荷室内是均匀温度场，则温控负荷在介质的热传导公式为：式中，Q
h
为热交换功率，λ为导热率，为传热方向上的温度梯度，A为传热面积；式中，T
in
为室温，T
out
为环境温度；只考虑空气的蓄热过程，t0到t时刻的蓄热量计算公式为：ΔQ
air
＝c
air
V
room
ρ
air
(T
in
(t)
‑
T
in
(t0))式中，ΔQ
air
为空气中的蓄热量变化量，c
air
为空气比热容，V
room
为空间体积，ρ
air
为空气密度；由此，推导出温控负荷的热力学方程为：式中，为室温变化速率，N
m
为空间导热面介质种类数，m为不同介质种类序号；推导出，温控负荷在介质均匀和室温温度场均匀的条件下的室温演化公式如下：式中，C
room
＝c
air
V
room
，该参数描述负荷的蓄热性能；该参数描述负荷与外界热交换的性能。3.根据权利要求2所述的温控负荷集群特性分析方法，其特征在于，所述温控负荷数值计算模型采用改进欧拉法构建，模型构建过程包括如下步骤：采用改进欧拉法，对室温变化的一阶微分方程进行近似求解，求解的迭代公式如下：
式中，T
pre
为按起点温度变化速度计算的下一时间点室温预测值，T
cor
为按估计终点温度变化速率计算的下一时间点室温预测值，T
i+1
为修正后下一时段室温。4.根据权利要求1所述的温控负荷集群特性分析方法，其特征在于，所述温控负荷集群控制器的设计方法如下：采用比例控制器进行集群控制，比例控制器的反馈环节如下式：ΔP＝k
ag
(P
target
‑
P
rt
)式中，ΔP为聚合体功率调节量，k
ag
为集群比例控制系数，ag为集群序号，P
target
为目标功率，P
rt
为集群实时功率；通过所述比例控制器的反馈环节进行目标功率跟踪；通过所述温控负荷集群控制器将调度中心下发的调度指令变换为温度调节信号；功率
‑
温度变换公式如下：ΔT＝ΔP*k
P2T
式中，k
P2T
为功率
‑
温度转换系数；采用线性变换求取集群设定温度调节量。5.根据权利要求1所述的温控负荷集群特性分析方法，其特征在于，所述选取温控负荷集群的观测数据构成观测向量的步骤中，所述观测向量的表达式如下：S
t
：(T
env
，P
cur
，P
target
，T
in_mean
，T
in_std
)式中，S
t
为观测向量，T
env
为环境温度，P
cur
为关口功率；P
target
为关口目标功率；T
in_mean
为室温均值，T
in_std
为室温方差；其中，环境温度取温控负荷集群所在地的距离地面2米处的空气温度；关口功率和关口目标功率是指温控负荷所在馈线变电站的计量关口数据；室温均值和室温方差对温控集群的用户进行室温采样并统计得到。6.根据权利要求5所述的温控负荷集群特性分析方法，其特征在于，在所述设计温控负荷集群调节特性分析的动作向量以及奖励函数的步骤中，所述动作向量表达式如下：a
t
：(P
mx
，P
mn
)式中，P
mx
为可调度上边界，P
mn
为可调度下边界。7.根据权利要求6所述的温控负荷集群特性分析方法，其特征在于，在所述设计温控负荷集群调节特性分析的动作向量以及奖励函数的步骤中，所述奖励函数包括：边界越限惩罚，表达式如下：式中，P
overlimit
表示实际功率越边界的大小；边界冲突惩罚，表达式如下：
式中，P
conflict
表示输出结果冲突程度；可调容量收益，表达式如下：式中，P
range
为空调集群可调范围，在边界不冲突的条件下，范围越大收益越高；跟踪偏差惩罚，表达式如下：式中，P
err
为目标跟踪误差，P
target
为调度控制目标；稳定性惩罚，表达式如下：式中，P
chng
为可调范围波动量，和分别为5min前分析的可调节边界，该惩罚项只有在给定动作边界冲突为0时生效；对以上各个奖励函数按下式进行归一化：对以上各个奖励函数按下式进行归一化：式中，r为总奖励，r
i
为奖励函数分项，P
base
为标幺值，取注册参调空调的额定功率之和。8.根据权利要求1所述的温控负荷集群特性分析方法，其特征在于，在所述采用深度强化学习算法，依据观测向量，通过策略神经网络生成可调度范围的步骤中，所述深度强化学习算法采用SAC算法，所述可调度范围的表达式如下：式中，为策略神经网络，a
t
为动作向量，S
t
为观测向量。9.根据权利要求8所述的温控负荷集群特性分析方法，其特征在于，所述将决策结果与学习环境交互时，温控负荷集群可调特征分析学习环境依据可调度范围随机生成目标功率，温控负荷集群跟踪目标功率，完成空调控制和室温演化，更新温控负荷状态，输出下一时刻观测量，决策结果与学习环境交互的表达式如下：S
t+1
～p(S
t+1
|S
t
，a
t
)其中，p(
·
)描述的是学习环境状态转移过程；获得动作经验时，计算动作奖励并将决策、观测量和奖励保存到经验池，表达式如下：其中，为经验池，为强化学习通过与环境交互生成的样本数据；更新策略神经网络的表达式如下：更新策略神经网络的表达式如下：
式中，θ
i
为Q函数估值网络参数，i表示估值网络序号，SAC算法使用了两个估值网络，依据贝尔曼方程迭代训练得到；为随机梯度；λ
Q
为学习率；φ为策略网络参数，通过KL散度期望学习得到；为策略网络的梯度；λ
π
为学习率；为估值网络的目标网络参数，通过估值网络软更新得到；τ为目标网络学习率。10.一种温控负荷集群特性分析系统，其特征在于，包括：仿真环境构建模块，用于基于预先建立的空调负荷热力学模型，构建温控负荷数值计算模型，并设计温控负荷集群控制器，构建出温控负荷集群仿真环境；学习环境构建模块，用于基于温控负荷集群仿真环境，选取温控负荷集群的观测数据构成观测向量，设计温控负荷集群调节特性...

【专利技术属性】
技术研发人员：毛文博，耿建，李峰，李亚平，杨胜春，朱克东，严嘉豪，王勇，
申请(专利权)人：国网北京市电力公司国家电网有限公司，
类型：发明
国别省市：