【技术实现步骤摘要】
一种面向含多负荷的楼宇的边端协同能效提升方法、系统及存储介质
[0001]本专利技术属于电力需求响应
，具体涉及一种面向含多负荷的楼宇的边端协同能效提升方法、系统及存储介质。
技术介绍
[0002]近年来，能源紧缺情况日趋严峻，能效提升在各个用电领域都受到人们广泛的关注。统计表明，建筑楼宇的能耗占全球总耗能的近 40％，且比例还在持续增大。因此，提升建筑楼宇的用能效率，节省用能成本，对缓解能源紧缺现状具有重大意义。随着分布式可再生能源技术的进步，包含多负荷如屋顶光伏，储能设备和用户负荷的楼宇发展迅速，使得原有的无产能状况下用户用能提升问题变得愈加复杂。
[0003]当前建筑楼宇的能效控制主要通过建筑能源管理系统实现。由能源调度策略和负荷控制方法组成，可在满足用户需求的情况下对建筑内的负荷资源实施调度，削减电网用电高峰用电量，进而节约了用户的用能需求。常见的方法如提前优化调度，通过对用户用电行为的建模，将能效提升问题表示为优化问题，求解后得出各负荷未来若干时段的运行策略。但由于用户用电行为的不确定性，提前制定的用电策略难以达到较好的效果，因此此类方法具有较大的局限性。
技术实现思路
[0004]本专利技术的目的就是为了解决上述
技术介绍
存在的不足，提供一种面向含多负荷的楼宇的边端协同能效提升方法、系统及存储介质，在保障用户用电需求情况下，通过边缘计算单元与控制终端协同，实现用户能效的提升。
[0005]本专利技术采用的技术方案是：一种面向含多负荷的楼宇的边端协同能效提升方法，>[0006]构建基于强化学习的能效提升智能体模型；
[0007]采集建筑楼宇用户的历史用电数据；
[0008]利用历史用电数据对智能体模型进行训练；
[0009]将训练好的新模型输入到建筑楼宇内部的边缘计算单元，形成由用户随机负荷、可调负荷、控制终端和边缘计算单元构成的本地能效优化体系，通过本地能效化体系参与建筑楼宇的能源调度实现能效提升。
[0010]进一步地，所述历史用电数据包括建筑楼宇各时段的用电总量、可再生能源的发电量、重点负荷的工作状态。
[0011]进一步地，利用神经网络搭建智能体的主体结构，设定建筑楼宇中可供智能体观测的状态量并作为主体结构的输入，以建筑楼宇中的可控负荷的控制动作作为主体结构的输出，以用电成本最小化目标作为主体结构的优化方向构建基于强化学习的能效提升智能体模型。
[0012]进一步地，将用电成本最小化目标化为离散时间的形式，在某一离散时间段内，将
该时段的用电成本形成奖励函数输入至主体结构。
[0013]进一步地，所述奖励函数为：
[0014][0015]其中，r
t
为t时刻的奖励值；为t时刻用户的舒适度成本；α为舒适度成本的折扣系数；p
t
为t时刻的电价；为t时刻的楼宇总耗能；t为离散时间序号。
[0016]进一步地，对智能体模型进行训练的过程为：
[0017]1)初始化智能体模型中的策略网络π
θ
和价值网络v
ω
；
[0018]2)构建建筑楼宇仿真模型E(a
t
)并初始化；
[0019]3)从数据集中按时间先后顺序读取t时刻的状态量s
t
；
[0020]4)将状态量输入策略网络，然后输出控制动作；
[0021]5)将控制动作输入建筑楼宇仿真模型E(a
t
)，并计算得出t+1时刻的状态量s
t+1
；
[0022]6)根据t+1时刻的状态量s
t+1
计算t时刻的奖励值r
t
；
[0023]7)将t时刻的的状态量s
t
、控制动作a
t
、奖励值r
t
和t+1时刻的状态量s
t+1
存储到缓存区；
[0024]8)重复以上步骤3)～7)直至缓存区满；
[0025]9)对缓存区进行随机采样，根据采样数据分别计算策略网络π
θ
和价值网络v
ω
的损失函数L
π
(θ)和L
v
(ω)；
[0026]10)根据损失函数L
π
(θ)和L
v
(ω)更新策略网络π
θ
和价值网络v
ω
的参数；
[0027]11)清空缓存区并重复以上步骤3)～10)直至奖励值收敛即完成训练。
[0028]进一步地，所述策略网络和价值网络的损失函数分别通过以下公式确定：
[0029][0030][0031]其中，L
π
(θ)为策略网络的损失函数；L
v
(ω)为价值网络的的损失函数；E[]表示对括号内求期望；L
f
(θ)为策略网络的目标函数；c1为策略的熵的超参数；H为策略的熵；v
ω
(s
t
)为价值网络的输出；γ为折扣因子；l为时间序列标记；r
t+l
为第t+l时刻的奖励值；T为离散时间序列长度；t为离散时间序号。
[0032]进一步地，所述楼宇仿真模型包括储能设备的仿真模型：
[0033]SoC
t+1
＝SoC
t
+(δ
ch
·
P
tch
‑
1/δ
dis
·
P
tdis
)ΔT/E
max
[0034]其中，SoC
t+1
为t+1时刻储能设备的荷电状态；SoC
t
为t时刻储能设备的荷电状态；δ
ch
和P
tch
分别为储能设备充电效率和充电功率；δ
dis
和 P
tdis
分别表示储能设备的放电效率和放电功率；E
max
为储能设备容量；ΔT为时间间隔。
[0035]进一步地，所述楼宇仿真模型包括空调的仿真模型：
[0036]T
t+1
＝εT
t
+(1
‑
ε)(T
tout
+η/A
·
P
tAC
·
ΔT)
[0037]其中，T
t+1
为t+1时刻的室内温度；T
t
为t时刻的室内温度；ε为折算因子；T
tout
为t时刻的室外温度；η为热力转化系数；A为建筑整体的热传导率；P
tAC
为t时刻的暖通空调的工作功率；ΔT为时间间隔。
[0038]更进一步地，所述本地能效化体系参与建筑楼宇的能源调度的过程为：
[0039]所述控制终端获取建筑楼宇的状态，并将其上传至边缘计算单元，所述状态包括用本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种面向含多负荷的楼宇的边端协同能效提升方法，其特征在于：构建基于强化学习的能效提升智能体模型；采集建筑楼宇用户的历史用电数据；利用历史用电数据对智能体模型进行训练；将训练好的新模型输入到建筑楼宇内部的边缘计算单元，形成由用户随机负荷、可调负荷、控制终端和边缘计算单元构成的本地能效优化体系，通过本地能效化体系参与建筑楼宇的能源调度。2.根据权利要求1所述的面向含多负荷的楼宇的边端协同能效提升方法，其特征在于：所述历史用电数据包括建筑楼宇各时段的用电总量、可再生能源的发电量、重点负荷的工作状态。3.根据权利要求1所述的面向含多负荷的楼宇的边端协同能效提升方法，其特征在于：利用神经网络搭建智能体的主体结构，设定建筑楼宇中可供智能体观测的状态量并作为主体结构的输入，以建筑楼宇中的可控负荷的控制动作作为主体结构的输出，以用电成本最小化目标作为主体结构的优化方向构建基于强化学习的能效提升智能体模型。4.根据权利要求3所述的面向含多负荷的楼宇的边端协同能效提升方法，其特征在于：将用电成本最小化目标化为离散时间的形式，在某一离散时间段内，将该时段的用电成本形成奖励函数输入至主体结构。5.根据权利要求4所述的面向含多负荷的楼宇的边端协同能效提升方法，其特征在于：所述奖励函数为：其中，r
t
为t时刻的奖励值；为t时刻用户的舒适度成本；α为舒适度成本的折扣系数；p
t
为t时刻的电价；为t时刻的楼宇总耗能；t为离散时间序号。6.根据权利要求1所述的面向含多负荷的楼宇的边端协同能效提升方法，其特征在于：对智能体模型进行训练的过程为：1)初始化智能体模型中的策略网络π
θ
和价值网络v
ω
；2)构建建筑楼宇仿真模型E(a
t
)并初始化；3)从数据集中按时间先后顺序读取t时刻的状态量s
t
；4)将状态量输入策略网络，然后输出控制动作；5)将控制动作输入建筑楼宇仿真模型E(a
t
)，并计算得出t+1时刻的状态量s
t+1
；6)根据t+1时刻的状态量s
t+1
计算t时刻的奖励值r
t
；7)将t时刻的的状态量s
t
、控制动作a
t
、奖励值r
t
和t+1时刻的状态量s
t+1
存储到缓存区；8)重复以上步骤3)～7)直至缓存区满；9)对缓存区进行随机采样，根据采样数据分别计算策略网络π
θ
和价值网络v
ω
的损失函数L
π
(θ)和L
v
(ω)；10)根据损失函数L
π
(θ)和L
v
(ω)更新策略网络π
θ
和价值网络v
ω
的参数；11)清空缓存区并重复以上步骤3)～10)直至奖励值收敛即完成训练。7.根据权利要求6所述的面向含多负荷的楼宇的边端协同能效提升方法，其特征在于：所述策略网络和价值网络的损失函数分别通过以下公式确定：
其中，L
π
(θ)为策略网络的损失函数；L
v
...
【专利技术属性】
技术研发人员：齐蓓，朱亮亮，郭松，胡文博，余梦，杨斌，王忠东，苏慧玲，杨世海，
申请(专利权)人：国网电力科学研究院有限公司国网江苏省电力有限公司营销服务中心国网江苏省电力有限公司国家电网有限公司南瑞集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。