基于迁移学习与自注意力特征融合的非侵入式负荷监测方法技术

本发明专利技术涉及基于迁移学习与自注意力特征融合的非侵入式负荷监测方法，属于智能电网领域。该方法包括以下步骤：S1：获取基于高频特征与自注意力融合的多任务神经网络模型；S2：使用基于高频特征与自注意力融合的多任务神经网络模型在源域中进行预训练；S3：冻结模型底层参数，截断自注意力特征融合模块与模型上层；S4：重构自注意力特征融合模块与模型上层，并使用少量目标域数据进行微调；S5：解冻基于高频特征与自注意力融合的多任务神经网络模型，对基于高频特征与自注意力融合的多任务神经网络模型进行整体微调。本发明专利技术降低了模型从头训练带来的计算开销与标注数据需求，提高了基于高频特征与自注意力融合的多任务神经网络模型应用的可行性。络模型应用的可行性。络模型应用的可行性。

【技术实现步骤摘要】
基于迁移学习与自注意力特征融合的非侵入式负荷监测方法


[0001]本专利技术属于智能电网领域，具体涉及基于迁移学习与自注意力特征融合的非侵入式负荷监测方法。

技术介绍

[0002]非侵入式负荷监测(Non
‑
Intrusive LoadMonitoring，NILM)，亦称负荷分解，仅需在供电入口处部署一个智能电表用以获取总负荷，以低成本方式向用户提供详细的用电信息，帮助用户改善自身用电习惯，提高用电效率。同时，NILM技术为节能、电器故障检测、电力需求管理等领域的研究提供有效数据支持。
[0003]NILM模型主要分为基于事件与基于非事件两种方案。基于事件模型需要首先对输入电气值进行事件检测，获得稳态特征与暂态特征，然后将包含多个负荷特征的特征集输入到模型中进行负荷分解，因此基于事件NILM模型依赖于10kHz到100kHz的高频采样数据，尤其是对于暂态特征的提取。但大多数智能电表通常只支持1Hz左右的低频采样率，难以满足暂态特征提取要求。考虑到实际应用成本与可操作性，基于深度学习(简称：DL)的NILM模型通常基于非事件，利用神经网络优秀的特征提取能力，由卷积神经网络(简称：CNN)，循环神经网络(简称：RNNs)等神经网络单元自动学习得到负荷特征，无需进行事件检测，采取1Hz左右的低频采样数据即可实现端到端的负荷分解。
[0004]然而，基于深度学习的NILM方法依赖大量标注数据用以模型训练，其中包括长时间住宅总功率消耗以及每个电器单独运行时的功率消耗，以便模型学习其中的非线性映射关系。尽管已有多个公开数据集为研究者提供了充足标注数据，但在实际应用中，往往需要对相关电气数据进行长达数周甚至数月的持续采集，才能支撑深度学习模型的训练。因此，NILM模型可迁移性是提高其普及率与实际应用价值的关键因素。具体而言，当NILM模型在一个数据集中完成训练后，能否在另一个数据集中同样适用，而无需每次使用大量标注数据进行重新训练。这种可迁移性能够大幅度减少数据采集和标注的时间和成本，提高NILM实用性与可行性。然而，多数方法仅关注模型性能，忽视了模型可迁移性。

技术实现思路

[0005]有鉴于此，本专利技术的目的在于提供基于迁移学习与自注意力特征融合的非侵入式负荷监测方法，解决NILM模型在实际应用中难以获取充足训练数据的问题。本专利技术通过特征与参数的跨域迁移方法，使用在大型数据集中完成预训练的模型，仅需少量目标域标准数据以帮助模型快速适应新的数据分布与目标任务，即可在新域中完成负荷分解，极大降低了模型从头训练带来的计算开销与标注数据需求，提高了NILM模型在实际应用中的可行性。
[0006]为达到上述目的，本专利技术提供如下技术方案：
[0007]基于迁移学习与自注意力特征融合的非侵入式负荷监测方法，具体包括以下步骤：
[0008]S1：获取基于高频特征与自注意力融合的多任务神经网络模型，所述基于高频特征与自注意力融合的多任务神经网络模型依次设有输入窗口、模型底层、自注意力特征融合模块、模型上层和输出窗口，所述模型底层包括底层特征提取模块和高频特征提取模块，所述底层特征提取模块与高频特征提取模块并行设置；所述模型上层为任务特定特征提取模块；
[0009]S2：使用所述基于高频特征与自注意力融合的多任务神经网络模型在源域中进行预训练，以学习可迁移的模型底层参数；
[0010]S3：冻结所述模型底层参数，截断所述自注意力特征融合模块与模型上层；
[0011]S4：根据所述S3中的模型底层参数重构自注意力特征融合模块与模型上层，并使用目标域数据对自注意力特征融合模块与模型上层进行微调；
[0012]S5：解冻所述基于高频特征与自注意力融合的多任务神经网络模型的所有模块，对所述基于高频特征与自注意力融合的多任务神经网络模型进行整体微调。
[0013]可选的，所述S2中使用基于高频特征与自注意力融合的多任务神经网络模型在源域中进行预训练具体包括，使用数据量充足的大型数据集对基于高频特征与自注意力融合的多任务神经网络模型进行预训练，并对每一类别的目标电器设备单独训练一个模型。
[0014]可选的，所述S3具体包括，完成所述预训练后，将预训练模型的模型底层所有参数设置为不可训练状态，截断自注意力特征融合模块与所述模型上层，保留模型底层参数的预训练模型作为目标域负荷特征提取器。
[0015]进一步的，所述S4具体包括，根据所述S3中的预训练模型重新构建可训练状态的自注意力融合特征与模块上层，使用目标域数据对自注意力特征融合模块与模块上层进行微调，使预训练模型适应所述目标域数据分布；
[0016]在使用目标域数据进行微调过程中，预训练模型底层参数保持冻结，使用所述参数冻结的模型底层提取负荷特征并针对目标域进行自注意力融合，输出目标域融合特征并分别送入由两个全连接(简称：FC)层构成的子网络输出对应预测值：对于回归任务，输出目标电器设备i的功耗序列对于分类任务，输出目标电器设备i的状态序列分别如式(1)与式(2)所示：
[0017][0018][0019]式中，表示目标域中任务j对应特定特征提取分支；表示目标域中任务j对应分支网络参数；j＝A,B，分别表示负荷分解对应的回归任务与状态检测对应的分类任务；
[0020]将所述子网络的输出相乘得到在所述目标域中的负荷分解预测值；
[0021]此阶段微调更新的参数为自注意力层中的线性变换矩阵与以及模型上层中FC层参数
[0022]可选的，所述S5具体包括，将基于高频特征与自注意力融合的多任务神经网络模型的所有模块参数设置为可训练状态，以较低学习率和少量所述目标域数据对所述的预训练模型进行整体微调。
[0023]可选的，基于高频特征与自注意力融合的多任务神经网络模型，其多任务学习的
核心在于软参数共享。
[0024]可选的，所述输入窗口输入至基于高频特征与自注意力融合的多任务神经网络模型的数据为一段时间内经过预处理后的总功率消耗序列。
[0025]可选的，基于高频特征与自注意力融合的多任务神经网络模型输出最终分解的目标电器设备的功耗序列，包括以下步骤：
[0026]S81：输入经一段时间内预处理后的总功率消耗序列到基于高频特征与自注意力融合的多任务神经网络模型；
[0027]S82：通过底层特征提取模块对所述总功率信号进行特征提取，输出底层通用特征f
shd
；通过所述高频特征提取模块对所述总功率信号进行离散小波分解，将第一层细节系数重构输入后续网络进行高频特征提取，输出高频辅助特征f
hf
；
[0028]S83：通过所述自注意力特征融合模块对所述底层通用特征f
shd
和高频辅助特征f
hf
进行通道合并，输出合并负荷特征f
con
，并对所述合并负荷特征f
con
进行自注意力融合后，输出融合特征
[0029]S84：本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于迁移学习与自注意力特征融合的非侵入式负荷监测方法，其特征在于：该方法包括以下步骤：S1：获取基于高频特征与自注意力融合的多任务神经网络模型，所述基于高频特征与自注意力融合的多任务神经网络模型依次设有输入窗口、模型底层、自注意力特征融合模块、模型上层和输出窗口，所述模型底层包括底层特征提取模块和高频特征提取模块，所述底层特征提取模块与高频特征提取模块并行设置；所述模型上层为任务特定特征提取模块；S2：使用所述基于高频特征与自注意力融合的多任务神经网络模型在源域中进行预训练，以学习可迁移的模型底层参数；S3：冻结所述模型底层参数，截断所述自注意力特征融合模块与模型上层；S4：根据所述S3中的模型底层参数重构自注意力特征融合模块与模型上层，并使用目标域数据对自注意力特征融合模块与模型上层进行微调；S5：解冻所述基于高频特征与自注意力融合的多任务神经网络模型的所有模块，对所述基于高频特征与自注意力融合的多任务神经网络模型进行整体微调。2.根据权利要求1所述的基于迁移学习与自注意力特征融合的非侵入式负荷监测方法，其特征在于：所述S2中使用基于高频特征与自注意力融合的多任务神经网络模型在源域中进行预训练具体包括，使用数据量充足的大型数据集对基于高频特征与自注意力融合的多任务神经网络模型进行预训练，并对每一类别的目标电器设备单独训练一个模型。3.根据权利要求1所述的基于迁移学习与自注意力特征融合的非侵入式负荷监测方法，其特征在于：所述S3具体包括，完成所述预训练后，将预训练模型的模型底层所有参数设置为不可训练状态，截断自注意力特征融合模块与所述模型上层，保留模型底层参数的预训练模型作为目标域负荷特征提取器。4.根据权利要求3所述的基于迁移学习与自注意力特征融合的非侵入式负荷监测方法，其特征在于：所述S4具体包括，根据所述S3中的预训练模型重新构建可训练状态的自注意力特征融合模块与模块上层，使用目标域数据对自注意力特征融合模块与模块上层进行微调，使预训练模型适应所述目标域数据分布；在使用目标域数据进行微调过程中，预训练模型底层参数保持冻结，使用所述参数冻结的模型底层提取负荷特征并针对目标域进行自注意力融合，输出目标域融合特征并分别送入由两个全连接FC层构成的子网络输出对应预测值：对于回归任务，输出目标电器设备i的功耗序列对于分类任务，输出目标电器设备i的状态序列分别如式(1)与式(2)所示：(2)所示：式中，表示目标域中任务j对应特定特征提取分支；表示目标域中任务j对应分支网络参数；j＝A,B，分别表示负荷分解对应的回归任务与状态检测对应的分类任务；将所述子网络的输出相乘得到在所述目标域中的负荷分解预测值；此阶段微调更新的参数为自注意力层中的线性变换矩阵与以及模型上
层中FC层参数5.根据权利要求1所述的基于迁移学习与自注意力特征融合的非侵入式负荷监测方法，其特征在于：所述S5具体包括，将基于高频特征与自注意力融合的多任务神经网络模型的所有模块参数设置为可训练状态，以较低学习率和少量所述目标域数据对所...

【专利技术属性】
技术研发人员：段红光，文淳，郑建宏，罗一静，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：