一种基于生成对抗网络的电能计量数据补全方法和系统技术方案

本发明专利技术公开了一种基于生成对抗网络的电能计量数据补全方法和系统，涉及数据补全的技术领域，所述方法包括：获取矩阵形式的电能计量数据的完整历史数据集和缺失数据集；构建生成对抗网络，利用完整历史数据集对生成对抗网络进行训练，获得训练好的生成对抗网络；根据缺失数据集中缺失数据的位置生成掩码矩阵；对缺失数据集进行预处理，获得预处理后的缺失数据集；将预处理后的缺失数据集和掩码矩阵输入训练好的生成对抗网络，获得初始补全数据集；对初始补全数据集进行处理，利用处理后的初始补全数据集对缺失数据集进行补充，获得最终补全数据集。本发明专利技术可以在数据缺失较多时对数据准确补充，获得完整的数据。获得完整的数据。获得完整的数据。

【技术实现步骤摘要】
一种基于生成对抗网络的电能计量数据补全方法和系统


[0001]本专利技术涉及数据补全的
，更具体地，涉及一种基于生成对抗网络的电能计量数据补全方法和系统。

技术介绍

[0002]数据缺失在电力负荷采集过程中经常发生，对后续利用电能计量数据进行大数据分析造成了极大的阻碍。目前的针对缺失时间序列数据缺失补全的算法只适用于缺失数据量较小的情况下，对于缺失数据较多的情况往往表现不佳。数据缺失的主要原因如下：(1)使用过程中设备损坏；(2)外界原因如气候因素对数据采集设备造成影响导致数据缺失；(3)计量过程中，由于检测仪器的精度或外部影响，采集的数据中存在异常值，在数据处理的过程中缺失异常值产生的数据缺失。综上，为了能够更好的利用电能计量数据，如将收集的电能计量数据用于电力负荷的预测或对用电客户的用电行为习惯大数据分析时，需要对缺失的数据进行补全处理。目前，已有方法对缺失数据进行补全时，基于最简单的插值的方法，如线性插值、三次样条插值和Hermite插值等。上述方法具有容易实现、计算简洁的优点，但随着缺失数据的增多，补全效果无法令人满意。基于机器学习的方法如利用支持向量机构造缺失数据补全框架，也不适用于缺失数据较多的情况。
[0003]现有技术公开了一种基于Kmeans和T
‑
LSTM的负荷数据补全方法，包括以下步骤：构建数据模型；K种负荷区间的数据分别训练得到对应的K种数据模型；定时取待补全数据的当天负荷数据；计算当天负荷数据的平均值；根据平均值获取对应的数据模型；将待补全负荷数据输入对应的数据模型中，计算得到补全的完整负荷数据。该技术方案需要利用的当天负荷数据把相似特征的负荷数据归为一类，当某天负荷数据确实较多时，就无法实现对数据的准确补全。

技术实现思路

[0004]本专利技术为克服上述现有技术在缺失较多数据时，无法准确对数据进行补全的缺陷，提供一种基于生成对抗网络的电能计量数据补全方法和系统，可以在数据缺失较多时准确补充，获得完整的数据。
[0005]为解决上述技术问题，本专利技术的技术方案如下：
[0006]本专利技术提供了一种基于生成对抗网络的电能计量数据补全方法，包括：
[0007]S1：获取矩阵形式的电能计量数据的完整历史数据集和缺失数据集；
[0008]S2：构建生成对抗网络，利用完整历史数据集对生成对抗网络进行训练，获得训练好的生成对抗网络；
[0009]S3：根据缺失数据集中缺失数据的位置生成掩码矩阵；
[0010]S4：对缺失数据集进行预处理，获得预处理后的缺失数据集；
[0011]S5：将预处理后的缺失数据集和掩码矩阵输入训练好的生成对抗网络，获得初始补全数据集；
[0012]S6：对初始补全数据集进行处理，利用处理后的初始补全数据集对缺失数据集进行补充，获得最终补全数据集。
[0013]优选地，所述步骤S3中，根据缺失数据集中缺失数据的位置生成掩码矩阵的具体方法为：
[0014]掩码矩阵M维度与缺失数据集X的维度相同，包含的元素由0，1构成；若缺失数据集X中第i行第j列的元素x
ij
缺失时，掩码矩阵M中对应第i行第j列的元素m
ij
取值置为0；若缺失数据集X中第i行第j列的元素x
ij
没有缺失时，掩码矩阵M中对应第i行第j列的元素m
ij
取值置为1。
[0015]优选地，所述步骤S4的具体方法为：
[0016]S4.1：对缺失数据集X进行归一化处理，获得归一化处理后的缺失数据集X
*
；
[0017]S4.2：生成0到1之间的随机数，填入归一化处理后的缺失数据集X
*
中数据缺失的位置，获得预处理后的缺失数据集
[0018]优选地，所述步骤S4.1中，对缺失数据集中的数据进行归一化处理的具体方法为：
[0019]对缺失数据集X中数据在时间维度上进行归一化处理，归一化公式为：
[0020][0021]式中，x
ij
表示缺失数据集X中第i行第j列的元素，min(X[:,j])表示缺失数据集X中第j列元素的最小值，max(X[:,j])表示缺失数据集X中第j元素的最大值。
[0022]优选地，所述步骤S4.2的具体方法为：
[0023]利用随机矩阵生成器生成随机矩阵Z，维度与掩码矩阵M维度相同，元素z
ij
均为0
‑
1之间的随机数；全1矩阵的维度与掩码矩阵M维度相同，利用全1矩阵与掩码矩阵M维度相减后，与随机矩阵Z进行哈达玛乘积运算，使随机矩阵Z中的元素位置与归一化处理后的缺失数据集X
*
中数据缺失的位置一一对应，相加后形成预处理后的缺失数据集表示为：
[0024][0025]式中，Z表示随机矩阵，
⊙
表示哈达玛乘积，1表示全1矩阵。
[0026]优选地，所述步骤S5的具体过程为：
[0027]S5.1：生成对抗网络包括生成器和判别器；将预处理后的缺失数据集和掩码矩阵M拼接后输入生成器，产生补充矩阵X
g
，利用补充矩阵X
g
中的元素替换预处理后的缺失数据集中的元素z
ij
，生成器输出初始补全数据集
[0028]S5.2：利用随机数生成器生成提示矩阵H，将初始补全数据集与提示矩阵H拼接后输入辨别器，同时将掩码矩阵M也输入辨别器中，辨别器输出概率矩阵P；
[0029]S5.3：根据预处理后的缺失数据集补充矩阵X
g
、掩码矩阵M、概率矩阵P构建生成器和辨别器的损失函数，并计算损失函数的损失值，利用反向传播算法对生成器和辨别器的网络参数进行更新；
[0030]S5.4：重复步骤S5.1
‑
S5.3，直到生成对抗网络收敛，输出生成对抗网络收敛时对应的初始补全数据集
[0031]生成对抗网络中的生成器和判别器具有相同的网络结构，均是三层的全连接神经
网络，输入维度均为2L
t
，输出维度均为L
t
，其中L
t
表示矩阵形式的缺失数据集在时间维度上的长度。
[0032]优选地，所述步骤S5.3中，生成器的损失函数为：
[0033][0034]辨别器的损失函数为：
[0035]L
D
＝∑[M
i
log(P
i
)+(1
‑
M
i
)log(1
‑
P
i
)][0036]式中，G表示生成器，表示补充矩阵X
g
中第i行元素，表示预处理后的缺失数据集中第i行元素，M
i
表示掩码矩阵M中第i行元素，P
i
表示概率矩阵P中第i行元素。
[0037]优选地，所述步骤S6中，对初始补全数据集进行处理为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于生成对抗网络的电能计量数据补全方法，其特征在于，包括：S1：获取矩阵形式的电能计量数据的完整历史数据集和缺失数据集；S2：构建生成对抗网络，利用完整历史数据集对生成对抗网络进行训练，获得训练好的生成对抗网络；S3：根据缺失数据集中缺失数据的位置生成掩码矩阵；S4：对缺失数据集进行预处理，获得预处理后的缺失数据集；S5：将预处理后的缺失数据集和掩码矩阵输入训练好的生成对抗网络，获得初始补全数据集；S6：对初始补全数据集进行处理，利用处理后的初始补全数据集对缺失数据集进行补充，获得最终补全数据集。2.根据权利要求1所述的基于生成对抗网络的电能计量数据补全方法，其特征在于，所述步骤S3中，根据缺失数据集中缺失数据的位置生成掩码矩阵的具体方法为：掩码矩阵M维度与缺失数据集X的维度相同，包含的元素由0，1构成；若缺失数据集X中第i行第j列的元素x
ij
缺失时，掩码矩阵M中对应第i行第j列的元素m
ij
取值置为0；若缺失数据集X中第i行第j列的元素x
ij
没有缺失时，掩码矩阵M中对应第i行第j列的元素m
ij
取值置为1。3.根据权利要求2所述的基于生成对抗网络的电能计量数据补全方法，其特征在于，所述步骤S4的具体方法为：S4.1：对缺失数据集X进行归一化处理，获得归一化处理后的缺失数据集X
*
；S4.2：生成0到1之间的随机数，填入归一化处理后的缺失数据集X
*
中数据缺失的位置，获得预处理后的缺失数据集4.根据权利要求3所述的基于生成对抗网络的电能计量数据补全方法，其特征在于，所述步骤S4.1中，对缺失数据集中的数据进行归一化处理的具体方法为：对缺失数据集X中数据在时间维度上进行归一化处理，归一化公式为：式中，x
ij
表示缺失数据集X中第i行第j列的元素，min(X[：，j])表示缺失数据集X中第j列元素的最小值，max(X[：，j])表示缺失数据集X中第j列元素的最大值。5.根据权利要求4所述的基于生成对抗网络的电能计量数据补全方法，其特征在于，所述步骤S4.2的具体方法为：利用随机矩阵生成器生成随机矩阵Z，维度与掩码矩阵M维度相同，元素z
ij
均为0
‑
1之间的随机数；全1矩阵的维度与掩码矩阵M维度相同，利用全1矩阵与掩码矩阵M维度相减后，与随机矩阵Z进行哈达玛乘积运算，使随机矩阵Z中的元素位置与归一化处理后的缺失数据集X
*
中数据缺失的位置一一对应，相加后形成预处理后的缺失数据集表示为：式中，Z表示随机矩阵，
⊙
表示哈达玛乘积，1表示全1矩阵。6.根据权利要求5所述的基于生成对抗网络的电能计量数据补全方法，其特征在于，所述步骤S5的具体过程为：
S5.1：生成对抗网络包括生成器和判别器；将预处理后的缺失数据集和掩码矩阵M拼接后输入生成器，产生补充矩阵X
g
，利用...

【专利技术属性】
技术研发人员：刘德荣，叶佳锐，王永华，魏庆来，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：