一种基于BERT的电网故障诊断方法技术

本发明专利技术提供一种基于BERT(Bidirectional Encoder Representationsfrom Transformers)的电网故障诊断方法。所述方法将电网故障诊断转化为一个自然语言处理问题，其中包括：采集告警信息样本，对样本进行切词预处理；对告警信息文本嵌入语义特征、句特征以及位置特征，将三大特征相加构成模型输入向量；构建基于BERT的电网故障诊断模型，利用Transformer编码器中的注意力机制，自主学习告警信息文本中的故障特征，利用解码器输出故障诊断结果。此方法通过输入的告警信息文本直接输出有关故障特征的概要性描述文本，实现了端到端的电网故障诊断。故障诊断。故障诊断。

【技术实现步骤摘要】
一种基于BERT的电网故障诊断方法


[0001]本专利技术属于电网故障诊断领域，具体为一种基于BERT的电网故障诊断方法，适用于故障信息源为电网故障告警信息的故障诊断方法。

技术介绍

[0002]随着电力信息化的快速建设以及电网智能化的全面推进，海量文本、音频和图像等数据分布于基建、运行、调控、检修等多个电网资产管理环节。电网监控告警信息作为数据采集与监视控制SCADA(Supervisory Control And Data Acquisition)系统产生的中文文本信息，是调控人员监视电网运行状态的重要方式。
[0003]智能化电网故障诊断是电网智能调度的典型应用之一，对于提高电网调度决策智能化水平、保证电网运行可靠性具有重要的意义。但是面对既包含保护动作、断路器跳闸等开关量信息，又包含装置异常、电压越限、控制回路断线、储能到位等非故障关键信息的海量告警信息，传统的人工处理电网告警信息的方法已经日趋无法满足当前电网的发展现状。如何快速、准确、智能地对电网故障进行诊断成为电网故障诊断研究的难点。
[0004]以自然语言处理NLP(Natural Language Processing)和深度学习技术为代表的新一代人工智能技术的崛起，为面向告警信息，实现智能化的电网诊断带来了新的解决思路和方法。

技术实现思路

[0005]为了解决上述问题，本专利技术提供一种基于BERT的电网故障诊断方法。此方法首先通过仿真软件批量生成告警信息样本，并混入某地区电网实测故障样本，以提高样本复杂度。以8:2的比例将样本划分为训练集和测试集。再对样本进行数据预处理，即切词。然后对切词结果进行语义嵌入、句嵌入和位置嵌入，以获得模型的输入文本向量。最后将训练集输入BERT模型以训练电网故障诊断模型，输出有关故障特征的概要性描述文本，用测试集测试模型的适用性。
[0006]一种基于BERT的电网故障诊断方法，所述方法包括：
[0007]S1、采集电网故障时的告警信息文本；
[0008]S2、对告警信息文本进行切词处理；
[0009]S3、对告警信息文本嵌入语义特征、句特征以及位置特征，将三大特征相加构成模型输入向量；
[0010]S4、构建基于BERT的电网故障诊断模型；
[0011]S5、将所述输入向量输入电网故障诊断模型，对电网故障进行诊断，并输出诊断结果。
[0012]优选地，所述基于BERT的电网故障诊断方法的输入为电网的告警信息文本，输出为有关故障特征的概要性描述文本，摆脱了对人工设计诊断逻辑的依赖，即实现了端到端的电网故障诊断。
[0013]优选地，所述步骤S1包括：
[0014]电网发生故障后，与故障设备相关的保护和开关动作信息将实时上传至SCADA系统。与此同时，SCADA系统还将接收一些诸如装置故障、开关机构弹簧未储能等方面的告警信息，这些信息按照时间先后顺序进行记录，生成故障时的告警信息集合。采集所述告警信息集合构建电网故障诊断模型的数据样本集。以8:2的比例将样本划分为训练集和测试集。
[0015]优选地，所述步骤S2包括：
[0016]基于jieba切词技术，并补充电力领域相关的命名实体，如厂站名、线路名、变电站名等词汇，构建电网故障诊断词典，由此对告警信息文本进行切词处理。
[0017]优选地，所述步骤S3包括：
[0018]采用Word2vec模型，将切词结果利用词的上下文信息，生成表示词语间关联关系的低维词向量，即语义特征向量；将告警信息文本的奇数句文本和偶数句文本分别嵌入EA和EB以学习相邻告警信息语句的逻辑关系；对切词结果进行位置编码，以确定每个词语的位置信息，学习各词语的时序特征和词语间的相关性。
[0019]优选地，所述步骤S3包括：
[0020]对于输入的告警信息样本，经过特征嵌入，将三种嵌入向量加和，即语义嵌入向量、句嵌入向量和位置嵌入向量相加输入BERT模型。
[0021]优选地，所述步骤S4包括：
[0022]BERT模型的语义提取层是一个以Transformer编码器为基本单元的多层双向解码器，主要包括注意力机制、层标准化和残差连接以及前馈神经网络三个部分。
[0023]优选地，所述步骤S4包括：
[0024]所述注意力机制由词嵌入矩阵乘以三个矩阵W
Q
、W
K
、W
V
得到Query、Key、Value三个矩阵，记为Q、K、V，其维度分别为N
×
d
k
，N
×
d
k
，N
×
d
v
，Q和K的维度相同；Q、K、V的计算公式：
[0025]Q＝Linear(X)＝XW
Q
[0026]K＝Linear(X)＝XW
K
[0027]V＝Linear(X)＝XW
V
[0028]式中：Linear是线性映射；X是词嵌入矩阵；W
Q
、W
K
、W
V
是权重矩阵；
[0029]注意力机制的输出为：
[0030][0031]式中：是将注意力机制转换为标准正态分布，d
k
为惩罚因子避免QK
T
过大；Softmax()是归一化，指对文本中每个单词与其他单词的注意力权重求和。
[0032]层标准化是通过归一化神经网络中的隐藏层来加速标准正态分布的模型训练，从而加速模型收敛，其计算公式为：
[0033][0034][0035][0036]式中：x
ij
为词嵌入矩阵中的每一个向量，μ
i
是所述矩阵行的平均值；σ
i2
是所述矩阵行的方差；m为矩阵行数；
⊙
是矩阵中元素的乘法；α和β是模型训练参数；ε用于防止分母为0；
[0037]前馈神经网络由2层线性映射形成，由ReLU激活函数激活，最后将经过归一化的数据输入前馈神经网络，其计算公式为
[0038]X
hidden
＝ReLU(Linear(X))
[0039]优选地，所述步骤S4包括：
[0040]BERT模型的无监督预训练包括2个训练任务，即遮蔽语言模型(Masked Language Model，MLM)和下句预测(Next Sentence Prediction，NSP)。
[0041]MLM任务的方法是随机遮蔽15％的告警信息样本的输入，训练模型自学习预测遮蔽部分的原始词汇。其中，80％被遮挡词用Masked token来代替；10％用一个随机词汇代替；10％保持这个词不变。在其对应的输出表示向量后再接入一个Softmax层以预测被遮蔽的词或字，在多次预测的过程中对BERT的参数进行训练。
[0042]NSP任务学习两个句子之间的关联关系。通过在故障诊断模型本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于BERT的电网故障诊断方法，其特征在于，所述方法包括：S1、采集电网故障时的告警信息文本；S2、对告警信息文本进行切词处理；S3、对告警信息文本嵌入语义特征、句特征以及位置特征，将三大特征相加构成模型输入向量；S4、构建基于BERT的电网故障诊断模型；S5、将所述输入向量输入电网故障诊断模型，对电网故障进行诊断，并输出诊断结果。2.根据权利要求1所述的方法，其特征在于，所述基于BERT的电网故障诊断方法的输入为电网的告警信息文本，输出为有关故障特征的概要性描述文本，实现了端到端的电网故障诊断。3.根据权利要求2所述的方法，其特征在于，所述步骤S1包括：S11：电网发生故障后，与故障设备相关的保护和开关动作信息将实时上传至SCADA系统；S12：SCADA系统接收装置故障、开关机构弹簧的告警信息，按照时间先后顺序进行记录，生成故障时的告警信息集合；S13：采集的告警信息集合构建电网故障诊断模型的数据样本集。4.根据权利要求3所述的方法，其特征在于，所述步骤S2包括：基于jieba切词技术，并补充电力领域相关的命名实体，构建电网故障诊断词典，由此对告警信息文本进行切词处理。5.根据权利要求4所述的方法，其特征在于，所述步骤S3包括：S31：采用Word2vec模型，将切词结果利用词的上下文信息，生成表示词语间关联关系的低维词向量，即语义特征向量；S32：将告警信息文本的奇数句文本和偶数句文本分别嵌入E
A
和E
B
以学习相邻告警信息语句的逻辑关系，E
A
赋值为1，E
B
赋值为0；S33：对切词结果进行位置编码，以确定每个词语的位置信息，学习各词语的时序特征和词语间的相关性。6.根据权利要求5所述的方法，其特征在于，所述步骤S3中：对于输入的告警信息样本，经过特征嵌入，将三种嵌入向量加和，即语义嵌入向量、句嵌入向量和位置嵌入向量相加得到词嵌入矩阵输入BERT模型。7.根据权利要求6所述的方法，其特征在于，所述步骤S4中：所述BERT模型的语义提取层是一个以Transformer编码器为基本单元的多层双向解码器，包括注意力机制、层标准化和残差连接以及前馈神经网络三个部分。8.根据权利要求7所述的方法，其特征在于：所述注意力机制输入为词嵌入矩阵，由S3所得词嵌入矩阵乘以三个矩阵W
Q
、W
K
、W
V
得到Query、Key、Value三个矩阵，记为Q、K、V...

【专利技术属性】
技术研发人员：张旭，郑钰川，张紫琪，郭子兴，丁睿婷，王子瑞，杜明轩，
申请(专利权)人：华北电力大学，
类型：发明
国别省市：