【技术实现步骤摘要】
本专利技术涉及水轮机状态预测，特别是一种基于transformer的水轮机状态预测方法及系统。
技术介绍
1、水轮机状态预测是水电智慧运行的关键环节，水电厂整体自动化水平较高，水轮机本身的传感数据丰富，可为预测运行状态建模提供数据基础。水轮机异常主要发生在轴系、导轴承等部位，目前所采用的状态异常预测方法主要有支持向量机、基于深度学习rnn(循环神经网络)等，这些基于传统机器学习的方法在一定程度上解决了部分水轮机状态异常预测的问题，但是很难泛化到大规模数据以及多样化的异常特征提取中，从而降低了状态异常预测的精度和效率。
2、本专利旨在一种基于transformer的水轮机状态预测方法，结合transformer模型对大规模长序列特征提取和建模的能力，以及生成式gan(生成对抗网络)算法高效的训练方式和无监督自训练能力，利用trans-gan模型对水轮机监测数据进行生成式建模，应用于大规模水电运行数据上，主动预测水轮机状态异常的数据点，实现高精度异常预测能力。
技术实现思路
1、鉴于上述存在的问题，提出了本专利技术。
2、因此，本专利技术所要解决的问题是：如何解决现有方法很难泛化到大规模数据以及多样化的异常特征提取的问题。
3、为解决上述技术问题，本专利技术提供如下技术方案：一种基于transformer的水轮机状态预测方法，包括，采集水轮机数据并进行预处理，得到预处理后的数据；使用预处理后的数据进行trans-gan模型的构建与训练；使用训练好的t
4、作为本专利技术所述一种基于transformer的水轮机状态预测方法的一种优选方案，其中：所述水轮机数据包括机械运行参数、环境监测参数、电气性能数据及运行时间数据；采集的数据为时序数据；所述预处理包括数据清洗和处理缺失值，并进行数据分析；所述数据分析包括采集到的全量特征维度的数据利用机器学习方法提取主要特征，采用主成分分析法进行数据降维，利用正交变换把线性相关变量表示的监测数据转换为由线性无关变量表示的数据。
5、作为本专利技术所述一种基于transformer的水轮机状态预测方法的一种优选方案，其中：所述trans-gan模型包括采用transformer模型作为主干网络，编码网络和解码网络都由自注意力机制模块组成，输入的信息经过编码后，获得对输入时序序列隐含的重要特征信息的编码向量，然后将编码向量结合特征序列以及位置编码信息同时输入到解码网络，通过解码网络重建原始序列；将transformer模型作为生成器网络，而对于判别器，仅需完成二分类任务，因此通过构建多层感知机实现判别器网络，进而实现基于gan架构的trans-gan模型。
6、作为本专利技术所述一种基于transformer的水轮机状态预测方法的一种优选方案，其中：所述trans-gan模型还包括预处理后的原始数据通过基于transformer模型的生成器网络g获得重建的输出，重建的输出结合原始数据，一起输入到基于多层感知机的判别网络l中，经过多层感知机前向运算获得真、假二分类概率值，再通过反向传播算法更新模型参数梯度。
7、作为本专利技术所述一种基于transformer的水轮机状态预测方法的一种优选方案，其中：所述生成器网络包括编码网络和解码网络，编码网络表示为：
8、multihead(q,k,v)＝concat(head1,head2,…,headh)wo
9、
10、
11、g＝layernorm(ffn(multihead(q,k,v))+multihead(q,k,v))
12、其中，g为编码网络的输出，layernorm为层归一化函数，ffn为前馈神经网络，multihead为多头注意力机制，q、k、v分别为输入经过不同的线性变换得到的查询、键和值，headi为第i个注意力头的输出，concat为沿特征维度拼接各个头的输出，wo为合并多头注意力输出后的线性变换权重矩阵，分别为用于线性变换查询、键和值的权重矩阵，softmax为激活函数，dk为键向量的维度；解码网络表示为：
13、en＝multihead(q,g,g)
14、g(z)＝layernorm(ffn(en)+multihead(q,k,v)
15、其中，g(z)为生成器网络的输出，en为编码器-解码器注意力机制。
16、作为本专利技术所述一种基于transformer的水轮机状态预测方法的一种优选方案，其中：所述判别网络包括将重建的输出结合原始数据一起输入到基于多层感知机的判别网络l中，经过多层感知机前向运算获得真、假二分类概率值，表示为：
17、i＝concat(g(x),x)
18、l(i)＝σ(wnleakyrelu(wn-1(…leakyrelu(w1i+b1)…)+bn-1)+bn)
19、其中，i为判别网络的输入，x为原始数据，w1、…、wn为判别网络各层的权重矩阵，b1、...、bn为判别网络各层的偏置向量，σ为sigmoid激活函数，leakyrelu为激活函数，允许小的梯度流过负值部分，l(i)为判别网络输出的概率；设置真假概率阈值，若l(i)大于真假概率阈值，则为真实数据，若l(i)小于等于真假概率阈值，则为生成的假数据；对模型进行训练，对于真实数据x，判别器的输出l接近1，即认为数据是真实的，损失函数表示为：
20、-log(l)
21、对于生成器g生成的数据g(z)，判别器的输出l(i)接近0，即认为数据是生成的，损失函数表示为：
22、-log(1-l(g(z)))
23、模型的整体损失函数表示为：
24、
25、其中，为整体损失函数，pdata为真实数据的分布，pz为生成器输入噪声的分布；通过反向传播算法计算参数的梯度，并更新参数以最小化损失函数，表示为：
26、
27、其中，θlnew为更新后的参数，θlold为更新前的参数，η为学习率。
28、作为本专利技术所述一种基于transformer的水轮机状态预测方法的一种优选方案，其中：所述进行水轮机状态预测包括使用训练好的trans-gan模型生成预测序列，输入的时序序列片段数据为z，通过生成器g处理后，得到重建的预测序列表示为：
29、t(z)＝g(z)
30、计算原始序列z与重建序列t(z)之间的误差，表示为：
31、e＝||z-t(z)||
32、其中，e为原始序列与重建序列之间的误差；设置动态阈值，表示为：
33、δ＝μ(e)+κ·σ(e)
34、其中，δ为动态阈值，μ(e)为最近n个误差值的平均值，κ为调节因子，σ(e)为最近n个误差值的标准差；若误差e大于δ，则判定序列在未来某个时间节点存在异常，实现对水轮机的状态异常预测。
本文档来自技高网...【技术保护点】
1.一种基于Transformer的水轮机状态预测方法，其特征在于：包括，
2.如权利要求1所述的一种基于Transformer的水轮机状态预测方法，其特征在于：所述水轮机数据包括机械运行参数、环境监测参数、电气性能数据及运行时间数据；
3.如权利要求2所述的一种基于Transformer的水轮机状态预测方法，其特征在于：所述Trans-GAN模型包括采用Transformer模型作为主干网络，编码网络和解码网络都由自注意力机制模块组成，输入的信息经过编码后，获得对输入时序序列隐含的重要特征信息的编码向量，然后将编码向量结合特征序列以及位置编码信息同时输入到解码网络，通过解码网络重建原始序列；
4.如权利要求3所述的一种基于Transformer的水轮机状态预测方法，其特征在于：所述Trans-GAN模型还包括预处理后的原始数据通过基于Transformer模型的生成器网络G获得重建的输出，重建的输出结合原始数据，一起输入到基于多层感知机的判别网络L中，经过多层感知机前向运算获得真、假二分类概率值，再通过反向传播算法更新模型参数梯度。
<...【技术特征摘要】
1.一种基于transformer的水轮机状态预测方法，其特征在于：包括，
2.如权利要求1所述的一种基于transformer的水轮机状态预测方法，其特征在于：所述水轮机数据包括机械运行参数、环境监测参数、电气性能数据及运行时间数据；
3.如权利要求2所述的一种基于transformer的水轮机状态预测方法，其特征在于：所述trans-gan模型包括采用transformer模型作为主干网络，编码网络和解码网络都由自注意力机制模块组成，输入的信息经过编码后，获得对输入时序序列隐含的重要特征信息的编码向量，然后将编码向量结合特征序列以及位置编码信息同时输入到解码网络，通过解码网络重建原始序列；
4.如权利要求3所述的一种基于transformer的水轮机状态预测方法，其特征在于：所述trans-gan模型还包括预处理后的原始数据通过基于transformer模型的生成器网络g获得重建的输出，重建的输出结合原始数据，一起输入到基于多层感知机的判别网络l中，经过多层感知机前向运算获得真、假二分类概率值，再通过反向传播算法更新模型参数梯度。
5.如权利要求4所述的一种基于transformer的水轮机状态预测方法，其特征在于：所述生成器网络包...
【专利技术属性】
技术研发人员：陈志，邹旭，胡学锋，方贤思，文智贤，叶紫，何宇平，冉飞甜，王立军，钟远锋，
申请(专利权)人：贵州乌江水电开发有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。