【技术实现步骤摘要】
本专利技术涉及环境监测数据处理，具体涉及一种基于transformer模型的环境时序数据处理方法。
技术介绍
1、环境监测数据质控对于环境监测数据的统计分析和信息挖掘具有基础性作用，监测数据质量问题主要包括数据异常和数据缺失两种情况，传统方法主要包括基于阈值和离群值监测的数据异常识别和平均值补充质控方法。这些方法没有考虑环境监测数据本身的局部波动，可能造成异常识别和数据补全的准确度不足。
2、近年来，基于深度学习的时序异常检测方法得到发展，主要应用架构包括lstm、cnn、transformer等，基于深度学习的方法通常通过对模型训练，识别异常数据，并对异常点或缺失点进行数值预测，以替换异常值或补充缺失值。其中，transformer架构具有时序关联捕捉能力强，准确性高等优势。公布号为cn115758273a的中国申请提出一种时序数据检测方法、装置、设备及介质，该现有技术中需要对数据进行归一化预处理及数据嵌入，以作为transformer模型的输入。其中，数据嵌入过程依赖于特定的embedding网络，且对原始数据的时序变化信息进行了抽取，可能造成信息损失，从而造成数据准确度不足的情况。
技术实现思路
1、本专利技术的一种基于transformer模型的环境时序数据处理方法，不依赖embedding网络，解决了异常识别和数据补全的准确度不足的问题。
2、本专利技术的一种基于transformer模型的环境时序数据处理方法，包括以下步骤：
3、s1
4、设历史环境监测数据时序为：s={s1，s2，……，sn}；其中s1，s2，……，sn表示对应时刻的环境数据；设历史环境监测数据时序s中的时间间隔为δt；
5、s2：模型选择与训练；
6、具体包括以下步骤：
7、s2.1：选择transformer模型结构；
8、s2.2：选择窗口长度t，将s中连续个数据点删除，形成输入序列s’；被删除的p个连续数据点构建为原始目标序列y；
9、其中，表示向上取整；t为窗口长度；
10、因为s中共有n个环境数据，并且删除的连续p个数据点中第一个数据点的位置不确定，所以共能构建n-p+1个不同的输入序列s’，共产生对应的n-p+1个原始目标序列y；将输入序列s’与对应的原始目标序列y，组成数据对s’-y；共能构建n-p+1个s’-y数据对；
11、在不同窗口长度t的情况下，均具有n-p+1个s’-y数据对；但是，窗口长度t的取值不同，删除的数据点数量p不同，s’-y数据对的数量n-p+1也不同；
12、s2.3：针对某一窗口长度t，将该窗口长度t情况下的某一s’-y数据对中的输入序列s’输入到transformer模型中；transformer模型预测该s’-y数据对中输入序列s’中缺失的数据，预测结果记为预测目标序列；
13、s2.4：针对s2.3中的s’-y数据对，建立模型训练优化目标，迭代优化transformer模型参数；形成最终的transformer模型；
14、不同的窗口长度t组成的最终的transformer模型以集合的形式组成模型组，模型组记为m0；
15、s3：用模型组m0对待处理的序列s0={s01,s02,……,s0k,……,s0n}进行预测；k∈[1,n],k为正整数；
16、具体包括以下步骤：
17、s3.1：删除s0中的第一个原始数据s01；
18、s3.2：用模型组m0中的三个模型，分别对s0中缺失的第一个原始数据s01进行预测，并取模型组m0三个预测结果的平均值代替s0中缺失的第一个原始数据s01；记三个模型对缺失的第一个原始数据s01的预测结果平均值为s01，平；生成预测序列s预，1={s01，平，s02，……，s0k，……，s0n}；
19、s3.3：采用和步骤s3.1、s3.2相同的方法，继续删除s预，k中第k+1个原始数据s0(k+1)；
20、s3.4：用模型组m0中的三个模型，分别对s预，k中缺失的第k+1个原始数据s0(k+1)进行预测，并取模型组m0三个预测结果的平均值代替s预，k中缺失的第k+1个原始数据s0(k+1)，记三个模型对缺失的第k+1个原始数据s0(k+1)的预测结果平均值为s0(k+1)，平；生成预测序列s预，k+1={s01，平，……，s0(k+1)，平，s0(k+2)，……，s0n}；
21、s3.5：重复s3.3-s3.4，从k取1到k取n-1依次循环，直至s预，n-1中s0n被删除，生成预测序列s预，n，则，s预，n={s01,平，s02，平，……，s0n，平}；序列s预，n为序列s0的预测结果。
22、进一步地，步骤s2.4中，将s’-y数据对中输入序列s’的预测目标序列与s’-y数据对中原始目标序列y的均方误差e作为模型训练优化目标，公式为：
23、
24、其中，yi表示原始目标序列y中第i个数据；表示预测目标序列中第i个数据；p为删除的数据点数量；通过梯度反向传播迭代更新transformer模型参数，逐步迭代直到e不再继续减小，则transformer模型收敛，形成该窗口长度t下最终的transformer模型；
25、更换s2.2中窗口长度t，重复s2.2-s2.4，形成其他窗口长度t下的最终的transformer模型；
26、将最终的transformer模型记为mx，x表示窗口长度t的时间长度。
27、进一步地，所述窗口长度t为1小时、6小时或者12小时，时间间隔δt为1小时。
28、进一步地，所述transformer模型结构选择encoder-decoder架构。
29、有益效果：
30、本专利技术提出了一种无需数据嵌入和特征提取的基于transformer的数据质控方法，通过将长时间序列作为输入，利用transformer的注意力机制实现对原始时序数据连续变化规律的学习，通过不同时间窗口模型的构建，实现多transformer模型的集成学习，进一步提升准确性和泛化性。
本文档来自技高网...【技术保护点】
1.一种基于Transformer模型的环境时序数据处理方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于Transformer模型的环境时序数据处理方法，其特征在于，步骤S2.4中，将S’-y数据对中输入序列S’的预测目标序列与S’-y数据对中原始目标序列y的均方误差e作为模型训练优化目标，公式为：
3.根据权利要求1所述的一种基于Transformer模型的环境时序数据处理方法，其特征在于，所述窗口长度T为1小时、6小时或者12小时，时间间隔δt为1小时。
4.根据权利要求1所述的一种基于Transformer模型的环境时序数据处理方法，其特征在于，所述Transformer模型结构选择Encoder-Decoder架构。
【技术特征摘要】
1.一种基于transformer模型的环境时序数据处理方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于transformer模型的环境时序数据处理方法，其特征在于，步骤s2.4中，将s’-y数据对中输入序列s’的预测目标序列与s’-y数据对中原始目标序列y的均方误差e作为模型训练优化目标，公式为：
...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。