System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术属于大气质量检测,具体地说,是涉及一种臭氧浓度数据异常缺失的生成式插补方法。
技术介绍
1、监测环境恶劣、设备故障等造成臭氧浓度数据异常缺失,数据的大量缺失严重影响空气质量监测、预报的准确性和价值性,难以为环境治理提供有效的数据支持。现有的研究中环境监测数据预处理过程未能充分重视数据的异常缺失问题,或者采用传统预测模型进行缺失数据的插补,未将臭氧污染的先验信息纳入考虑范围,预测模型对数据中长时间缺失的插补性能较差,将会削弱臭氧浓度数据后期的应用参考价值。
技术实现思路
1、本专利技术的目的在于提供一种臭氧浓度数据异常缺失的生成式插补方法,结合transformer模型的序列处理能力和扩散模型的生成能力,实现臭氧浓度数据异常缺失的高质量插补。
2、本专利技术采用以下技术方案予以实现:
3、提出一种臭氧浓度数据异常缺失的生成式插补方法,包括:
4、s1,对臭氧浓度数据的时间序列进行分解得到分量数据;其中,分量数据包括季节分量、趋势分量和剩余分量;
5、s2,将分量数据与多源影响因子拼接为transformer模型的输入序列;
6、s3,采用transformer模型提取臭氧浓度变化的状态信息;
7、s4,将状态信息和臭氧浓度数据共同作为扩散模型的输入,采用扩散模型对臭氧浓度数据进行生成式插补操作。
8、在本专利技术一些实施例中,步骤s2包括对臭氧序列片段动态截取的步骤,包括:
9、
10、随着时间的推移,分解窗口向后滑动,得到每个时刻的输入序列,其中,为多源影响因子的实测数据;为多源影响因子的维度;分别为季节分量、趋势分量和剩余分量。
11、在本专利技术一些实施例中,步骤s2包括transformer模型输入数据序列构建的步骤,包括:
12、将transformer模型的输入序列设定为缺失前后的数据:
13、;
14、其中,表示在缺失序列前后所截取的数据长度,为时刻多源实测数据和三个分量的拼接特征序列。
15、在本专利技术一些实施例中,步骤s3中:
16、将输入序列进行向量表示;
17、使用不同频率的正弦和余弦函数对位置信息进行编码;
18、将位置编码与序列向量相加作为transformer模型的编码器的输入。
19、在本专利技术一些实施例中,步骤s4的扩散过程采用:
20、进行;
21、 为transformer模型提取的状态信息;,,是迭代步数;为第步的方差;为正向过程第r步添加的噪声,服从标准高斯分布;为第r步输出结果;
22、生成过程采用:
23、进行;
24、为正向过程添加的噪声,服从标准高斯分布;;在生成过程中使用神经网络预测:,为神经网络预测的噪声,作为生成过程的输入;为第r-1步输出结果。
25、在本专利技术一些实施例中,所述方法还包括;
26、将transformer模型和扩散模型集成在一个贝叶斯框架内,transformer模型的输出作为扩散模型输入的一部分,在训练过程的梯度传播时对参数的优化是基于总的损失函数联合优化,transformer模型的参数基于损失函数进行优化,扩散模型的生成过程采用神经网络在训练过程中由得到,神经网络的训练基于损失函数进行:
27、;
28、其中表示transformer模型的损失函数,表示扩散模型的损失函数。
29、与现有技术相比,本专利技术的优点和积极效果是:本专利技术提出的臭氧浓度数据异常缺失的生成式插补方法中,首先对臭氧数据进行时间序列分解,将分解后的季节分量、趋势分量和剩余分量与空气质量指数、空气污染物其他五项指标、气象实测数据等多源影响因子在时间维度上滑动拼接后作为transformer的输入序列,通过transformer学习引起臭氧浓度变化的状态序列,在此基础上,以状态序列作为扩散模型输入序列的一部分,扩散模型通过学习添加和去除噪声的随机过程,从噪声中重建臭氧浓度时间序列,通过提高去噪过程学习能力以实现对臭氧浓度数据异常缺失的高质量插补,从而确保臭氧污染监测数据的完整性和准确性。本专利技术将transformer模型和扩散模型集成在一个贝叶斯框架内,采用联合优化策略,以transformer模型提取的状态信息作为先验信息,扩散模型能够更有效地集中于对生成数据的估计,结合了transformer模型的序列处理能力和扩散模型的生成能力,能够显著提高缺失数据的插补性能。
30、结合附图阅读本专利技术实施方式的详细描述后,本专利技术的其他特点和优点将变得更加清楚。
本文档来自技高网...【技术保护点】
1.一种臭氧浓度数据异常缺失的生成式插补方法,其特征在于,包括:
2.根据权利要求1所述的臭氧浓度数据异常缺失的生成式插补方法,其特征在于,步骤S2包括对臭氧序列片段动态截取的步骤,包括:
3.根据权利要求2所述的臭氧浓度数据异常缺失的生成式插补方法,其特征在于,步骤S2包括Transformer模型输入数据序列构建的步骤,包括:
4.根据权利要求1所述的臭氧浓度数据异常缺失的生成式插补方法,其特征在于,步骤S3中:
5.根据权利要求1所述的臭氧浓度数据异常缺失的生成式插补方法,其特征在于,步骤S4的扩散过程采用;
6.根据权利要求1所述的臭氧浓度数据异常缺失的生成式插补方法,其特征在于,所述方法还包括;
【技术特征摘要】
1.一种臭氧浓度数据异常缺失的生成式插补方法,其特征在于,包括:
2.根据权利要求1所述的臭氧浓度数据异常缺失的生成式插补方法,其特征在于,步骤s2包括对臭氧序列片段动态截取的步骤,包括:
3.根据权利要求2所述的臭氧浓度数据异常缺失的生成式插补方法,其特征在于,步骤s2包括transformer模型输入数据序...
【专利技术属性】
技术研发人员:牟亮亮,许艳,毕合春,毕素环,王师,丁香乾,
申请(专利权)人:中国海洋大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。