本发明专利技术提出了一种基于深度学习预报空气质量的数据前处理方法及系统，涉及空气质量预报领域。通过获取实时气象模拟数据集，并采用天气预报模式对其进行优化，生成气象预报数据集；然后在气象预报数据集中提取并拼接当前与目标预报时刻的气象预报数据；再利用训练完成的卷积自编码器模型对拼接数据进行空间和时间上的降维与融合，得到区域气象因子；最后将区域气象因子与污染物监测数据输入至训练完成的空气质量预报模型中，得到空气质量预报结果。本发明专利技术能明显降低噪音和数据异常值对预测过程和结果的干扰，提高模型的鲁棒性，从而有效提高对于未来较长时期空气质量预报的数值精度和预报准确性。精度和预报准确性。精度和预报准确性。
【技术实现步骤摘要】
一种基于深度学习预报空气质量的数据前处理方法及系统
[0001]本专利技术涉及空气质量预报领域，具体而言，涉及一种基于深度学习预报空气质量的数据前处理方法及系统。
技术介绍
[0002]基于深度学习算法的空气质量预报，指的是利用地面站点的空气污染物监测数据及对应的气象数据，训练得到深度学习模型，对未来某一时刻或时段的空气质量进行预报。相比于基于大气化学传输过程的数值模型，该方法计算成本相对较低，且在1
‑
2天的短期预报上准确性更高。但基于深度学习的空气质量预报存在以下问题：(1)由于对空气污染物浓度及空气质量指数的预报中存在高值低估现象，导致其对污染事件存在漏报的问题；(2)在预报未来更长时期的空气质量时，易出现延迟预报现象，表现为预报的时间序列相比于实际的时间序列存在滞后问题；(3)现有的基于深度学习的空气质量预报方法较多地采用气象站点的监测数据，较少考虑区域气象条件对空气质量预报的影响。上述问题导致了深度学习方法难以对未来较长时期的空气质量进行准确预报。
[0003]针对深度学习模型的高值低估和预报滞后等问题，主要的解决方法是对数据进行前处理，主要包括经验模式分解、小波分解、变分模式分解和二次分解等。针对难以有效利用区域气象条件的问题，主要的解决方法是利用图神经网络(GNN)或卷积神经网络(CNN)等模型融合各站点或目标区域的气象信息。
[0004]现有的数据前处理方法计算成本较高，不同区域所采用的数据前处理方法差异较大，缺乏可移植性；且在基于信号分解的数据前处理过程中对数据质量要求较高，易受噪音和数据异常值干扰，鲁棒性较差。
技术实现思路
[0005]本专利技术的目的在于提供一种基于深度学习预报空气质量的数据前处理方法及系统，用于改善现有技术中易受噪音和数据异常值干扰的问题，提高预报模型的鲁棒性。
[0006]第一方面，本申请实施例提供一种基于深度学习预报空气质量的数据前处理方法，包括以下步骤：
[0007]获取目标预报区域信息和目标预报时刻；
[0008]获取近实时的目标预报区域的空气污染物监测数据；
[0009]获取近实时的气象模拟数据集，并采用天气预报模式对其进行优化，生成气象预报数据集；
[0010]在气象预报数据集中提取并拼接当前与目标预报时刻的气象预报数据；
[0011]对历史的气象预报数据采取同样操作，并训练得到卷积自编码器模型；
[0012]利用训练完成的卷积自编码器模型对拼接数据进行空间和时间上的降维与融合，得到区域气象因子；
[0013]利用区域气象因子与污染物监测的历史数据，训练得到空气质量预报模型；
[0014]将近实时的气象数据输入至训练完成的卷积自编码器，并对空气污染物监测数据采用预置的取值范围进行归一化处理，得到近实时的区域气象因子和预处理的空气污染物监测数据。
[0015]将近实时的区域气象因子与预处理的空气污染物监测数据输入至训练完成的空气质量预报模型中，得到空气质量预报结果。
[0016]上述实现过程中，通过获取目标预报区域信息和目标预报时刻；然后获取实时目标预报区域的污染物监测数据；再获取近实时的气象模拟数据集，并采用天气预报模式对其进行优化，生成气象预报数据集；在气象预报数据集中提取并拼接当前与目标预报时刻的气象预报数据；利用训练完成的卷积自编码器模型对拼接数据进行空间和时间上的降维与融合，得到实时区域气象因子；最后，将近实时的区域气象因子与空气污染物监测数据输入至训练完成的空气质量预报模型中，得到空气质量预报结果。通过采用天气预报模式及深度学习方法从气象模拟数据中提取出近实时的区域气象因子，将其与污染物监测数据作为空气质量预报模型的输入，得到空气质量预报结果，能明显降低噪音和数据异常值对预测过程的干扰，提高模型的鲁棒性，从而有效提高对于未来较长时期(三天及以上)空气质量预报的数值精度和预报准确性。
[0017]基于第一方面，在本专利技术的一些实施例中，还包括以下步骤：
[0018]对气象预报数据集中的各个变量进行归一化处理，得到新的气象预报数据集。
[0019]基于第一方面，在本专利技术的一些实施例中，在气象预报数据集中分别提取当前时刻的气象预报数据与目标预报时刻的气象预报数据，包括以下步骤：
[0020]获取覆盖目标预报区域矩形范围的网格信息；
[0021]根据网格信息和目标预报时刻在气象预报数据集中选择对应的气象预报网格数据作为目标预报时刻的气象预报数据；
[0022]根据网格信息和当前时刻在气象预报数据集中选择对应的气象预报网格数据作为当前时刻的气象预报数据。
[0023]基于第一方面，在本专利技术的一些实施例中，还包括以下步骤：
[0024]获取样本气象数据集；
[0025]将样本气象数据集划分为训练集、验证集和测试集；
[0026]根据训练集和验证集，训练得到卷积自编码器模型；
[0027]利用测试集对卷积自编码器模型的性能进行评价；
[0028]根据评价结果，得到最终的卷积自编码器模型。
[0029]基于第一方面，在本专利技术的一些实施例中，利用测试集对卷积自编码器模型进行评价，得到评价结果的步骤包括以下步骤：
[0030]将测试集输入至卷积自编码器模型中，得到输出数据；
[0031]根据测试集与输出数据，计算其决定系数等统计指标，作为评价结果。
[0032]基于第一方面，在本专利技术的一些实施例中，根据评价结果得到最终的卷积自编码器模型，包括以下步骤：
[0033]根据评价结果，判断是否达到预设值，若是，则将当前的卷积自编码器模型作为最终模型；若否，则对卷积自编码器的结构及超参数进行优化并重新训练，直至达到预设值。
[0034]基于第一方面，在本专利技术的一些实施例中，将近实时的区域气象因子与空气污染
物监测数据输入至训练完成的空气质量预报模型中，得到空气质量预报结果，包括以下步骤：
[0035]采用预置的取值范围对空气质量历史监测数据进行归一化处理；
[0036]将历史的气象预报数据输入至训练完成的卷积自编码器，得到历史的区域气象因子；
[0037]将历史的区域气象因子和预处理的空气污染物监测数据，按照其时间顺序依次划分为训练集、验证集和测试集；
[0038]利用训练集和验证集，训练得到空气质量预报模型；
[0039]利用测试集对空气质量预报模型的预测性能进行评价；
[0040]根据评价结果得到训练完成的空气质量预报模型。
[0041]将近实时的气象数据输入至训练完成的卷积自编码器，并对空气污染物监测数据采用预置的取值范围进行归一化处理，得到近实时的区域气象因子和预处理的空气污染物监测数据。
[0042]将近实时的区域气象因子和预处理的空气污染物监测数据输入至训练完成的空气质量预报模型中，得到空气质量预报结果。
[0043]第二方面，本申请实施例提供一种基于深度本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于深度学习预报空气质量的数据前处理方法，其特征在于，包括以下步骤：获取目标预报区域信息和目标预报时刻；获取目标预报区域的大气污染物近实时监测数据；获取近实时的气象模拟数据集，并采用天气预报模式对其进行优化，生成气象预报数据集；在气象预报数据集中提取并拼接当前与目标预报时刻的气象预报数据；对历史的气象预报数据采取同样操作，并利用该数据集训练得到卷积自编码器模型；利用训练完成的卷积自编码器模型对拼接数据进行空间和时间上的降维与融合，得到区域气象因子；基于区域气象因子与污染物历史监测数据，训练得到空气质量预报模型；将近实时的区域气象因子与污染物监测数据输入至训练完成的空气质量预报模型中，得到空气质量预报结果。2.根据权利要求1所述的基于深度学习预报空气质量的数据前处理方法，其特征在于，还包括以下步骤：对气象预报数据集中的各个变量进行归一化处理，得到新的气象预报数据集。3.根据权利要求1所述的基于深度学习预报空气质量的数据前处理方法，其特征在于，所述在气象预报数据集中分别提取当前时刻的气象预报数据与目标预报时刻的气象预报数据的步骤包括以下步骤：获取覆盖目标预报区域矩形范围的网格信息；根据网格空间信息和目标预报时刻在气象预报数据集中选择对应的气象预报网格数据作为目标预报时刻的气象预报数据；根据网格信息和当前时刻在气象预报数据集中选择对应的气象预报网格数据作为当前时刻的气象预报数据。4.根据权利要求1所述的基于深度学习预报空气质量的数据前处理方法，其特征在于，还包括以下步骤：获取样本气象数据集；将样本气象数据集划分为训练集、验证集和测试集；利用训练集和验证集，训练得到卷积自编码器模型；利用测试集对卷积自编码器模型的预测性能进行评价；根据评价结果得到最终的卷积自编码器模型。5.根据权利要求4所述的基于深度学习预报空气质量的数据前处理方法，其特征在于，所述利用测试集对卷积自编码器模型进行评价，包括以下步骤：将测试集输入至卷积自编码器模型中，得到输出数据；根据测试集与输出数据，计...
【专利技术属性】
技术研发人员：詹宇，刘莘义，付建博，王斌，
申请(专利权)人：四川大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。