一种利用随机掩码和Transformer改进的短临降水预报方法技术

本发明专利技术公开一种利用随机掩码和Transformer改进的短临降水预报方法，属于降水预测领域；一种利用随机掩码和Transformer改进的短临降水预报方法包括：S1，随机掩码时空序列图像；S2，构建网络模型，并将掩码标记后的时空序列图像输入网络进行模型训练；网络模型包括以UNet为核心模型的编码器

【技术实现步骤摘要】
一种利用随机掩码和Transformer改进的短临降水预报方法


[0001]本专利技术属于降水预测领域，具体涉及一种利用随机掩码和Transformer改进的短临降水预报方法。

技术介绍

[0002]随着现在科技的不断发展，短临降水预报一直是天气预报领域的重要问题，其目标是在相对较短的时间内(0～6小时)对局部区域的降雨强度进行准确且及时的预测，这对于经济、农业、商业、交通运输业和电力公共事业等众多领域起着至关重要的作用。短临降水预报可以定义为一种时空序列预测问题，基于深度学习的图像外推技术可以有效解决该问题，即根据前N帧的图像序列预测未来M帧的图像序列，该技术已广泛应用于天气预报、视频预测、交通流预测等领域，但其在预测准确性方面仍存在很大的局限性，无法满足实际业务的需求。首先，自然时空过程在很多方面都具有高阶非平稳性，例如短临降水预报中雷达回波的生成、消散。积累或变形等高阶变化，结果表现为预测图像趋向于模糊。其次，一方面当目标发生快速变化时，应基于附近的帧而非远处的帧上生成将来的图像，这要求预测模型能够学习时空序列中的短期信息；另一方面当场景中的运动对象频繁纠缠在一起时，很难将它们分离到生成未来帧，这就要求预测模型能够提取图像中的上下文信息以及序列图像之间的长期信息。因此，建模雷达回波图像中的高阶非平稳性以及同时学习图像序列中的短期和长期依赖信息对准确预测未来降水强度至关重要。
[0003]时空序列预测模型主要分为三类：基于循环神经网络(RNN)的模型、基于卷积神经网络(CNN)的模型和基于Transformer的模型。基于RNN的模型通过注入门机制学习序列中的重要信息并遗忘次要信息，在捕获时空序列中的长期依赖信息方面具有较为显著的优势。2015年，Xingjian Shi等人开创性地将卷积结构与LSTM相结合，提出了可以同时学习空间和时间维度特征的新网络Convlutional LSTM(ConvLSTM)。2016年，Xingjian Shi等人针对ConvLSTM网络的卷积结构的局部不变性问题继续提出了轨迹GRU(TrajGRU)。2017年，Yunbo Wang等人针对ConvLSTM在每个时间步上彼此独立的缺陷，提出一种“之”字形网络PredRNN。2018年，Yunbo Wang等人又提出了PredRNN++，利用一种新递归结构Causal LSTM的加深网络，并提出Gradient Highway Unit以防止长时导致的梯度消失。2019年，Yunbo Wang等人作针对雷达图像的高阶非平稳性问题，借鉴经典时间序列预测的差分思想，提出了MIM网络。2021年，Haixu Wu等人将物理运动分解为瞬态变化和运动趋势两部分，提出了新的时空预测模型MotionRNN。但是，基于循环神经网络的模型具有连续性特征，在反向传播过程中非常耗时，很难满足短临降水预报的及时性需求。
[0004]基于卷积的编码器
‑
解码器结构在短临降水预报任务中也取得了较为优越的表现。2019年，Shreya Agrawal等人将UNet网络引入到降水预报任务中，利用卷积运算捕获空间相关性，将多个雷达帧叠加形成时间维度以提取时间相关性。2021年，Kevin Trebing等人提出了SmaAt
‑
UNet，仅使用四分之一的可训练参数就得到了与UNet模型相当的性能。但是，卷积运算是基于局部连接提取图像特征的，在学习时空序列的长期依赖信息方面存在
很大的局限性。
[0005]Transformer最初是在自然语言处理(NLP)中提出的，但是由于它能够提取序列中的长期依赖信息并具有良好的并行性，已被成功引入许多其他领域。2021年，Alexey Dosovitskiy等人将Transformer体系结构引入到计算机视觉领域提出了ViT模型；2021年，Ze Liu等人提出了Swin Transformer模型，通过移位窗口将自注意力计算限制在非重叠的局部窗口中，同时允许跨窗口连接，提高了效率且在一定程度上减少了计算量。但是，基于Transformer的模型对计算机的性能要求较高，且在学习时空序列的短期依赖性方面存在一定的局限性，将其直接应用到短临降水预报任务仍存在较大的困难。

技术实现思路

[0006]针对现有技术的不足，本专利技术的目的在于提供一种利用随机掩码和Transformer改进的短临降水预报方法。
[0007]本专利技术的目的可以通过以下技术方案实现：
[0008]一种利用随机掩码和Transformer改进的短临降水预报方法，包括以下步骤：
[0009]S1，随机掩码时空序列图像；
[0010]S2，构建网络模型，并将掩码标记后的时空序列图像输入网络进行模型训练；网络模型包括以UNet为核心模型的编码器
‑
解码器结构，在编码器中嵌入了SwinTransformer模块，并引入了SENet注意力机制；
[0011]S3，模型训练过程中，输入图像通过前向传播过程得到预测值，然后根据损失函数进行反向调优不断对模型进行微调，最小化损失函数，实现模型的准确预测能力；
[0012]S4，训练过程中使用L1+L2正则化，以防止过拟合。
[0013]进一步地，S1中，对图像序列的patch进行随机掩码，然后再标记掩码区域，并将标记后的图像序列输入网络；
[0014]并且在S1中，使用掩码率为75％的输入图像进行训练，并对随机掩码后的输入图像应用了批量归一化操作，使其服从高斯分布以稳定训练过程。
[0015]进一步地，S2中，编码器包括双卷积操作、最大池化操作、SwinTransformer模块和SENet注意力机制；双卷积操作用于将图像的特征通道数加倍，最大池化用于将特征图的尺寸减半，四个双卷积操作和最大池化操作交错排列，以学习时空序列中的短期依赖信息；在编码器的最后部分嵌入SwinTransformer模块，用于学习时空序列中的长期依赖信息；在每一层的双卷积和最大池化操作之间引入了SENet注意力机制，以关注通道维度上的重要信息并抑制对当前任务不重要的次要信息。
[0016]进一步地，S2中，Swin Transformer模块包括Patch Partition、Linear Embedding和Swin Transformer Block；首先图片序列通过PatchPartition层进行分块处理，将特征图划分为多个不相交的区域，然后通过Linear Embedding层对每个像素的通道数据进行线性变换，最后通过Swin TransformerBlock层进行特征提取。
[0017]进一步地，所述Swin TransformerBlock中的W
‑
MSA模块用于将多头自注意力计算限制在每个局部窗口内，SW
‑
MSA模块能够让信息在相邻的窗口中进行传递，多头自注意力的计算过程为：
[0018][0019][0020]MultiHead(Q,K,V)＝C本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种利用随机掩码和Transformer改进的短临降水预报方法，其特征在于，包括以下步骤：S1，随机掩码时空序列图像；S2，构建网络模型，并将掩码标记后的时空序列图像输入网络进行模型训练；网络模型包括以UNet为核心模型的编码器
‑
解码器结构，在编码器中嵌入了SwinTransformer模块，并引入了SENet注意力机制；S3，模型训练过程中，输入图像通过前向传播过程得到预测值，然后根据损失函数进行反向调优不断对模型进行微调，最小化损失函数，实现模型的准确预测能力；S4，训练过程中使用L1+L2正则化，以防止过拟合。2.根据权利要求1所述的一种利用随机掩码和Transformer改进的短临降水预报方法，其特征在于，S1中，对图像序列的patch进行随机掩码，然后再标记掩码区域，并将标记后的图像序列输入网络；并且在S1中，使用掩码率为75％的输入图像进行训练，并对随机掩码后的输入图像应用了批量归一化操作，使其服从高斯分布以稳定训练过程。3.根据权利要求1所述的一种利用随机掩码和Transformer改进的短临降水预报方法，其特征在于，S2中，编码器包括双卷积操作、最大池化操作、Swin Transformer模块和SENet注意力机制；双卷积操作用于将图像的特征通道数加倍，最大池化用于将特征图的尺寸减半，四个双卷积操作和最大池化操作交错排列，以学习时空序列中的短期依赖信息；在编码器的最后部分嵌入Swin Transformer模块，用于学习时空序列中的长期依赖信息；在每一层的双卷积和最大池化操作之间引入了SENet注意力机制，以关注通道维度上的重要信息并抑制对当前任务不重要的次要信息。4.根据权利要求1所述的一种利用随机掩码和Transformer改进的短临降水预报方法，其特征在于，S2中，Swin Transformer模块包括Patch Partition、Linear Embedding和Swin Transformer Block；首先图片序列通过Patch Partition层进行分块处理，将特征图划分为多个不相交的区域，然后通过Linear Embedding层对每个像素的通道数据进行线性变换，最后通过SwinTransformer Block层进行特征提取。5.根据权利要求4所述的一种利用随机掩码和Transformer改进的短临降水预报方法，其特征在于，所述Swin TransformerBlock中的W
‑
MSA模块用于将多头自注意力计算限制在每个局部窗口内，SW
‑
MSA模块能够让信息在相邻的窗口中进行传递，多头自注意力的计算过程为：过程为：MultiHead(Q,K,V)＝Concat(head1,...,head
h
) (3)其中...

【专利技术属性】
技术研发人员：方巍，齐媚涵，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：