一种基于多模态RNN的短临降水预测方法、装置及设备制造方法及图纸

一种基于多模态RNN的短临降水预测方法，涉及短临降水预测技术领域，解决的技术问题为“提供一种准确率高的短临降水预测方法”，方法包括：获取雷达图和气象要素图；采用所述雷达图和气象要素图训练多模态模型；采用训练后的多模态预测模型进行降水预测；其中，所述多模态预测模型包括雷达模块和气象要素模块，所述多模态预测模型根据雷达预测图获得短临降水预测结果；该方法以雷达信息为主，以气象要素信息为辅进行降水预测，将两种模态进行融合，提高了短临降水预测的准确率。提高了短临降水预测的准确率。提高了短临降水预测的准确率。

【技术实现步骤摘要】
一种基于多模态RNN的短临降水预测方法、装置及设备


[0001]本专利技术涉及短临降水预测


技术介绍

[0002]传统的降水预报主要基于数值天气预报(NWP)。在给定初始条件和边界条件的情况下，NWP通过时间积分来求解描述大气运动的物理方程，进而去预测未来的大气状态。根据当地的气候特点，世界上许多先进的气象服务中心逐渐建立了自己的数值预报模型，如中国的GRAPES和美国的WRF。然而，NWP通常受到初始条件场的影响，需要一段积分期来加速演绎过程，这导致在0到2小时的提前时间内预测效果不佳。此外，NWP的计算成本很高，不能提供小规模的预测。因此，基于雷达观测的预报成为短临降水预报的一种替代方法。光流法通过获取雷达回波图的光流场来推断降雨区域的运动，成为极短时降水预报系统的主流。然而，虽然光流法的计算效率较高，但在实际应用中精度较低，无法应对复杂的降水非线性变化。
[0003]深度学习方法不依赖复杂的先验物理方程和半经验知识，而是通过对大量样本进行训练来推断降雨的演变，这类方法把短临降水预报当作雷达视频预测问题。目前，视频预测模型主要基于马尔可夫假设的循环神经网络(RNN)。自从ConvLSTM将卷积引入到LSTM中，来同时捕获降水的时空变化，后续一系列模型以它为基础，不断刷新预报性能，它们的演化大致可以表述为：ConvLSTM、TrajGRU、PredRNN、PredRNN++、MIM、MotionRNN，最终演化为MS
‑
RNN。然而，它们都侧重于模型结构层面的改进，而没有考虑到数据层面的影响因素。也就是说，这些模型主要将短临降水预报视作一般的视频预测任务(如人体或汽车运动轨迹预测)，没有充分利用气象特点。实际上，降水是一个复杂的微物理过程，受环境中的湿度、温度、地形等多种因素的影响，只考虑单一的雷达模态而不考虑大气系统中其它要素的变化是不合理的，这样得到的预测结果是不准确的。
[0004]因此，如何提供一种准确度较高的短临降水预测方法，成为本领域亟待解决的技术问题。

技术实现思路

[0005]为了解决提高短临降水预测准确度的技术问题，本专利技术提供了一种基于多模态RNN的短临降水预测方法、装置及设备，该方法以雷达信息为主，以气象要素信息为辅进行降水预测，将两种模态进行融合，提高了短临降水预测的准确率。
[0006]基于同一专利技术构思，本专利技术具有三个独立的技术方案：
[0007]1、一种基于多模态RNN的短临降水预测方法，所述方法包括：
[0008]获取雷达图和气象要素图；
[0009]采用所述雷达图和气象要素图训练多模态RNN模型；
[0010]采用训练后的多模态RNN模型进行降水预测；
[0011]其中，所述多模态RNN模型包括雷达模块和气象要素模块，所述多模态RNN模型根
据预测雷达图获得短临降水预测结果。
[0012]进一步地，所述多模态RNN模型的预测过程为：
[0013]将同一时刻的雷达图和气象要素图分别输入至雷达模块和气象要素模块，形成雷达流和气象要素流，所述雷达模块的输入还包括来自所述气象要素模块的气象要素流；
[0014]所述雷达模块输出预测雷达图，所述气象要素模块输出预测气象要素图。
[0015]进一步地，所述气象要素模块和雷达模块均为多尺度RNN模型，包括三个编码器和三个解码器，所述编码器采用池化操作，所述解码器采用上采样操作。
[0016]进一步地，所述气象要素流依次经过第一编码器、第二编码器、第三编码器、第一解码器、第二解码器和第三解码器，所述第一编码器的气象要素流还流向第三解码器，所述第二编码器的气象要素流还流向第二解码器；所述第三解码器输出预测气象要素图。
[0017]进一步地，所述雷达流依次经过第四编码器、第五编码器、第六编码器、第四解码器、第五解码器和第六解码器，所述第四编码器的雷达流还流向第六解码器，所述第五编码器的雷达流还流向第五解码器；
[0018]所述第一解码器的气象要素流还流向所述第四解码器，所述第二解码器的气象要素流还流向所述第五解码器，所述第三解码器的气象要素流还流向所述第六解码器；所述第六解码器输出预测雷达图。
[0019]进一步地，所述雷达模块中还包括模态融合单元，用于采用注意力机制对气象要素特征和雷达特征进行融合。
[0020]模态融合单元计算公式如下：
[0021][0022][0023]Q＝(W
q
R)
T
,K＝W
k
E,V＝W
V
E，
[0024]S＝softmax(QK)，
[0025]A＝VS
T
，
[0026]F＝A+R+E
[0027]其中，R为雷达特征，E为气象要素特征，K为模态融合单元的键，V为模态融合单元的值，Q为模态融合单元的查询变量，S为相似度评分矩阵，A为注意力矩阵，W
k
、W
q
、W
V
分别为K、Q、V的参数，F为模态融合后得到的结果，ED
i
(i＝0,1,2)表示气象要素模块中的解码器，RE
i
和RD
i
(i＝0,1,2)分别表示雷达模块中的编码器和解码器。
[0028]进一步地，所述多模态RNN模型的损失函数表示如下：
[0029][0030][0031]L
total
＝λ1L
ele
+λ2L
rad
，
[0032]其中，L
total
为模型损失函数，L
ele
为气象要素损失函数，L
rad
为雷达损失函数，m+n为雷达图序列或气象要素图序列总长度，λ1和λ2分别为气象要素损失权重和雷达损失权重，为预测雷达图，R
t
为真实雷达图，为预测气象要素图，E
t
为真实气象要素图。
[0033]2、一种基于多模态RNN的短临降水预测装置，包括：
[0034]图片获取模块，用于获取雷达图和气象要素图；
[0035]训练模块，用于采用所述雷达图和气象要素图训练多模态RNN模型；
[0036]预测模块，用于采用训练后的多模态RNN模型进行降水预测；
[0037]其中，所述多模态RNN模型包括雷达模块和气象要素模块，所述多模态RNN模型根据预测雷达图获得短临降水预测结果。
[0038]3、一种电子设备，包括处理器和存储装置，所述存储装置中存有多条指令，所述处理器用于读取所述存储装置中的多条指令并执行上述方法。
[0039]本专利技术提供的基于多模态RNN的短临降水预测方法、装置及设备，至少包括如下有益效果：
[0040](1)改进了MS
‑
RNN模型的结构，得到了能够进行模态融合的MM
‑
RNN模型，实现了使用气象要本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态RNN的短临降水预测方法，其特征在于，所述方法包括：获取雷达图和气象要素图；采用所述雷达图和气象要素图训练多模态RNN模型；采用训练后的多模态RNN模型进行降水预测；其中，所述多模态RNN模型包括雷达模块和气象要素模块，所述多模态RNN模型根据预测雷达图获得短临降水预测结果。2.根据权利要求1所述的方法，其特征在于，所述多模态RNN模型的预测过程为：将同一时刻的雷达图和气象要素图分别输入至雷达模块和气象要素模块，形成雷达流和气象要素流，所述雷达模块的输入还包括来自所述气象要素模块的气象要素流；所述雷达模块输出预测雷达图，所述气象要素模块输出预测气象要素图。3.根据权利要求2所述的方法，其特征在于，所述气象要素模块和雷达模块均为多尺度RNN模型，包括三个编码器和三个解码器，所述编码器采用池化操作，所述解码器采用上采样操作。4.根据权利要求3所述的方法，其特征在于，所述气象要素依次经过第一编码器、第二编码器、第三编码器、第一解码器、第二解码器和第三解码器，所述第一编码器的气象要素流还流向第三解码器，所述第二编码器的气象要素流还流向第二解码器；所述第三解码器输出预测气象要素图。5.根据权利要求5所述的方法，其特征在于，所述雷达流依次经过第四编码器、第五编码器、第六编码器、第四解码器、第五解码器和第六解码器，所述第四编码器的雷达流还流向第六解码器，所述第五编码器的雷达流还流向第五解码器；所述第一解码器的气象要素流还流向所述第四解码器，所述第二解码器的气象要素流还流向所述第五解码器，所述第三解码器的气象要素流还流向所述第六解码器；所述第六解码器输出预测雷达图。6.根据权利要求1所述的方法，其特征在于，所述雷达模块中还包括模态融合单元，用于采用注意力机制对气象要素特征和雷达特征进行融合。7.根据权利要求6所述的方法，其特征在于，模态融合单元计算公式如下：7.根据权利要求6所述的方法，其特征在于，模态融合单元计算公式如下：Q＝(W
q
R)
T
,K＝W
k
E...

【专利技术属性】
技术研发人员：张浩，马志峰，刘劼，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：