一种基于自监督预训练的天气预测方法及系统技术方案

本发明专利技术涉及天气预测技术领域，提供了一种基于自监督预训练的天气预测方法及系统，包括：获取多段时间内多个天气站点的气象要素观测值，采用天气预测模型，得到每个天气站点的天气预测值；其中，天气预测模型使用包含时间、站点和天气变量特征三个维度的天气预测任务数据训练得到，具体的：基于不同站点之间的天气相似性和不同时间之间的天气相似性，通过对比自监督学习得到空间编码器和时间编码器；基于不同天气变量特征之间的关系，通过生成式自监督学习来对构造的缺失天气预测任务数据进行重构，得到上下文重建编码器；将预训练得到的空间编码器、时间编码器和上下文重建编码器迁移到天气预测模型中后，进行微调。提高了天气预测精度。气预测精度。气预测精度。

【技术实现步骤摘要】
一种基于自监督预训练的天气预测方法及系统


[0001]本专利技术属于天气预测
，尤其涉及一种基于自监督预训练的天气预测方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]天气与人们的生活密切相关，其影响触及到方方面面，比如交通、农业生产、能源生产等。准确的天气预报可以提前预警洪水、飓风等气象灾害事件，给人类生命财产安全提供一定的保障；另外在新能源领域，通过提供新能源预测所需的风速、辐照度、雨量等预报数据，可以合理高效地调配能源的使用；同时它也为日常出行提供了极大的便利。
[0004]目前的天气预测方法主要分为基于物理模型的数值天气预测方法以及基于数据驱动的机器学习方法。
[0005]基于物理模型的数值天气预测方法是目前主要的天气预测方法，其通过超级计算机来求解与大气动力学相关的非线性微分方程，与此同时，它存在着明显的弊端，比如大量计算资源的耗费，初始条件设置的不确定性等。
[0006]随着人工智能技术的发展，基于数据驱动的机器学习方法越来越多，尤其是深度学习方法，受到了研究者们的广泛关注。相比于数值天气预测方法，数据驱动模型减少了计算资源的消耗，也无需对初始条件进行设置。
[0007]但是，大多数现有的基于数据驱动的机器学习天气预测方法仍然存在一些不足：简单将一个天气站点当作整体，没有更细粒度地去探究属于多个站点的天气变量之间的关系，或者是使用了复杂的网络结构。

技术实现思路

[0008]为了解决上述
技术介绍
中存在的技术问题，本专利技术提供一种基于自监督预训练的天气预测方法及系统，利用对比自监督的思想预训练得到空间编码器和时间编码器，利用生成式自监督的思想预训练得到上下文重建编码器，充分考虑了空间维度上多个天气站点之间天气状况的相似性、时间维度上天气周期性变化带来的相似性、以及上下文角度中多个天气站点的天气变量之间的时空依赖性，进而提高了天气预测精度。
[0009]为了实现上述目的，本专利技术采用如下技术方案：
[0010]本专利技术的第一个方面提供一种基于自监督预训练的天气预测方法，其包括：
[0011]获取多段时间内多个天气站点的气象要素观测值；
[0012]基于获取的气象要素观测值，采用天气预测模型，得到每个天气站点的天气预测值；
[0013]其中，天气预测模型使用包含时间、站点和天气变量特征三个维度的天气预测任务数据训练得到，具体的：基于不同站点之间的天气相似性和不同时间之间的天气相似性，
通过对比自监督学习得到空间编码器和时间编码器；基于不同天气变量特征之间的关系，通过生成式自监督学习来对构造的缺失天气预测任务数据进行重构，得到上下文重建编码器；将预训练得到的空间编码器、时间编码器和上下文重建编码器迁移到天气预测模型中后，基于天气预测任务数据进行微调。
[0014]进一步地，使用对比损失函数对空间编码器进行预训练；
[0015]所述对比损失函数的公式如下：
[0016][0017]其中，z
a
、和分别表示锚点、正样本和负样本的特征表示；以某个天气站点为锚点X
a
，并设定一个距离阈值，当某个天气站点与锚点之间的天气相似性小于距离阈值时，将该天气站点划分为正样本，反之划分为负样本，得到正样本集合和负样本集合
[0018]进一步地，使用三元组损失来对时间编码器进行优化预训练；
[0019]所述三元组损失的公式如下：
[0020][0021]其中，β是间隔参数；以某个时刻为锚点X
*
，沿着时间轴计算其余时刻与锚点时刻的天气相似性，将相似性最高的时刻作为正样本X
+
，相似性最低的时刻作为负样本X
‑
，对于锚点X
*
、正样本X
+
和负样本X
‑
，分别通过时间自监督预训练模型后得到高级语义表示e、e
+
和e
‑
。
[0022]进一步地，对天气数据进行处理缺失值、数值归一化以及输入维度的处理后，得到包含时间、站点和天气变量特征三个维度的天气预测任务数据。
[0023]进一步地，所述天气预测模型还包括拼接层；
[0024]所述拼接层将空间编码器、时间编码器和上下文重建编码器得到的特征表示相结合，得到拼接特征：
[0025]H＝concat(H
s
,H
t
,H
c
)
[0026]其中，H
s
、H
t
和H
c
分别为空间编码器、时间编码器和上下文重建编码器得到的特征表示。
[0027]进一步地，所述天气预测模型还包括解码器；
[0028]所述解码器由三个依次连接的卷积层组成，前两个卷积层的输出经过ReLU激活函数。
[0029]进一步地，所述空间编码器由两层卷积和一个位置注意力模块构成；
[0030]所述位置注意力模块的输出为：
[0031]P
′
＝αB+P
[0032]B＝eshape(AV)
[0033]A＝Softmax(QK)
[0034]其中，Q、K和V为位置注意力模块的三个并行的卷积层得到三个特征矩阵，P表示位置注意力模块的输入，α是可学习尺度因子。
[0035]本专利技术的第二个方面提供一种基于自监督预训练的天气预测系统，其包括：
[0036]数据获取模块，其被配置为：获取多段时间内多个天气站点的气象要素观测值；
[0037]天气预测模块，其被配置为：基于获取的气象要素观测值，采用天气预测模型，得到每个天气站点的天气预测值；
[0038]其中，天气预测模型使用包含时间、站点和天气变量特征三个维度的天气预测任务数据训练得到，具体的：基于不同站点之间的天气相似性和不同时间之间的天气相似性，通过对比自监督学习得到空间编码器和时间编码器；基于不同天气变量特征之间的关系，通过生成式自监督学习来对构造的缺失天气预测任务数据进行重构，得到上下文重建编码器；将预训练得到的空间编码器、时间编码器和上下文重建编码器迁移到天气预测模型中后，基于天气预测任务数据进行微调。
[0039]本专利技术的第三个方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的一种基于自监督预训练的天气预测方法中的步骤。
[0040]本专利技术的第四个方面提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的一种基于自监督预训练的天气预测方法中的步骤。
[0041]与现有技术相比，本专利技术的有益效果是：
[0042]本专利技术提供了一种基于自监督预训练的天气预测方法，其利用对比自监督的思想预训练得到空间编码器和时间编码器，利用生成式本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自监督预训练的天气预测方法，其特征在于，包括：获取多段时间内多个天气站点的气象要素观测值；基于获取的气象要素观测值，采用天气预测模型，得到每个天气站点的天气预测值；其中，天气预测模型使用包含时间、站点和天气变量特征三个维度的天气预测任务数据训练得到，具体的：基于不同站点之间的天气相似性和不同时间之间的天气相似性，通过对比自监督学习得到空间编码器和时间编码器；基于不同天气变量特征之间的关系，通过生成式自监督学习来对构造的缺失天气预测任务数据进行重构，得到上下文重建编码器；将预训练得到的空间编码器、时间编码器和上下文重建编码器迁移到天气预测模型中后，基于天气预测任务数据进行微调。2.如权利要求1所述的一种基于自监督预训练的天气预测方法，其特征在于，使用对比损失函数对空间编码器进行预训练；所述对比损失函数的公式如下：其中，z
a
、和分别表示锚点、正样本和负样本的特征表示；以某个天气站点为锚点X
a
，并设定一个距离阈值，当某个天气站点与锚点之间的天气相似性小于距离阈值时，将该天气站点划分为正样本，反之划分为负样本，得到正样本集合和负样本集合3.如权利要求1所述的一种基于自监督预训练的天气预测方法，其特征在于，使用三元组损失来对时间编码器进行优化预训练；所述三元组损失的公式如下：其中，β是间隔参数；以某个时刻为锚点X
*
，沿着时间轴计算其余时刻与锚点时刻的天气相似性，将相似性最高的时刻作为正样本X
+
，相似性最低的时刻作为负样本X
‑
，对于锚点X
*
、正样本X
+
和负样本X
‑
，分别通过时间自监督预训练模型后得到高级语义表示e、e
+
和e
‑
。4.如权利要求1所述的一种基于自监督预训练的天气预测方法，其特征在于，对天气数据进行处理缺失值、数值归一化以及输入维度的处理后，得到包含时间、站点和天气变量特征三个维度的天气预测任务数据。5.如权利要求1所述的一种基于自监督预训练的天气预测方法，其特征在于，所述天气预测模型还包括拼接层；所述拼接层将空间编码器、时间编码器和上下文重...

【专利技术属性】
技术研发人员：宫永顺，贺甜甜，尹义龙，
申请(专利权)人：山东大学，
类型：发明
国别省市：