基于多任务深度学习神经网络的太阳风速度预测方法技术

本发明专利技术公开了一种基于多任务深度学习神经网络的太阳风速度预测方法，所用的模型包括一个由一维卷积神经网络CNN和一个长短时记忆神经网络LSTM组成的共享模块，一个主LSTM模块以及一个自回归层AR模块。共享模块用于提取多个任务共用的浅层空间和时间特征，主LSTM模块用于单独提取主任务的特性，自回归模块用于以一种线性的方式对神经网络模型进行适当的修正。采用多任务学习机制来实现多步预测，构建模型。在太阳风速度预测领域，引入多任务学习的机制是一种新的尝试。本发明专利技术的优点是，联合多个独立的预测任务来同时并行学习，充分利用数据信息，共享公共信息来帮助改进浅层特征提取，并为主要任务设计独立的结构来提高预测性能。能。能。

【技术实现步骤摘要】
基于多任务深度学习神经网络的太阳风速度预测方法


[0001]本专利技术属于神经网络模型设计
和太阳风速度预测领域,特别涉及一种基于多任务深度学习的太阳风速度预测模型及其建模方法。

技术介绍

[0002]目前，在太阳风速度预测领域的三大类方法分别是：(1)基于物理的预测模型，根据太阳物理参数构建物理模型；(2)经验或半经验模型，根据人工观测和专家的经验知识对太阳的状态进行判断；(3)机器学习模型，采用SVM，人工神经网络等输入数据进行训练后进行预测。随着观测数据日益丰富，以及太阳活动的复杂性和灾害性、太阳风速度预报时效性的迫切需求，人们需要开发不同于传统物理模型与经验模型的预测方法。机器学习方法正是能够顺应新的需求的一种技术手段。其中，人工神经网络(Artificial Neural Network，ANN)是20世纪80年代以来机器学习领域的研究热点。近年来，深度学习作为一种重要的人工神经网络模型，越来越多地运用到太阳风速度预测领域。深度学习通过多层神经网络的处理，逐步将一开始的“低层”特征表示转变为后续的“高层”特征表示，模型即可完成复杂的分类、回归等学习任务。然而，目前存在的深度学习方法通常根据历史数据，预测未来某一个时间点的太阳风速。这些属于单步预测方法。与之相对的，在时间序列预测问题中，多步预测是一种广泛运用的方法。多步预测是指在给定历史数据，对未来几个时间步的一些变量进行预测。这种预测方法在一些场景下能够满足连续多步输出的需求。并且，在一组时间步中，可能在某些尺度或分辨率上观察到各种时间序列成分，如复杂趋势、季节性和噪声。此外，多步预测方法可以提高信息利用效率和预测精度。它在输出端集成了数据的连续信息，从而可以基于相邻时间点的预测知识对目标进行预测。因此，对于太阳风速度预测问题，也可以采用多步预测的机制。而根据了解，目前尚未有基于多步预测的太阳风速度预测方法。此外，如何有效地构建多步预测太阳风速度预测模型是一个挑战。对于这个问题，可以引入多任务学习的方法。多任务学习是一种让多个相关的任务进行并行联合学习的机制，它可以利用多个相关任务的信息来充分调节神经网络模型中的参数，从而提升模型的泛化能力。在多任务学习中，多个相关任务在训练时共享特征，每个任务可以通过复用其他任务已学到的有用的知识，加快自身的训练，共同提高模型的预测精度。此外，多任务学习也可以利用不同任务之间的差异来降低模型过拟合的可能性，也进一步提升了模型的泛化能力。

技术实现思路

[0003]针对上述现有技术，本专利技术提供一种基于多任务深度学习神经网络的太阳风速度预测方法，解决了现有技术中存在的问题。
[0004]采用多任务学习机制来实现多步预测，构建模型。在太阳风速度预测领域，引入多任务学习的机制是一种新的尝试。
[0005]为了解决上述技术问题，本专利技术提出的一种基于多任务深度学习神经网络的太阳
风速度预测方法，所采用的神经网络模型包括一个共享模块、一个主LSTM模块以及一个自回归层(AR)模块；所述共享模块由一维CNN模块和一个共享LSTM模块组成；所述一维CNN模块用于接收序列输入和自动学习数据空间特征，对不同维度的输入属性的相互关系进行建模；所述共享LSTM模块用于捕获时间序列的时间相关性，并提取不同预测任务之间的相关信息，在多任务并行训练中，通过神经网络的反向传播实现所述共享模块参数的联合学习和共享；所述主LSTM模块用于解码所述共享模块中的多任务共享信息，并单独用于主任务的预测，所述主LSTM模块用于接收所述共享模块的输出；所述主LSTM模块和所述共享LSTM模块的结构相同；所述自回归层(AR)模块用于以一种线性的方式对神经网络模型进行修正。
[0006]利用上述神经网络模块进行太阳风速度预测的步骤如下：
[0007]步骤1、数据处理：
[0008]使用的数据集包括以下3个部分：(1)从低分辨率OMNI数据集中选择五个物理量属性，分别是太阳风速度(Bulk speed)、质子密度(Proton density)、质子温度(Proton temperature)、流压力(Flow pressure)和场矢量的均方根标准偏差(Sigma
‑
b)；(2)根据ICME列表引入日冕物质抛射属性：将ICME列表二值化为一个新特征，并将存在日冕物质抛射事件的时间点设为1，不存在的则为0；(3)通过计算大气成像组件(AIA)图像中冕洞的像素值之和，引入了冕洞信息属性：将所述的图像转换为灰度图像后，计算图像中小于15px的像素值之和，用于表征冕洞的影响，并记为area；
[0009]使用上述数据源的数据所构成的7个属性的多元时间序列作为神经网络模型的输入，分别进行24小时和96小时的预测，目标输出分别是距离观测序列未来24小时和96小时后的太阳风速度的预测值；对于24小时的预测，7维时间序列数据的时间间隔为1小时，即每小时1个7维向量，每个向量的7个向量元素分别对应7个属性；对于96小时的预测，7维时间序列数据的时间间隔为24小时，即每24小时1个7维向量，每个向量的7个向量元素分别对应7个属性，每个属性值通过计算24小时里的平均值得到；
[0010]根据7维时间序列数据各个维度的均值和标准差，采用z
‑
score标准化方法进行数据的标准化，经过处理的数据符合标准正态分布，即均值为0，方差为1，计算公式为：
[0011][0012]式(1)中，μ为所有样本数据的均值，σ为所有样本数据的标准差，计算时对每个维度的属性分别进行；按照8:1:1的比例将数据分为训练集、验证集和测试集；
[0013]步骤2、共享模块特征提取：
[0014]设置5个相邻时间点的太阳风预测任务进行联合多任务学习；其中，对于24小时预测的，将第22小时、第23小时、第24小时、第25小时和第26小时分别作为5个单独预测任务，对于96小时预测的，将第48小时、第72小时、第96小时、第120小时和第144小时分别作为5个单独预测任务；5个单独预测任务的编号分别依次为1、2、3、4和5，将第3个单独预测作为主任务，其他4个单独预测作为辅助任务；
[0015]预处理的数据首先通过共享模块提取数据的空间和时间特征，作为5个单独预测任务的共享浅层特征，操作如下：
[0016]空间特征的提取：将所述多元时间序列作为一维CNN模块的输入，设x
n
＝[X1，...，
X
n
]，X
i
是由七维属性组成的向量，n是输入窗口的长度，c代表一维CNN模块提取的抽象特征，
[0017]C＝Conv1D(X
n
)
ꢀꢀꢀ
(2)
[0018]式(2)中，Conv1D代表一维卷积操作；
[0019]时间特征的提取：将一维CNN模块提取的抽象特征作为共享LSTM模块的输入，从而捕获时间序列的时间相关性；共享LSTM模块的初始隐藏状态和初始单元状态设置为零，在训练过程中，5个单独预本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多任务深度学习神经网络的太阳风速度预测方法，其特征在于，所采用的神经网络模型包括一个共享模块、一个主LSTM模块以及一个自回归层(AR)模块；所述共享模块由一维CNN模块和一个共享LSTM模块组成；所述一维CNN模块用于接收序列输入和自动学习数据空间特征，对不同维度的输入属性的相互关系进行建模；所述共享LSTM模块用于捕获时间序列的时间相关性，并提取不同预测任务之间的相关信息，在多任务并行训练中，通过神经网络的反向传播实现所述共享模块参数的联合学习和共享；所述主LSTM模块用于解码所述共享模块中的多任务共享信息，并单独用于主任务的预测，所述主LSTM模块用于接收所述共享模块的输出；所述主LSTM模块和所述共享LSTM模块的结构相同；所述自回归层(AR)模块用于以一种线性的方式对神经网络模型进行修正。2.根据权利要求1所述的太阳风速度预测方法，其特征在于，包括以下步骤：步骤1、数据处理：使用的数据集包括以下3个部分：(1)从低分辨率OMNI数据集中选择五个物理量属性，分别是太阳风速度(Bulk speed)、质子密度(Proton density)、质子温度(Proton temperature)、流压力(Flow pressure)和场矢量的均方根标准偏差(Sigma
‑
b)；(2)根据ICME列表引入日冕物质抛射属性：将ICME列表二值化为一个新特征，并将存在日冕物质抛射事件的时间点设为1，不存在的则为0；(3)通过计算大气成像组件(AIA)图像中冕洞的像素值之和，引入了冕洞信息属性：将所述的图像转换为灰度图像后，计算图像中小于15px的像素值之和，用于表征冕洞的影响，并记为area；使用上述数据源的数据所构成的7个属性的多元时间序列作为神经网络模型的输入，分别进行24小时和96小时的预测，目标输出分别是距离观测序列未来24小时和96小时后的太阳风速度的预测值；对于24小时的预测，7维时间序列数据的时间间隔为1小时，即每小时1个7维向量，每个向量的7个向量元素分别对应7个属性；对于96小时的预测，7维时间序列数据的时间间隔为24小时，即每24小时1个7维向量，每个向量的7个向量元素分别对应7个属性，每个属性值通过计算24小时里的平均值得到；根据7维时间序列数据各个维度的均值和标准差，采用z
‑
score标准化方法进行数据的标准化，经过处理的数据符合标准正态分布，即均值为0，方差为1，计算公式为：式(1)中，μ为所有样本数据的均值，σ为所有样本数据的标准差，计算时对每个维度的属性分别进行；按照8:1:1的比例将数据分为训练集、验证集和测试集；步骤2、共享模块特征提取：设置5个相邻时间点的太阳风预测任务进行联合多任务学习；其中，对于24小时预测的，将第22小时、第23小时、第24小时、第25小时和第26小时分别作为5个单独预测任务，对
于96小时预测的，将第48小时、第72小时...

【专利技术属性】
技术研发人员：谢宗霞，毛凯舟，孙彦茹，
申请(专利权)人：天津大学，
类型：发明
国别省市：