【技术实现步骤摘要】
本专利技术属于环境数据监测领域，尤其涉及一种基于深度学习的dst指数概率预测模型及实时异常检测方法。
技术介绍
1、磁暴作为一种强烈的空间天气现象，源于太阳风与地球磁场的相互作用，可能对地球的电力系统、通信基础设施及空间技术设备产生显著影响。磁暴不仅引发了国内外学者对于对空间物理学的深入理论研究，还促使工程应用领域对磁暴监测和预测提出了更高的要求。特别是，磁暴的发生可能导致电网故障、变压器损坏，并对卫星通信、导航系统造成严重干扰。因此，如何准确监测和预测磁暴的发生，成为了研究的热点问题。
2、在地球赤道按均匀的经度间隔选取四个地磁台站，四个台站每小时地磁水平强度变化的平均值即为dst指数，其数值在磁暴期间通常为负值，绝对值的大小与地磁强度呈正比。当-50nt<dst≤-30nt时，表示发生小磁暴；当-100nt<dst≤-50nt表示发生中等磁暴；当-200nt<dst≤-100nt表示发生大磁暴；当dst≤-200nt表示发生特大磁暴。因此，磁暴异常检测通常归结为dst指数的异常检测。dst指数的异常变化通常反映出了磁暴事件的强度和影响程度。
3、传统的异常检测方法虽然在某些情况下有效，但在处理复杂和非线性时间序列数据时有一定的不足。早期研究人员大都从磁暴产生的物理机制出发，构建经验模型描述磁暴指数dst的变化。这些方法通常利用太阳风速度、太阳风动压、行星际磁场分量等参数，实时更新dst指数，在预测及异常检测上存在一定的局限性。这促使了对深度学习技术的广泛探索，尤其是在结合不确定性估计
4、深度学习作为近年来在各类数据分析和预测任务中取得显著成果的技术，通过自动学习数据中的复杂特征，能够有效捕捉时间序列数据中的隐含模式。越来越多的学者利用神经网络技术对dst指数进行预测和异常检测。而在磁暴异常检测任务中，深度学习模型尤其是卷积神经网络(cnn)和长短期记忆网络(lstm)等架构，已被应用于处理磁暴时间序列数据，从而提高了对磁暴事件的预测能力。
5、然而，传统的深度学习模型通常只提供点预测结果，而未能充分考虑预测结果的不确定性。需要提出一种更为实用的dst指数异常检测方法。
技术实现思路
1、专利技术目的：本专利技术的目的在于提供一种基于深度学习的dst指数概率预测模型及实时异常检测方法。通过添加不确定估计，不仅能够有效地输出预测值，还能够同时量化预测的不确定性，从而为决策过程提供更丰富的信息。
2、技术方案：本专利技术的一种基于深度学习的dst指数概率预测模型及实时异常检测方法，包括如下步骤：
3、步骤1、获取目标区域的dst指数；
4、步骤2、根据地磁活动，选取较为活跃年份的dst指数为待检测数据即测试集，其余为训练集和验证集，划分完成后，把数据进行归一化处理；
5、步骤3、创建dst指数区间预测模型的输入和输出数据集，利用历史数据预测未来趋势；
6、步骤4、基于cnn和lstm网络特性确定dst指数区间预测模型结构，并进行模型搭建；
7、步骤5、将训练集批次输入搭建好的dst指数区间预测模型中，训练dst指数区间预测模型，获得训练好的dst指数区间预测模型；
8、步骤6、根据模型误差要求分析模型训练结果，当误差值满足模型误差要求，完成模型训练，当误差值不满足模型误差要求，则更新模型参数，并重新执行步骤3-步骤5，再次进行模型训练，直至误差在预计范围内；
9、步骤7、将测试集输入到训练好的dst指数区间预测模型中，获得一维数据序列，同时根据dst指数预测结果进行多次采样，计算模型预测的平均值与方差，并计算预测的两种不确定性，再进一步对两种不确定性进行相加再取平方根合并为总确定性；
10、步骤8、将预测数据进行反归一化处理，得到最终的dst指数预测结果；
11、步骤9、根据dst指数预测结果与真实数据，表示出真实数据、模型预测的均值以及不确定性；使用不确定性作为异常评分，设置置信区间作为阈值，超过此阈值的点将被标记为异常。
12、进一步的，步骤2具体为：根据地磁活动活动程度，选取地磁活动较为频繁的年份为训练集，其余为训练集和验证集；然后对所有训练集、测试集和验证集中的数据统一进行归一化处理，归一化处理的公式如下：
13、
14、其中，xi代表dst指数，x′i代表xi归一化的值，xmax、xmin分别代表最大和最小值，归一化完成后，数据预处理工作完成。
15、进一步的，步骤3具体为：创建dst指数区间预测模型的输入和输出数据集，利用历史数据预测未来趋势，设置一个滞后项，提前6个时间步生成输入数据集，将数据转换为适合cnn和lstm神经网络处理的形式，提高模型的预测性能和准确度。
16、进一步的，步骤4具体为：dst指数区间预测模型的网络设计为8层，具体包括输入层、隐藏层和输出层，输入层的输入数据包含历史dst指数，生成的输入数据集其中每个样本包含连续的6个时间点的值；隐藏层数据包括两层cnn，卷积核数量为64，核大小为1，以及三层lstm，其中两层单元数为64，一层单元数为128；输出层由两个部分组成，两条并行路径通过一次dropout层后连接dense层分别输出均值和方差，均值用于衡量预测误差，对数方差用于衡量预测不确定性。
17、进一步的，步骤5具体为：将训练集批次输入搭建好的dst指数区间预测模型中，训练dst指数区间预测模型，获得训练好的dst指数区间预测模型；
18、dst指数区间预测模型利用前6个时间步的dst指数预测下一时间段的dst指数；dst指数区间预测模型的隐藏层为两层cnn和三层lstm，损失函数为自定义，结合均值和对数方差，用于处理预测的不确定性；
19、将训练数据输入dst指数区间预测模型，数据首先经过cnn，模型中的每一层cnn会进行如下操作：
20、
21、式中，yi，j是是输出特征图的第i个样本，第j个时间步的值，xi，j+k是输入数据的第i个样本，第j+k个时间步的第m个特征，wk，m是卷积核的第k个位置，第m个特征的权重，bm是卷积层的偏置项，f为每个时间步的特征维度，k为卷积核的数量；
22、cnn输出之后输入lstm，每一层lstm会进行如下操作：
23、利用lstm中特有的遗忘门选择忘记过去信息，遗忘门公式为：
24、ft＝σ(wf·[ht-1，xt]+bf) (3)
25、其中，σ为激活函数，wf为权系数矩阵，bf为遗忘门的偏置项，ht-1为上一时刻的输出，xt为当前时刻的输入；
26、利用输入门控制着lstm每个隐藏单元的输入有多少新的信息加入内部状态ct里，输入门函数it和内部状态ct的表达式为：
27、it＝σ(wi[ht-1，xt]+bi) (4)
本文档来自技高网...
【技术保护点】
1.一种基于深度学习的Dst指数概率预测模型及实时异常检测方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于深度学习的Dst指数概率预测模型及实时异常检测方法，其特征在于，步骤2具体为：根据地磁活动活动程度，选取地磁活动较为频繁的年份为训练集，其余为训练集和验证集；然后对所有训练集、测试集和验证集中的数据统一进行归一化处理，归一化处理的公式如下：
3.根据权利要求1所述的一种基于深度学习的Dst指数概率预测模型及实时异常检测方法，其特征在于，步骤3具体为：创建Dst指数区间预测模型的输入和输出数据集，利用历史数据预测未来趋势，设置一个滞后项，提前6个时间步生成输入数据集，将数据转换为适合CNN和LSTM神经网络处理的形式，提高模型的预测性能和准确度。
4.根据权利要求1所述的一种基于深度学习的Dst指数概率预测模型及实时异常检测方法，其特征在于，步骤4具体为：Dst指数区间预测模型的网络设计为8层，具体包括输入层、隐藏层和输出层，输入层的输入数据包含历史Dst指数，生成的输入数据集其中每个样本包含连续的6个时间点的值；隐藏层数据
5.根据权利要求1所述的一种基于深度学习的Dst指数概率预测模型及实时异常检测方法，其特征在于，步骤5具体为：将训练集批次输入搭建好的Dst指数区间预测模型中，训练Dst指数区间预测模型，获得训练好的Dst指数区间预测模型；
6.根据权利要求1所述的一种基于深度学习的Dst指数概率预测模型及实时异常检测方法，其特征在于，步骤7中，所述两种不确定性为Aleatoric不确定性和Epistemic不确定性；所述Aleatoric不确定性由模型在训练过程中直接学习得到，表示为方差的对数值，通过取每次预测中Aleatoric不确定性部分的均值并将其指数化，得到了数据噪声引起的实际不确定性；所述Epistemic不确定性通过对预测结果计算均值和方差得到。
7.根据权利要求1所述的一种基于深度学习的Dst指数概率预测模型及实时异常检测方法，其特征在于，步骤8具体为：将预测数据进行反归一化处理，得到最终的Dst指数预测结果，根据Dst指数预测结果和真实数据，利用均方根误差和R2评估Dst指数区间预测模型的性能；
8.根据权利要求1所述的一种基于深度学习的Dst指数概率预测模型及实时异常检测方法，其特征在于，步骤9具体为：根据Dst指数预测结果与真实数据，通过折线图表示出真实数据、模型预测的均值以及不确定性；使用不确定性作为异常评分，通过绘制实际数据和模型预测均值来可视化区间预测结果，并通过填充区域展示预测的不确定性，同时，基于预测方差进行异常检测，计算预测的95％置信区间作为阈值，超过此阈值的点将被标记为异常。
...【技术特征摘要】
1.一种基于深度学习的dst指数概率预测模型及实时异常检测方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于深度学习的dst指数概率预测模型及实时异常检测方法，其特征在于，步骤2具体为：根据地磁活动活动程度，选取地磁活动较为频繁的年份为训练集，其余为训练集和验证集；然后对所有训练集、测试集和验证集中的数据统一进行归一化处理，归一化处理的公式如下：
3.根据权利要求1所述的一种基于深度学习的dst指数概率预测模型及实时异常检测方法，其特征在于，步骤3具体为：创建dst指数区间预测模型的输入和输出数据集，利用历史数据预测未来趋势，设置一个滞后项，提前6个时间步生成输入数据集，将数据转换为适合cnn和lstm神经网络处理的形式，提高模型的预测性能和准确度。
4.根据权利要求1所述的一种基于深度学习的dst指数概率预测模型及实时异常检测方法，其特征在于，步骤4具体为：dst指数区间预测模型的网络设计为8层，具体包括输入层、隐藏层和输出层，输入层的输入数据包含历史dst指数，生成的输入数据集其中每个样本包含连续的6个时间点的值；隐藏层数据包括两层cnn，卷积核数量为64，核大小为1，以及三层lstm，其中两层单元数为64，一层单元数为128；输出层由两个部分组成，两条并行路径通过一次dropout层后连接dense层分别输出均值和方差，均值用于衡量预测误差，对数方差用于衡量预测不确定性。
5.根据权利要求1所述的一种基于深度学习的ds...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。