基于双层机器学习框架的卫星反演降水校正方法、装置及系统制造方法及图纸

本发明专利技术公开了一种基于双层机器学习框架的卫星反演降水校正方法、装置及系统，所述方法包括获取数据库，所述数据库中包括有校正的卫星反演降水数据、气象地理数据和再分析资料；筛选出所述数据库中的使用变量，并将所述使用变量发送至预先训练好的双层机器学习框架，获得降水校正数据；其中，所述双层机器学习框架包括分类模型和回归模型，所述分类模型用于对所述使用变量进行分类，并输出晴雨分类结果；所述回归模型用于基于晴雨分类结果，将分类结果对应的使用变量作为输入，并输出降水校正数据。本发明专利技术采用了双层机器学习算法框架寻优技术，首先判断是否降水，再校正降水量的具体数值，使校正的结果更具可靠性。使校正的结果更具可靠性。使校正的结果更具可靠性。

【技术实现步骤摘要】
基于双层机器学习框架的卫星反演降水校正方法、装置及系统


[0001]本专利技术属于卫星测量降水数据处理
，具体涉及一种基于双层机器学习框架的卫星反演降水校正方法、装置及系统。

技术介绍

[0002]降水是水循环的关键要素，也是水文过程的重要输入项。因其在时空分布上的不均匀性以及测量方法的限制，不确定性高。虽然传统的雨量计测量准确度高，但其无法在大尺度地区获得连续降水信息。
[0003]卫星测量降水具有实时全天候对地观测的优点，可以弥补传统降水测量技术的不足。目前，卫星降水产品采用非直接测量降水的方式。但是，受限于传感器的系统误差、时空采样的影响以及反演算法的局限等因素，非直接测量导致实时卫星降水产品的测量精度较差。
[0004]机器学习模型，被归纳为数据驱动方法，在降水测量中被发掘出越来多的应用前景。与传统的降水校正方法相比，机器学习模型可以很好地处理输入和输出之间的复杂和非线性关系且纳入多种类型的解释性变量具有很大的灵活性。然而，目前鲜有方法考虑到结合使用机器学习的分类和回归模型以提高降水事件检测能力，以得到更好的校正效果。

技术实现思路

[0005]针对上述问题，本专利技术提出一种基于双层机器学习框架的卫星反演降水校正方法、装置及系统，采用了双层机器寻优技术，首先判断是否降水，再校正降水量的具体数值，使校正的结果更具可靠性。
[0006]为了实现上述技术目的，达到上述技术效果，本专利技术通过以下技术方案实现：
[0007]第一方面，本专利技术提供了一种基于双层机器学习框架的卫星反演降水校正方法，包括：
[0008]获取数据库，所述数据库中包括有校正的卫星反演降水数据、气象地理数据和再分析资料；
[0009]筛选出所述数据库中的使用变量，并将所述使用变量发送至预先训练好的双层机器学习框架，获得降水校正数据；
[0010]其中，所述双层机器学习框架包括分类模型和回归模型，所述分类模型用于对所述使用变量进行分类，并输出晴雨分类结果；所述回归模型用于基于晴雨分类结果，将分类结果对应的使用变量作为输入，并输出降水校正数据。
[0011]可选地，所述使用变量通过以下方法获得：
[0012]利用主成分分析法，从获取到的数据库中筛选出使用变量。
[0013]可选地，所述双层机器学习框架通过如下步骤得到：
[0014]获取历史数据库，所述历史数据库中包括有校正的历史卫星反演降水数据、历史
气象地理数据和历史再分析资料；
[0015]利用主成分分析法，筛选出获取到的历史数据库中的使用变量；
[0016]将获取到的历史观测数据整理为分类用标签和回归用标签，所述分类用标签为晴雨分类，所述回归用标签为发生降水时的降水量值；
[0017]利用分类用标签评估各备选机器学习模型的分类效果，筛选出最优的机器学习模型作为分类模型，同时获得对应模型参数，并利用分类模型输出晴雨分类结果；
[0018]基于晴雨分类结果，将历史卫星反演降水数据中发生降水时的变量作为输入数据，计算回归用标签与历史卫星反演降水数据中对应的数据的误差并将其作为最终标签数据；
[0019]将所述输入数据和最终标签数据分割为训练集和验证集，并进行深度学习模型LSTM的训练，获得回归模型。
[0020]可选地，所述将所述输入数据和标签数据分割为训练集和验证集，并进行深度学习模型LSTM的训练，获得回归模型，包括：
[0021]将所述训练集输入至深度学习模型LSTM中，并通过计算损失的方法进行反向传播，优化深度学习模型LSTM，得到第一回归模型；
[0022]利用所述验证集验证所述第一回归模型，若所述第一回归模型的输出结果满足设定条件，则将所述第一回归模型作为最终回归模型。
[0023]可选地，所述备选机器学习模型包括RF模型、XGB模型、SVM模型、KNN模型。
[0024]可选地，所述利用所述使用变量和分类用标签评估各备选机器学习模型的分类效果，包括：
[0025]基于所述使用变量和分类用标签，通过5折交叉验证的方法评估各备选机器学习模型的分类效果。
[0026]可选地，第一回归模型的输出结果满足设定条件具体为：
[0027]计算预设的评价指标，所述评价指标包括相关系数、均方根系数、相对误差、预报命中率、预报错报率和相对成功系数，并判断各评价指标是否满足的要求；
[0028]各评价指标的计算公式为：
[0029][0030][0031][0032][0033][0034][0035]其中，CC代表相关系数，RMSE代表均方根系数，Bias代表相对误差，n代表样本总量；POD代表预报命中率；FAR代表预报错报率；CSI代表相对成功系数；G代表观测降水数据，代表观测降水数据的均值；S
i
代表校正后的卫星反演降水数据的第i个值，代表校正后的卫星反演降水数据的均值，H代表卫星反演降水数据命中的降水事件数；M代表卫星反演降水数据漏报的降水事件数；F代表卫星反演降水数据误报的降水事件数。
[0036]可选地，所述数据库中数据包括全球降雨测量计划GPM降水数据、再分析资料ERA5和数字高程模型DEM数据；所述全球降雨测量计划GPM降水数据包括IMERG
‑
Final和GSMaP
‑
Gauge。
[0037]第二方面，本专利技术提供了一种基于双层机器学习框架的卫星反演降水校正装置，包括，
[0038]获取模块，用于获取数据库，所述数据将包括有校正的卫星反演降水数据、气象地理数据和再分析资料；
[0039]校正模块，用于筛选出所述数据库中的使用变量，并将所述使用变量发送至预先训练好的双层机器学习框架，获得降水校正数据；
[0040]其中，所述双层机器学习框架包括分类模型和回归模型，所述分类模型用于对所述使用变量进行分类，并输出晴雨分类结果；所述回归模型用于基于晴雨分类结果，将分类结果对应的使用变量作为输入，并输出降水校正数据。
[0041]第三方面，本专利技术提供了一种基于双层机器学习模型的卫星反演降水校正系统，包括存储介质和处理器；
[0042]所述存储介质用于存储指令；
[0043]所述处理器用于根据所述指令进行操作以执行根据第一方面中任一项所述的方法。
[0044]与现有技术相比，本专利技术的有益效果：
[0045]本专利技术使用双层机器学习模型堆叠的方式，先判定“是否降水”，再校正降水量的具体数值。简化了问题的复杂度，增强了机器学习模型的可解释性。通过两种机器学习模型的集成，提升了模型方法对于信息的提取接受能力，相较于传统单一学习方法提升了效率和效果。
[0046]本专利技术通过提供一种基于双层机器学习模型的卫星反演降水校正方法，根据多种观测手段、不同时序所获得的信息，利用主成分分析法简化高寒地区降水的可能影响因子。这尽可能多地使用了非降水观测资料，弥补了降水观测信息可能的不足和缺失，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双层机器学习框架的卫星反演降水校正方法，其特征在于，包括：获取数据库，所述数据库中包括有校正的卫星反演降水数据、气象地理数据和再分析资料；筛选出所述数据库中的使用变量，并将所述使用变量发送至预先训练好的双层机器学习框架，获得降水校正数据；其中，所述双层机器学习框架包括分类模型和回归模型，所述分类模型用于对所述使用变量进行分类，并输出晴雨分类结果；所述回归模型用于基于晴雨分类结果，将分类结果对应的使用变量作为输入，并输出降水校正数据。2.根据权利要求1所述的一种基于双层机器学习框架的卫星反演降水校正方法，其特征在于，所述使用变量通过以下方法获得：利用主成分分析法，从获取到的数据库中筛选出使用变量。3.根据权利要求1所述的一种基于双层机器学习框架的卫星反演降水校正方法，其特征在于，所述双层机器学习框架通过如下步骤得到：获取历史数据库，所述历史数据库中包括有校正的历史卫星反演降水数据、历史气象地理数据和历史再分析资料；利用主成分分析法，筛选出获取到的历史数据库中的使用变量；将获取到的历史观测数据整理为分类用标签和回归用标签，所述分类用标签为晴雨分类信息，所述回归用标签为发生降水时的降水量；利用分类用标签评估各备选机器学习模型的分类效果，筛选出最优的机器学习模型作为分类模型，同时率定获得最优模型参数，并利用分类模型输出晴雨分类结果；基于晴雨分类结果，将历史卫星反演降水数据中发生降水时的变量作为输入数据，计算回归用标签与历史卫星反演降水数据中对应的数据的误差并将其作为最终标签数据；将所述输入数据和最终标签数据分割为训练集和验证集，并进行深度学习模型LSTM的训练，获得回归模型。4.根据权利要求3所述的一种基于双层机器学习框架的卫星反演降水校正方法，其特征在于：所述将所述输入数据和标签数据分割为训练集和验证集，并进行深度学习模型LSTM的训练，获得回归模型，包括：将所述训练集输入至LSTM模型中，并通过计算损失的方法进行反向传播，优化深度学习模型LSTM，得到第一回归模型；利用所述验证集验证所述第一回归模型，若所述第一回归模型的输出结果满足设定条件，则将所述第一回归模型作为最终回归模型。5.根据权利要求3所述的一种基于双层机器学习框架的卫星反演降水校正方法，其特征在于：所述备选机器学习模型包括RF模型、XGB模型、SVM模型、KNN模型。6.根据权利要求3所述的一种基于双层机器学习框架的卫星反演降水校正方法，其...

【专利技术属性】
技术研发人员：吕毅，雍斌，沈哲辉，齐伟擎，梅俊，
申请(专利权)人：河海大学，
类型：发明
国别省市：