本发明专利技术公开了一种基于PCA和PSO‑ELM的自动气象站实时数据质量控制方法，该方法，首先对被检站一定范围内观测站(邻站)一定历史时间尺度的气温数据进行采集，构成原始采集信号；然后对采集信号进行主成分分析，达到去冗余的目的；最后，通过改进的极限学习机构建气温的重建模型，并据此通过被检时刻邻站的数据得到被检时刻的估计值；最后，根据此估计值与实际观测值比较进行条件修正，完成对该时刻气温的质量控制。该方法在基本质量控制方法的基础上，一方面弥补了目前多站联网质量控制方法中邻站选择的固定性，提高了算法的动态适应性；另一方面改进的极限学习机提高了网络的泛化性能，增加了重建模型的精度。
【技术实现步骤摘要】
一种基于PCA和PSO-ELM的自动气象站实时数据质量控制方法
本专利技术涉及自动气象站实时采集数据的质量控制领域，特别专利技术了一种对自动气象站实时采集气温数据的质量控制方法。
技术介绍
近年来，地面气象观测站的数量不断增加，地面自动气象站具有站点分布密集、地形差异大、测站环境恶劣等分布特点，决定了观测数据存在系统误差、随机误差、粗大误差和微气象误差，这会影响自动气象站观测数据的质量，从而对气候变化、气候模式的研究及短期数值天气预报的精度产生影响。所以，需要对采集的数据进行质量控制。我国现有的三级质量控制业务从台站级的基本控制到数据中心的综合控制，从内部一致性到时空一致性的控制，可以有效地提高数据的质量，但是这其中的随机误差和微气象误差较难甄别，而这会影响自动气象站观测数据的质量。传统的基于机器学习构建“邻站-被检站”预测模型时，一般是按照固定的半径选择邻站的个数，一些相关性不大的邻站带来冗余信息，带来一些不必要的误差，不仅增加模型的训练时间，还降低了模型的精度。所以，本专利技术设计引入主成分分析，选择具有贡献率较大的邻站作为模型的输入；同时，为进一步提高模型的精度，考虑粒子群算法的全局优化能力，运用粒子群对极限学习机的输入权值和隐层偏置进行优化，提高预测模型的精度。
技术实现思路
本专利技术的目的是提供一种基于主成分分析和改进极限学习机的地面气温观测资料质量控制方法，解决了目前质量控制方法不能消除随机误差、系统误差、微气象误差的问题，提高了自动气象站实时观测气温的质量。本专利技术采用的技术方案为：一种基于主成分分析(PCA)和改进极限学习机(PSO-ELM)的自动气象站实时数据质量控制方法，该方法包括以下步骤：步骤1：采集被检站及90KM范围内m个邻站在被检t时刻气温x(t)，及t时刻前某一长度的小时数据构成气温时间序列{xi(t′)|t′＝1,2,…,n；i＝1,2,…,m}，其中t为实时采样时间，t′为历史采样时间，两者满足关系t′＝t-n+1，n为历史采样时间的长度。步骤2：对步骤1中采集的m个邻站历史气温{xi(t′)|t′＝1,2,…,n；i＝1,2,…,m}进行主成分分析，得到去冗余的、特征分量提取的目的。首先，对{xi(t′)|t′＝1,2,…,n；i＝1,2,…,m}进行标准化处理，得到消除量纲和数值差异的影响；然后，建立相关矩阵R，及其特征值{λi|i＝1,2,…,m}和特征向量{vi|i＝1,2,…,m}；接着，计算方差贡献率{μi|i＝1,2,…,m}和累积方差贡献率{μ∑(i)|i＝1,2,…,m}，按照累积贡献方差大于75％～95％的前p作为主成分个数；最后，得到p个主成分分量步骤3：根据步骤2得到的主成分分量与步骤1历史采样信号x(t′)，按照对应原则，构建映射样本集，即其中，训练集、测试集为前(n-1)个。经过训练、测试得到在被检时刻、在历史高维信号下的PSO-ELM气温重建模型，即步骤4：在步骤3中得到的PSO-ELM气温重建模型中输入得到被检时刻气温的重建值xest(t)，即完成去冗余后气温的重建。步骤5：将t时刻去冗余重建气温值xest(t)与采样值x(t)进行比较，若两者满足条件修正公式|x(t)-xest(t)|≤δ，δ为条件修正阈值，则通过质量检测；否则，认为该观测数据存疑，用去噪重构值修正实际观测值，即x(t)＝xest(t)。步骤6：令t＝t+1，重复步骤1到步骤5，完成对历史观测气温主分量提取、实时气温重建及疑误修正的质量控制过程。作为优选，所述步骤2中，邻站历史气温{xi(t′)|t′＝1,2,…,n；i＝1,2,…,m}标准化处理依公其中i＝1,2,…,n；j＝1,2,…,m；sj为{xi(t′)|t′＝1,2,…,n；i＝1,2,…,m}的均值和方差。相关矩阵R按照公式R＝(xi)Txi/(n-1)计算。方差贡献率和累积方差贡献率分别按照公式和计算。主成分分析得到的p个主分量按照公式计算，其中作为优选，所述步骤3中，在PSO-ELM气温重建模型中，按照3:1比例随机分配训练和测试样本。作为优选，所述步骤5中，条件修正阈值δ按照公式δ＝f*S计算，其中f为质控参数，与实际质控效果相关；S＝rmse(x(t′)为t时刻历史采样信号{x(t′)|t′＝1,2,…,n}的均方根误差。与现有技术相比，本专利技术具有如下有益效果：通过主成分分析对固定邻站范围内的气温资料进行分析，使得在重构气温预测模型的输入成分减少，提高了质量控制的速度；通过粒子群算法对极限学习机输入权值和隐层偏置的优化选择，提高了重建模型的泛化性能和精度。这些都进而提高了数据质量，为资料同化系统提供一个无偏的初始化观测场，便于气候和气象的研究及短期数值天气预报精度的提高。附图说明图1为本专利技术方法的流程框图。图2为某被检站90KM内的邻站某被检时刻对应历史资料序列。图3为主成分分析中各个邻站的累积方差贡献率。图4为主成分分析得到的主成分邻站资料序列。图5为粒子群改进极限学习机的流程图。图6为南京58238站2008年某月采样气温观测数据与本专利技术方法质量控制后的对比图。图7a-7c为本专利技术方法与主成分分析-极限学习机重建质量控制、极限学习机重建质量控制方法在平均绝对误差、均方根误差和纳什效率系数上的比较结果图。具体实施方式下面结合附图和具体实施方式对本专利技术做进一步说明。按照本专利技术方法的流程框图，如图1所示，首先采集被检站被检时刻气温值和历史参考资料，及对应90KM范围内的邻站气温及历史参考资料；然后，对邻站历史气温数据进行主成分分析，得到组成分邻站；接着，运用粒子群改进的极限学习机构建“邻站-被检站”预测模型，输入当前时刻邻站的观测气温，得到被检站被检时刻的气温估计值；最后，比较采集值与估计值，进行条件修正，完成质量控制。以下将对南京编号为58238站2008年1月份地面气温观测资料进行实施例分析，进一步说明本专利技术：步骤1：采集被检站及90KM范围内9个邻站(58235、58237、58340、58339、58242、58341、58344、58342、58345)在被检t时刻气温x(t)，及t时刻前某一长度的小时数据构成气温时间序列{xi(t′)|t′＝1,2,…,480；i＝1,2,…,9}，如图2所示，其中t为实时采样时间，t′为历史采样时间，两者满足关系t′＝t-n+1，n为历史采样时间的长度，本例取历史资料20天，即n＝480。步骤2：对步骤1中采集的9个邻站历史气温{xi(t′)|t′＝1,2,…,480；i＝1,2,…,9}进行组成分分析，得到去冗余的、特征分量提取的目的。首先，对{xi(t′)|t′＝1,2,…,480；i＝1,2,…,9}进行标准化处理，得到消除量纲和数值差异的影响；然后，建立相关矩阵R，及其特征值{λi|i＝1,2,…,9}和特征向量{vi|i＝1,2,…,9}；接着，计算方差贡献率{μi|i＝1,2,…,9}和累积方差贡献率{μ∑(i)|i＝1,2,…,9}，按照累积贡献方差大于85％～95％的前6作为主成分个数，如图3所示；最后，得到6个主成分分量如图4所示。步骤3：根据步骤2得到的主成分分量与步骤1历史采样信号x(t′)，按照对应原则，构建映射样本集，即其中，训练本文档来自技高网...
【技术保护点】
一种基于PCA和PSO‑ELM的自动气象站实时数据质量控制方法，其特征在于：该方法包括以下步骤：步骤1：采集被检站及90KM范围内m个邻站在被检t时刻气温x(t)，及t时刻前某一长度的小时数据构成气温时间序列{x
【技术特征摘要】
1.一种基于PCA和PSO-ELM的自动气象站实时数据质量控制方法，其特征在于：该方法包括以下步骤：步骤1：采集被检站及90KM范围内m个邻站在被检t时刻气温x(t)，及t时刻前某一长度的小时数据构成气温时间序列{xi(t′)|t′＝1,2,…,n；i＝1,2,…,m}，其中t为实时采样时间，t′为历史采样时间，两者满足关系t′＝t-n+1，n为历史采样时间的长度；步骤2：对步骤1中采集的m个邻站历史气温{xi(t′)|t′＝1,2,…,n；i＝1,2,…,m}进行主成分分析，得到去冗余的、特征分量提取的目的；首先，对{xi(t′)|t′＝1,2,…,n；i＝1,2,…,m}进行标准化处理，得到消除量纲和数值差异的影响；然后，建立相关矩阵R，及其特征值{λi|i＝1,2,…,m}和特征向量{vi|i＝1,2,…,m}；接着，计算方差贡献率{μi|i＝1,2,…,m}和累积方差贡献率{μ∑(i)|i＝1,2,…,m}，按照累积贡献方差大于75％～95％的前p作为主成分个数；最后，得到p个主成分分量步骤3：根据步骤2得到的主成分分量与步骤1历史采样信号x(t′)，按照对应原则，构建映射样本集，即其中，训练集、测试集为前(n-1)个；经过训练、测试得到在被检时刻、在历史高维信号下的PSO-ELM气温重建模型，即步骤4：在步骤3中得到的PSO-ELM气温重建模型中输入得到被检时刻气温的重建值xest(t)，即完成去冗余后气温的重建；步骤5：将t时...
【专利技术属性】
技术研发人员：叶小岭，熊雄，姚润进，沈云培，杨星，李慧玲，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：江苏,32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。