一种海洋CTD异常值剔除方法、系统、存储介质、终端及应用技术方案

本发明专利技术公开了海洋CTD异常值剔除方法、系统、存储介质、终端及应用，涉及海洋环境信息处理技术领域。利用三次样条函数对海洋CTD剖面电导率数据进行多项式拟合；基于最小二乘法计算多项式拟合残差，将最大拟合残差点对应的电导率数据用拟合结果替代；经过多次拟合，直至最大拟合残差不再继续减小时停止。将最大拟合残差极小值对应的拟合次数确定为最优拟合次数，最优拟合次数内所有最大拟合残差点对应的电导率数据识别为异常值，并在每次拟合过程中使用拟合结果替代异常值，从而剔除整个剖面数据中的所有电导率异常值。本发明专利技术避免了多次无效的重复操作、剔除结果的不确定性及大量误判等。等。等。

【技术实现步骤摘要】
一种海洋CTD异常值剔除方法、系统、存储介质、终端及应用


[0001]本专利技术属于海洋环境信息处理
，尤其涉及一种基于三次样条函数拟合控制的海洋CTD异常值剔除方法、系统、信息数据处理终端、收用户输入程序存储介质、应用。

技术介绍

[0002]目前对Sea
‑
Bird 9plus CTD剖面观测资料的处理，基本按照观测系统所自带的处理软件SBE DataProcessing进行处理，主要步骤包括低通滤波(Filter)、滞后订正(Align CTD)、热效应订正(Cell ThermalMass)、消除逆压(Loop Edit)、异常值剔除(Wild Edit与Window Filter) 及衍生计算(Derive)等。其中低通滤波对压力数据进行平滑，为后续消除逆压数据做准备；滞后订正目前多通过SBE11甲板单元实现，并在原始数据头文件中给出订正说明；对于热效应订正，可以采用 Lueck或Morison提供的校正系数对电导率进行热效应校正。通过以上四步可有效去除因各传感器不同步造成的数据“尖峰”及船舶起伏造成的数据“打结”。但在进行异常值剔除时，Wild Edit、Window Filter、中位数绝对偏差(MAD)及中位数滤波结合最大偏差(MDIF)等方法的处理结果受人为因素影响较大，若条件过松无法剔除所有的异常值，若条件过严造成将大量正常数据误判为异常值。
[0003]通过上述分析，现有技术存在的问题及缺陷为：
[0004](1)在海洋环境CTD剖面观测信息处理中，现有技术在进行异常值剔除时，需要数据处理人员根据经验进行多次尝试后选取判别阈值，效率低、速度慢；
[0005](2)处理结果因人为选取的阈值的不同，造成最终处理结果的不确定性。
[0006]解决以上问题及缺陷的难度为：海洋CTD剖面数据异常值的剔除需要人为设置阈值，结果受阈值影响较大，阈值设置过大则无法剔除所有异常值，阈值设置过小则会将大量正常数据误判为异常值；处理过程中需要不断尝试，根据剔除结果选择最优阈值，效率低、速度慢，并且剔除结果因阈值选取的不同而具有不确定性。
[0007]解决以上问题及缺陷的意义为：尽量减少人为因素影响，自动选择最优阈值，快速有效剔除海洋CTD剖面数据异常值，避免剔除结果的不确定性以及大量误判。
[0008]本专利技术使用的原始数据为温盐深剖面观测资料，观测仪器为 SBE911plus CTD温盐深测量系统，采样频率24Hz，其温度传感器分辨率为0.0002℃，准确度为0.001℃；电导率传感器分辨率为0.0004 mS/cm，准确度为0.003mS/cm；压力传感器分辨率为0.06895dbar (满量程的0.001％)，准确度为1.034dbar(满量程的0.015％)。

技术实现思路

[0009]为克服相关技术中存在的问题，本专利技术公开实施例提供了基于三次样条函数拟合控制的海洋CTD异常值剔除方法、系统、信息数据处理终端、收用户输入程序存储介质、应用，具体涉及一种基于三次样条函数拟合控制的海洋SBE9plus CTD异常值剔除方法。
[0010]本专利技术以SBE9plus CTD剖面数据为例，根据本专利技术公开实施例的第一方面，提供一种海洋CTD异常值剔除方法。由于大多数的异常值基本都在150m水深以浅，为此，本专利技术
提出的所有参数以150m 水深以浅的数据为前提。
[0011]所述技术方案如下：
[0012]利用三次样条函数对海洋150m水深以内的CTD剖面数据进行多项式拟合；用两点三次埃尔米特多项式条件计算拟合的所述多项式系数，基于最小二乘法计算所述多项式拟合残差，并将最大拟合残差点对应的电导率数据使用拟合结果替代；
[0013]经过多次拟合，根据所述最大拟合残差极小值对应的拟合次数确定最优拟合次数；
[0014]利用所述最优拟合次数内识别的所有最大拟合残差点对应的电导率数据识别为异常值点，并在每次拟合过程中，采用三次样条拟合结果替代所述异常值点。
[0015]在本专利技术一实施例中，所述海洋某一水深为150m水深。
[0016]在本专利技术一实施例中，所述海洋CTD异常值剔除方法具体包括：
[0017]步骤一，首先求取电导率数据的峰值点，在两相邻峰值点间隔大于12的区域及其他区域内分别间隔6个与72个采样点选取水深数据作为独立点；
[0018]步骤二，根据选取的独立点，使用三次样条函数对电导率数据进行拟合，基于最小二乘法计算多项式拟合残差，将最大拟合残差点对应的电导率数据识别为异常值点，并使用拟合结果替代；
[0019]步骤三，经过多次拟合与替代，直至最大拟合残差不再继续减小时停止，并将最大拟合残差的极小值对应拟合次数作为最优拟合次数，最优拟合次数内识别的所有最大拟合残差点对应的电导率数据为整个温盐深剖面资料的所有电导率异常值点，并在每次拟合过程中使用拟合结果进行替代，从而剔除整个剖面数据中的所有异常值点；
[0020]所述步骤二，异常值点识别方法具体包括：
[0021]第一步，在选取独立点后对原始数据进行三次样条函数拟合，基于最小二乘法，将拟合结果与原始数据相减求得拟合残差；
[0022]第二步，将最大拟合残差点识别为异常值点，并使用拟合结果替代异常值点；
[0023]第三步，重复上述步骤，直至最大拟合残差点不再继续减小时停止拟合与替代，最大拟合残差极小值对应的次数作为最优拟合次数，最优拟合次数内所有的最大拟合残差点识别为原始剖面电导率数据中的所有异常值点，并在每次拟合过程中使用拟合结果进行替代；
[0024]根据本专利技术公开实施例的第二方面，提供一种海洋CTD异常值剔除系统包括：
[0025]独立点选取模块，首先求取电导率数据的峰值点，在两相邻峰值点间隔大于12的区域及其他区域内分别间隔6个与72个采样点选取水深数据作为独立点；
[0026]异常值识别与剔除模块，用于根据选取的独立点使用三次样条函数对电导率数据进行拟合，基于最小二乘法计算多项式拟合残差，将最大拟合残差点识别为异常值点，并使用拟合结果替代；
[0027]自动循环与停止模块，如此多次拟合与替代，直至最大拟合残差不再继续减小时停止，并将最大拟合残差的极小值对应拟合次数作为最优拟合次数，最优拟合次数内识别的所有最大拟合残差点为整个温盐深剖面资料的所有异常值点。
[0028]根据本专利技术公开实施例的第三方面，提供一种接收用户输入程序存储介质，所存储的计算机程序使电子设备执行所述海洋CTD异常值剔除方法包括下列步骤：
[0029]通过求取电导率数据的峰值点，在两相邻峰值点间隔大于12的区域及其他区域内分别间隔6个与72个采样点选取水深数据作为独立点；
[0030]根据选取的独立点使用三次样条函数对电导率数据进行拟合，基于最小二乘法计算多项式拟合残差，将最大拟合残差点识别为异常值点，并使用拟合结果替代，经过多次拟合与替代，直至最大拟合残差不再继续减小时停本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种海洋CTD异常值剔除方法，其特征在于，所述海洋CTD异常值剔除方法包括：利用三次样条函数对海洋的CTD剖面电导率数据进行多项式拟合，用两点三次埃尔米特多项式条件计算拟合的多项式系数，基于最小二乘法计算多项式拟合残差，并用拟合结果替代最大拟合残差点对应的电导率数据；经过多次拟合和替代，直至最大拟合残差不再继续减小时停止拟合和替代，最大拟合残差极小值对应的拟合次数确定为最优拟合次数；所述最优拟合次数内的所有最大拟合残差点识别为异常值点，并在每次拟合过程中使用拟合结果替代所述异常值点。2.根据权利要求1所述的海洋CTD异常值剔除方法，其特征在于，所述海洋的水深为150m。3.根据权利要求1所述的海洋CTD异常值剔除方法，其特征在于，所述海洋CTD异常值剔除方法具体包括：步骤一，首先求取电导率数据的峰值点，在两相邻峰值点间隔大于12的区域及其他区域内分别间隔6个与72个采样点选取水深数据作为独立点；步骤二，根据选取的独立点，使用三次样条函数对电导率数据进行拟合，基于最小二乘法计算多项式拟合残差，将最大拟合残差点对应的电导率数据识别为异常值点，并用拟合结果进行替代。4.根据权利要求3所述的海洋CTD异常值剔除方法，其特征在于，所述海洋CTD异常值剔除方法还包括：重复步骤二，直至最大拟合残差无法继续减小时停止，并将最大拟合残差的极小值对应拟合次数作为最优拟合次数，最优拟合次数内识别的所有最大拟合残差点识别为整个温盐深剖面资料的所有异常值点，且在每次拟合过程中以拟合结果替代异常值点，从而剔除整个剖面资料中的所有异常值点。5.根据权利要求3所述的海洋CTD异常值剔除方法，其特征在于，所述步骤二中，异常值点的识别方法具体包括：第一步，在选取水深点作为独立点后对原始电导率数据进行三次样条拟合，基于最小二乘法，将电导率拟合结果与原始电导率数据相减求得拟合残差；第二步，将最大拟合残差点对应的电导率数据识别为异常值点，并使用拟合结果替代异常值点；第三步，重复上述步骤，直至最大拟合残差不再继续减小时停止，最大拟合残差极小值对应的次数作为最优拟合次数，最优拟合次数内所有的最大拟合残差点识别为原始剖面电导率数据中的所有异常值点。6.根据权利要求3所述的海洋CT...

【专利技术属性】
技术研发人员：于龙，熊学军，孙佳，郭延良，陈亮，鞠霞，胡筱敏，杨光兵，
申请(专利权)人：自然资源部第一海洋研究所，
类型：发明
国别省市：