基于回归模型的数据清洗方法技术

本发明专利技术公开的一种基于回归模型的数据清洗方法，所述数据清洗方法包括以下步骤：S1.首先，根据所采集参数性质确定宽规则的阀值范围，对采集的数据中明显错误、异常的野值进行粗识别清洗；S2.然后，根据任一时刻采样值动态阀值，对步骤S1处理后的数据进行基于回归模型的精细识别清洗；S3.最后，利用回归平滑模型对步骤S1、S2识别出的野值对应采集时刻的真实值进行估算并替换。本发明专利技术实现了大数据处理中的错误数据清洗，对于明显的野值采用阈值粗识别提高识别效率，对于不易发现的野值采用精细识别提高野值的识别精确度，同时采用回归平滑模型提高了野值估计值的准确性。型提高了野值估计值的准确性。

【技术实现步骤摘要】
基于回归模型的数据清洗方法


[0001]本专利技术属于大数据处理
，涉及数据野值识别和替换，具体为一种基于回归模型的数据清洗方法。

技术介绍

[0002]在大数据处理领域中数据有效性和数据质量是后续数据应用的前提，数据清洗也即数据预处理，是大数据处理的一个重要环节。数据清洗原理即通过分析“脏数据”的产生原因和存在形式，利用现有的技术手段和方法去清洗“脏数据”，将原有的不符合要求的数据转化为满足数据质量或应用要求的数据，从而提高数据集的数据质量。数据清洗的主要任务包括三个：不完整数据的清洗、错误数据的清洗和重复数据的清洗。
[0003]对于遥测和数据采集领域，错误数据清洗是数据清洗的主要任务。由于振动、温度以及平台因素对采集电路的影响，会出现错误和异常的采集数据，被称为孤立值、飞值、野值或者奇异值。采集数据中野值的存在会使分析结果产生严重错误，因此对采集数据进行清洗的主要任务是对飞值或野值的清洗。
[0004]错误数据也称为噪声数据或孤立点。主要的清洗方法有：
[0005]①
用概率统计分析的方法或人工智能的方法来识别属性可能的错误值或异常值；
[0006]②
分箱：分箱方法通过考察属性值的周围的值来平滑属性的值。属性值被分布到一些等深或等宽的“箱”中，按照箱中属性值的平均值或中值来替换“箱”中的属性值。
[0007]③
使用简单规则库检测、修正数据的错误；
[0008]④
使用不同的属性间的约束检测和修正错误；
[0009]⑤
使用外部数据检测或修正错误。
[0010]采集数据清洗中野值的识别与处理，目前多采用基于规则的方法，即对每一个采集的数据设定一个范围，对采集到的每一个数据值进行判断，超过数值范围的值判定为野值，然后通过周围的值采用最小二乘法等产生一个新值将野值替换掉。这种野值识别的方法存在一定的武断性，可能导致以下两种错误：
[0011]①
实际采集数据为野值，但并没有超出设定的数值范围，导致野值被漏掉；
[0012]②
实际采集值为正常值，但超出了设定的数值范围，导致干净的采集数据被清洗。
[0013]以上两种情况都会导致大数据处理结果产生错误。

技术实现思路

[0014]本专利技术的目的是提供一种基于回归模型的数据清洗方法，用于解决现有的错误数据清洗中存在的问题，而提出一种新的大数据识别和处理野值的方法。
[0015]为了实现本专利技术的目的，采用以下技术方案：
[0016]基于回归模型的数据清洗方法，所述数据清洗方法包括以下步骤：
[0017]S1.首先，根据所采集参数性质确定宽规则的阀值范围，对采集的数据中明显错误、异常的野值进行粗识别清洗；
[0018]S2.然后，根据任一时刻采样值动态阀值，对步骤S1处理后的数据进行基于回归模型的精细识别清洗；
[0019]S3.最后，利用回归平滑模型对步骤S1、S2识别出的野值对应采集时刻的真实值进行估算并替换。
[0020]为了进一步实现本专利技术的目的，还可以采用以下技术方案：
[0021]如上所述的基于回归模型的数据清洗方法，步骤S1中，宽规则的阀值范围为所采集参数的极限最小值至极限最大值。
[0022]如上所述的基于回归模型的数据清洗方法，步骤S2中，基于回归模型的精细识别具体步骤如下：
[0023]A1.确定野值长度L
err
和参考宽度L
c
，所述参考宽度L
c
为野值长度L
err
的整倍数，所述野值长度计算公式为：
[0024]L
err
＝f
s
·
t
err
，
[0025]其中，f
s
表示采集设备工作频率，t
err
表示野值持续时间。
[0026]A2.确定回归模型的参考值和偏离范围，所述参考值设置有前后2个，分别为和其计算公式如下：
[0027][0028][0029][0030]其中，ρ为当前识别位置与参考数据位置的最小偏移量，为向下取整运算符；
[0031]所述偏离范围R
x
(k)的计算公式如下：
[0032]R
x
(k)＝1/f
s
·
(L
s
+L
err
)/2
·
V
max
[0033]其中，f
s
为参数采集频率，L
err
为野值长度，L
c
为参考宽度，V
max
为参数最大变化速度。
[0034]A3.根据步骤A2获得的和R
x
(k)，确定动态阈值范围和计算公式如下：
[0035]当时，
[0036]当时，
[0037]A4.对野值精细识别，当前参数采集数值为x(k)时，按照如下准则对野值进行识别：如果或者则判定该x(k)为野值。
[0038]如上所述的基于回归模型的数据清洗方法，步骤A1中，所述参考宽度L
c
为野值长度L
err
的5
‑
10倍。
[0039]如上所述的基于回归模型的数据清洗方法，步骤S3中，基于回归平滑模型的野值真实值估算，具体包括以下步骤：
[0040]B1.根据前后2个参考区域计算出两个参考值和计算公式如下：
[0041][0042][0043][0044]其中，ρ为当前识别位置与参考数据位置的最小偏移量，为向下取整运算符；
[0045]B1.确定发生在k采集时刻的野值估计值，计算公式如下：
[0046][0047]如上所述的基于回归模型的数据清洗方法，步骤B1中，求和项x(k
‑
ρ
‑
i)或者x(k+ρ+i)本身是野值时，舍弃该野值并通过外推对应的项数来得到或
[0048]如上所述的基于回归模型的数据清洗方法，外推对应的项数来得到的其计算公式如下：
[0049][0050]与现有技术相比，本专利技术的优点在于：
[0051]本专利技术利用采集时刻附近一段时间的采集数据计算野值识别参考值，并根据采集数据本身的特点设置阈值范围，利用参考值和阈值范围对野值进行识别，并利用回归平滑模型得到野值的估计值。
[0052]本专利技术综合了回归模型精细识别野值和精细识别中动态阈值计算以剔除野值，并通过回归平滑模型得到野值估算值进行对应采集时刻的数据替换，从而能较好的解决了数据清洗错误和野值遗漏等问题。
[0053]本专利技术实现了大数据处理中的错误数据清洗，对于明显的野值采用阈值粗识别提高识别效率，对于不易发现的野值采用精细识别提高野值的识别精确度，同时采用平滑模型提高得到野值估算值的准确性。
附图说明
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于回归模型的数据清洗方法，其特征在于，所述数据清洗方法包括以下步骤：S1.首先，根据所采集参数性质确定宽规则的阀值范围，对采集的数据中明显错误、异常的野值进行粗识别清洗；S2.然后，根据任一时刻采样值动态阀值，对步骤S1处理后的数据进行基于回归模型的精细识别清洗；S3.最后，利用回归平滑模型对步骤S1、S2识别出的野值对应采集时刻的真实值进行估算并替换。2.根据权利要求1所述的基于回归模型的数据清洗方法，其特征在于，步骤S1中，宽规则的阀值范围为所采集参数的极限最小值至极限最大值。3.根据权利要求1所述的基于回归模型的数据清洗方法，其特征在于，步骤S2中，基于回归模型的精细识别具体步骤如下：A1.确定野值长度L
err
和参考宽度L
c
，所述参考宽度L
c
为野值长度L
err
的整倍数，所述野值长度计算公式为：L
err
＝f
s
·
t
err
，其中，f
s
表示采集设备工作频率，t
err
表示野值持续时间。A2.确定回归模型的参考值和偏离范围，所述参考值设置有前后2个，分别为和其计算公式如下：其计算公式如下：其计算公式如下：其中，ρ为当前识别位置与参考数据位置的最小偏移量，为向下取整运算符；所述偏离范围R
x
(k)的计算公式如下：R
x
(k)＝1/f
s
·
(L
s

【专利技术属性】
技术研发人员：李洪烈，夏栋，王倩，
申请(专利权)人：中国人民解放军海军航空大学青岛校区，
类型：发明
国别省市：