对连续性数据中的异常数据的恢复方法技术

本发明专利技术涉及数据处理技术,其公开了一种对连续性数据中的异常数据的恢复方法，解决现有技术中对于异常数据的处理方案存在数据质量不高的缺陷。该方法包括：a.检测原始数据中的异常数据；b.对正常数据的数据特征进行分析和提取，构造特征数据矩阵；c.定义数据恢复预测模型；d.利用特征数据矩阵对数据恢复预测模型进行训练，获得训练好的数据恢复预测模型；e.将异常数据的数据特征作为输入，利用训练好的数据恢复预测模型进行预测，获得异常值对应的修正值；f.利用异常值对应的修正值来替换异常值。本发明专利技术适用于连续性数据中异常数据的处理。

【技术实现步骤摘要】
对连续性数据中的异常数据的恢复方法
本专利技术涉及数据处理技术,具体涉及一种对连续性数据中的异常数据的恢复方法。
技术介绍
在连续性数据采集的过程中，有时候会因为各种原因导致采集数据的异常，例如：某一日中，数据采集服务器集群中的部分服务器异常，无法接受来自部分终端上传的部分数据，导致当日采集的数据异常。现有技术中，对于异常数据的处理一般采用以下方式：1.删除异常数据；2.利用异常数据附近点的均值来对异常值进行填补。在实际生产过程中，第一种方式在对数据质量要求不高的情况下可行，比如使用数据的人员只关心终端活跃率的趋势走向，并不关心具体某一天的终端用户活跃率，此时，删除不对数据趋势产生影响的异常数据是可行的；但是，如果使用数据的人员对数据质量要求较高，且不允许数据有缺失，那么这种方式就不可行。第二种方式虽然填补了异常值，但是利用一般的统计方法填补的值是粗糙的，丢失了部分数据特征，最后的填补值与真实值的差距比较大，也会影响整个数据的准确性。综上，现有技术对于异常数据的处理方案存在数据质量不高的缺陷。
技术实现思路
本专利技术所要解决的技术问题是：提出一种对连续性数据中的异常数据的恢复方法，解决现有技术中对于异常数据的处理方案存在数据质量不高的缺陷。本专利技术解决上述技术问题采用的技术方案是：对连续性数据中的异常数据的恢复方法，包括以下步骤：a.检测原始数据中的异常数据；b.对正常数据的数据特征进行分析和提取，构造特征数据矩阵；c.定义数据恢复预测模型；d.利用特征数据矩阵对数据恢复预测模型进行训练，获得训练好的数据恢复预测模型；e.将异常数据的数据特征作为输入，利用训练好的数据恢复预测模型进行预测，获得异常值对应的修正值；f.利用异常值对应的修正值来替换异常值。作为进一步优化，步骤a中，采用四分位法则来计算数据的正常值的上下限，并将原始数据与正常值的上下限进行比较，若在上下限范围外，则属于异常数据。作为进一步优化，步骤b中，基于数据指标的关联关系对正常数据的数据特征进行分析和提取。作为进一步优化，步骤c中，定义带有未知参数的数据恢复预测模型：Y＝CTXT+B，其中CT为参数矩阵，XT为特征数据矩阵，B为偏置项。作为进一步优化，步骤d中，采用线性回归算法对数据恢复预测模型进行训练：在训练前，将特征数据矩阵划分为训练集数据和测试集数据，训练时，利用训练集数据训练模型，利用测试集数据来验证模型。本专利技术的有益效果是：构建预测模型，并通过对历史数据的分析和特征提取获取训练和测试样本集，以此对预测模型进行训练，然后利用训练好的模型对异常数据对应的数据特征进行预测，从而获得修正值，最后利用该修正值替换异常数据，从而实现异常数据的恢复。由于综合考虑了历史数据的特征和数据之间的关联关系，进行预测获得的修正值精度高，从而提高了数据质量。具体实施方式本专利技术旨在提出一种对连续性数据中的异常数据的恢复方法，解决现有技术中对于异常数据的处理方案存在数据质量不高的缺陷。本专利技术中对连续性数据中的异常数据的恢复方法，包括以下步骤：a.检测原始数据中的异常数据；b.对正常数据的数据特征进行分析和提取，构造特征数据矩阵；c.定义数据恢复预测模型；d.利用特征数据矩阵对数据恢复预测模型进行训练，获得训练好的数据恢复预测模型；e.将异常数据的数据特征作为输入，利用训练好的数据恢复预测模型进行预测，获得异常值对应的修正值；f.利用异常值对应的修正值来替换异常值。实施例：以对活跃率异常数据的恢复处理为例，本实施例中的实施步骤如下：(1)把收集到的活跃率数据，输入到四分位法则的公式，计算出活跃率上下限，得到正常活跃率的范围区间N，则比较活跃率的原始数据和该范围区间N，若在范围区间N以外，则属于异常数据。(2)收集特征数据：在对数据的分析过程中，发现活跃率受“总激活数”、“是否节假日”、“日均开机次数”这几个特征指标的影响，故采集“总激活数”、“是否节假日”、“日均开机次数”、“活跃率”这几个特征指标的数据，构建特征数据矩阵。(3)定义带有未知参数的预测模型：Y＝CTXT+B，其中CT为参数矩阵，XT为特征数据矩阵，B为偏置项；对该模型进行训练就是求解合适的CT和B的取值的过程。(4)模型训练：首先，把特征数据矩阵中存在异常活跃率的行去除，获得正常的活跃率数据集S，再把S划分为训练集Strain和测试集Stest，接着采用线性回归算法来训练模型：用Strain来训练模型，Stest来验证模型；经过不断的训练和测试，直到模型的误差最小，最后获得训练好的预测模型M。(5)将异常活跃率的特征指标作为输入，利用预测模型M预测异常数据对应的修正值。(6)利用获得修正值替换对应的异常数据值。本文档来自技高网...

【技术保护点】
1.对连续性数据中的异常数据的恢复方法，其特征在于，包括以下步骤：a.检测原始数据中的异常数据；b.对正常数据的数据特征进行分析和提取，构造特征数据矩阵；c.定义数据恢复预测模型；d.利用特征数据矩阵对数据恢复预测模型进行训练，获得训练好的数据恢复预测模型；e.将异常数据的数据特征作为输入，利用训练好的数据恢复预测模型进行预测，获得异常值对应的修正值；f.利用异常值对应的修正值来替换异常值。

【技术特征摘要】
1.对连续性数据中的异常数据的恢复方法，其特征在于，包括以下步骤：a.检测原始数据中的异常数据；b.对正常数据的数据特征进行分析和提取，构造特征数据矩阵；c.定义数据恢复预测模型；d.利用特征数据矩阵对数据恢复预测模型进行训练，获得训练好的数据恢复预测模型；e.将异常数据的数据特征作为输入，利用训练好的数据恢复预测模型进行预测，获得异常值对应的修正值；f.利用异常值对应的修正值来替换异常值。2.如权利要求1所述的对连续性数据中的异常数据的恢复方法，其特征在于，步骤a中，采用四分位法则来计算数据的正常值的上下限，并将原始数据与正常值的上下限进行比较，若在上下限范围外，则...

【专利技术属性】
技术研发人员：周杰，贾川江，
申请(专利权)人：四川长虹电器股份有限公司，
类型：发明
国别省市：四川,51