【技术实现步骤摘要】
本专利技术涉及异常检测，尤其涉及一种基于函数型数据异常检测的数据分析方法。
技术介绍
1、随着信息技术的发展，大数据时代已经到来，我们获取到的数据量级越来越大，数据获取的频率也越来越高，如果每秒都能返回一条监控数据，那么一天就能拿到8万余条数据，且他们是带有时间属性的。与传统的时间序列不同，传统的时间序列更倾向于一天一条汇总数据，而若将我们拿到的数据进行每日汇总，则会缺失许多重要的信息，既然能拿到更详细更频繁的数据，那么我们也希望把所有的数据都能够利用上来分析问题。
2、传统的时间序列，将每个时间点的数据看作是独立的，并没有考虑临近时间点数据之间的相关性，由于未全面地考虑问题，所以无法提供更可靠的数据分析。
技术实现思路
1、本部分的目的在于概述本专利技术的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和专利技术名称中可能会做些简化或省略以避免使本部分、说明书摘要和专利技术名称的目的模糊，而这种简化或省略不能用于限制本专利技术的范围。
2、鉴于上述现有技术下存在的问题，提出了本专利技术。
3、因此，本专利技术目的是提供一种基于函数型数据异常检测的数据分析方法，其为了解决“由于未全面地考虑问题，所以无法提供更可靠的数据分析”的问题。
4、为解决上述技术问题，本专利技术提供如下技术方案：
5、一种基于函数型数据异常检测的数据分析方法，包括以下步骤：
6、s1：对数据进行b样条平滑处理，使
7、s2：根据方向性离群方法，识别出形状异常的时间点。
8、作为本专利技术所述一种基于函数型数据异常检测的数据分析方法的一种优选方案，其中，所述步骤s1具体包括以下步骤：
9、s1.1：对时间序列建立模型yt＝x(t)+εt，使用线性平滑的方式对数据进行平滑处理，即用离散观测值的线性组合去估计
10、s1.2：使用b样条基函数来近似，m+1个n次b样条基函数用递归公式定义
11、
12、作为本专利技术所述一种基于函数型数据异常检测的数据分析方法的一种优选方案，其中，所述步骤s1.2中，若存在周期性数据，将使用b样条基函数来近似改为使用傅里叶基函数来近似。
13、作为本专利技术所述一种基于函数型数据异常检测的数据分析方法的一种优选方案，其中，所述步骤s1.2中，在指定的节点序列{t1，...，tm}和次数p下，具体的b样条平滑方法如下：
14、若ti≤t＜ti+1，则bi，1(t)＝1，否则bi，1(t)＝0
15、若k＝2，...，p，则
16、则构造样本点的b样条矩阵φ：φi，j＝bj，p(ti)
17、从而构造平滑系数矩阵c：c＝(φtφ)-1φtx
18、得到平滑后的时间序列y＝φc。
19、作为本专利技术所述一种基于函数型数据异常检测的数据分析方法的一种优选方案，其中，所述步骤s2具体包括以下步骤：
20、s2.1：计算出基于投影深度的方向离群度o；
21、s2.2：计算出平均方向离群度mo和方差离群变化vo；
22、s2.3：计算出稳健协方差和稳健平均值，并计算出稳健马氏距离，根据马氏距离的分布，取其尾部计算异常的范围。
23、作为本专利技术所述一种基于函数型数据异常检测的数据分析方法的一种优选方案，其中，所述步骤s2.1中，根据原始数据计算出唯一中位数z和绝对协方差mad，从而计算出基于投影深度的方向离群度o。
24、作为本专利技术所述一种基于函数型数据异常检测的数据分析方法的一种优选方案，其中，所述步骤s2.2中，对方向离群度取均值和方差计算出平均方向离群度mo和方差离群变化vo。
25、作为本专利技术所述一种基于函数型数据异常检测的数据分析方法的一种优选方案，其中，所述步骤s2.3中，基于(mo,vo)的分布，计算出稳健协方差、稳健平均值和稳健马氏距离。
26、作为本专利技术所述一种基于函数型数据异常检测的数据分析方法的一种优选方案，其中，所述步骤s2.3中，当曲线的距离满足条件时，将数据标记为离群值。
27、作为本专利技术所述一种基于函数型数据异常检测的数据分析方法的一种优选方案，其中，给定原始数据xn×p，具体计算方式如下：
28、
29、
30、o＝((xt-z)/mad)t
31、mo＝(mean(o1)，...，mean(on))
32、vo＝(var(o1)，...，var(on))
33、y＝(mo，vo)
34、s＝covrobust(y)
35、y＝meanrobust(y)
36、
37、根据fp+1，m-p分布选取α分位数，查到对应估计值cutoff，若d2＞cutoff则标记为离群值。
38、本专利技术的有益效果：
39、本专利技术主要运用b样条平滑方法将数据处理成函数型数据，并利用方向性离群检测方法识别出形状异常点，即在应用场景中表名当天数据分布不同的时间点。将一天的数据看作连续的数据比用传统的数据方法来看数据的增长幅度能更全面的发现整体的分布变化，从而通过离群点来分析具体的问题，发现业务价值及问题所在。
本文档来自技高网...【技术保护点】
1.一种基于函数型数据异常检测的数据分析方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于函数型数据异常检测的数据分析方法，其特征在于，所述步骤S1具体包括以下步骤：
3.根据权利要求2所述的一种基于函数型数据异常检测的数据分析方法，其特征在于，所述步骤S1.2中，若存在周期性数据，将使用B样条基函数来近似改为使用傅里叶基函数来近似。
4.根据权利要求2所述的一种基于函数型数据异常检测的数据分析方法，其特征在于，所述步骤S1.2中，在指定的节点序列{t1，...，tm}和次数p下，具体的B样条平滑方法如下：
5.根据权利要求1所述的一种基于函数型数据异常检测的数据分析方法，其特征在于，所述步骤S2具体包括以下步骤：
6.根据权利要求5所述的一种基于函数型数据异常检测的数据分析方法，其特征在于，所述步骤S2.1中，根据原始数据计算出唯一中位数Z和绝对协方差MAD，从而计算出基于投影深度的方向离群度O。
7.根据权利要求5所述的一种基于函数型数据异常检测的数据分析方法，其特征在于，所述步骤S2.2
8.根据权利要求5所述的一种基于函数型数据异常检测的数据分析方法，其特征在于，所述步骤S2.3中，基于(MO，VO)的分布，计算出稳健协方差、稳健平均值和稳健马氏距离。
9.根据权利要求5所述的一种基于函数型数据异常检测的数据分析方法，其特征在于，所述步骤S2.3中，当曲线的距离满足条件时，将数据标记为离群值。
10.根据权利要求5所述的一种基于函数型数据异常检测的数据分析方法，其特征在于，给定原始数据Xn×p，具体计算方式如下：
...【技术特征摘要】
1.一种基于函数型数据异常检测的数据分析方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于函数型数据异常检测的数据分析方法，其特征在于，所述步骤s1具体包括以下步骤：
3.根据权利要求2所述的一种基于函数型数据异常检测的数据分析方法，其特征在于，所述步骤s1.2中，若存在周期性数据，将使用b样条基函数来近似改为使用傅里叶基函数来近似。
4.根据权利要求2所述的一种基于函数型数据异常检测的数据分析方法，其特征在于，所述步骤s1.2中，在指定的节点序列{t1，...，tm}和次数p下，具体的b样条平滑方法如下：
5.根据权利要求1所述的一种基于函数型数据异常检测的数据分析方法，其特征在于，所述步骤s2具体包括以下步骤：
6.根据权利要求5所述的一种基于函数型数据异常检测的数据分析方法，其特...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。