一种标记监测指标的KPI曲线的波段特征的方法技术

本发明专利技术公布了一种标记监测指标的KPI曲线的波段特征的方法，将KPI曲线分割为若干段等长的波段，根据波段的非时间维度聚类成多个簇，提取各个簇的基波，比较各个簇的各波段数据与基波的相似度，找出各个簇的分组边界线，将各个簇的各波段数据分组，提取各簇中连续同类波段的总时间长度，取总时间长度的最大值作为滑动窗口宽度。该窗口用于分割KPI曲线，使分割后的各窗口中波段容易聚类归类，利于将对整KPI曲线的迅速成由不同类型波段组成的波段链，然后对单独监测指标的KPI曲线进行周期检测和类型检测标记标签，再利用该窗口分割单独的KPI曲线，利用基波KPI曲线内的波段进行分组加标签。加标签。加标签。

【技术实现步骤摘要】
一种标记监测指标的KPI曲线的波段特征的方法


[0001]本专利技术涉及人工智能
，尤其涉及标记监测指标的KPI曲线的波段特征的方法，基于图像处理技术根据KPI曲线的周期和波段类型标记KPI曲线，输出结果用于关联同一系统的不同KPI曲线的。

技术介绍

[0002]异常点检测(又称为离群点检测)是找出其行为不同于预期对象的一个检测过程，这些对象被称为异常点或者离群点。异常检测方式通常包括基于统计的模型、基于距离的模型、线性变换的模型、非线性变换的模型、机器学习的模型等。
[0003]KPI(key performance indicators)指的是对服务、系统等对象的监控指标 (如网络中的延迟、吞吐量等)。其存储的形式是按其发生的时间先后顺序排列而成的数列，也就是我们通常所说的时间序列。时间序列的异常检测就是通过历史的数据分析，查看当前的数据是否发生了明显偏离了正常的情况。KPI 数据异常检测有着十分重要的意义：通过实时的监控KPI数据，发现KPI数据存在的异常，及时进行相应处理，从而保证应用的正常运行。
[0004]通过对KPI数据设置阈值来进行实时异常检测的方法十分普遍，然而阈值的设置依赖用户经验，同时，随着KPI数据逐渐增多，为每一条KPI数据配置若干阈值的方法就会耗费巨大的人力。因此KPI数据异常检测应以免阈值设置、高度自动化为目标。
[0005]时间序列分解是探索时序变化规律的一种方法，主要探索周期性和趋势性。基于周期、趋势分解的时序分解算法主要有经典时序分解算法、Holtr/>‑ꢀ
Winters算法和STL算法。
[0006]传统的时间序列预测方法往往针对一维时间序列本身建模，难以利用额外特征。相比之下，基于神经网络的方法往往可以获得更好的检测结果。如利用变分自动编码器(VAE)的Donut方法对单个时间序列建模(训练)，将重建误差较大的数据判断为异常数据；DeepAR可以利用序列在每个时间步上取值的概率分布，从相关的时间序列中有效地学习全局模型，从而学习复杂的模式。此外，还有一些有监督的异常检测方法，可以利用带标记的样本数据进行模型训练，通常也可以获得非常好的检测结果。
[0007]在实际工作中，监控指标非常多，异常的种类也非常多。有很多时序数据分析的算法，往往适用场景不明确，人们往往并不清楚应该采用哪个算法、使用什么参数。此外，数据中可能还有缺失，处理不当就会导致异常检测准确率很低。
[0008]传统机器学习主要分为监督学习和非监督学习两类，以数据级是否有标签进行区分。近年来为了降低成本，又开发了尽可能减少的人工投入的方法被称为弱监督模型，能够尽可能的减少人工标注的使用，主要有三种类型：不完全监督、不确切监督、不准确监督。分别针对部分数据标注，粗颗粒度标注以及混入错误标注的应用场景。
[0009]传统机器学习为了追求有效性，大多采用监督学习方式，在实践中异常标注难以批量获得，通过海量有标注的数据样本提高模型输出的准确度，因而需要大量业务专家进行人工标注KPI曲线，往往需要反反复复调整矫正，耗时耗力，实际中可能需要同时开始监
控几百万、几千万的KPI，因此，现实中的异常检测实践中往往无法找到某一种算法可以同时满足上述要求，无法同时解决上面的挑战。而非监督学习常用聚类等技术，主要用于特征发现，数据探索等场景，因为缺乏标注，其结果需要数据科学家进行解释才能抽象的映射到业务模式，并不能直接作用结果；弱监督在具体的实现中因为分阶段的引入非监督/监督方法，循环递归的提升准确性，显得过于学术，落地困难，另一方面为了融合具体方法，需要采用向量表达来统一不同方法间的表示，结果不容易应用人员理解。
[0010]数据量越多，业务场景越复杂，引入的方式越复杂，需要投入成本/人力就越来越多样化，因而有了机器学习工业落地的经典言论“有多少人力就有多少智力”。这种循环直接限制了机器学习在全行业的推广，而集中在收益较高的行业，而导致常规行业只采用放弃抵抗，被动防守，依靠全行业平均水平来倒灌，实现业务场景迁移，具体如下：如果一个方法在其他行业特别有效，人员已经富余后借用一下观察效果，如果可行在考虑使用。而工业应用场景就是这种被动防守的行业之一。

技术实现思路

[0011]本专利技术的目的是提供一种标记监测指标的KPI曲线的波段特征的方法，将KPI曲线分割为若干段等长的波段，根据波段的非时间维度聚类成多个簇，提取各个簇的基波，比较各个簇的各波段数据与基波的相似度，找出各个簇的分组边界线，将各个簇的各波段数据分组，提取各簇中连续同类波段的总时间长度，取总时间长度的最大值作为滑动窗口宽度。该窗口用于分割KPI曲线，使分割后的各窗口中波段容易聚类归类，利于将对整个KPI曲线的迅速形成由不同类型波段组成的波段链，不同窗口的整个KPI曲线可基于波段链的排列相似性进行整体分类。本专利技术中还能通过对单独监测指标的KPI曲线进行周期检测和类型检测记标签，利用该窗口分割单独的KPI曲线，利用基波KPI曲线内的波段进行分组加标签。
[0012]本专利技术的技术方案是：一种标记监测指标的KPI曲线的波段特征的方法，其步骤包括：步骤S1.根据同一系统中监测指标的历史数据与时间的关系，建立波形，经过滤波处理形成至少一个监测指标的KPI曲线，每个监测指标是KPI曲线数据点的一个属性，同一系统是指有直接或间接的物料供给关系、或电能传递关系、或热能传递关系、或机械能传递关系、或磁场传递关系、或能量转化关系、或信号控制关系的被监测物组成的生产物料的工艺、生产能量的工艺或控制系统；所述监测指标是被监测物上的传感器采集的物理参数；步骤S2.将KPI曲线分割为若干段时序宽度为1s的波段，根据波段的非时间维度聚类成多个簇，提取各个簇的基波；步骤S3.先按预设的滑动窗口，将步骤S1处理过的各个KPI曲线分割成时序宽度为总时间间隔的若干段KPI曲线窗口段，按步骤S2的分割方法将KPI曲线窗口段分割成时序宽度为1s的i段KPI曲线数据集M
’
i
，每一段是一个波段；将步骤S2得到的各基波逐一与每一条KPI曲线的每一个窗口内的各波段比较相似度，并按相似度从大到小排序，依据排序找出分组边界线，将波段分组，形成基波标签构成的标签链，获取不同KPI的模式波形，称为KPI曲线码型重排表；步骤S4. 将不同的KPI曲线码型重排表统一时间维度放置在一个维度中，获得KPI曲线码型重排关联表。
[0013]优选地，步骤S2和S3之间还包括设置预设的滑动窗口的步骤：步骤M1.比较步骤S2各个簇的各波段数据与基波的相似度，找出各个簇的分组边界线，将各个簇的各波段数据分组；步骤M2.提取被分到不同分组中的各簇的时间戳，得到每个分组的时间戳列表；步骤M3.将每组的时间戳列表做移步相减，即使用各时间戳列表中下一项的起始时间戳与本项的起始时间戳相减获得事件触发间隔列表；步骤M4.将各簇的事件触发间隔合并成时间间隔KPI集，依据NCC计算各簇的时间间隔KPI集之间的相似度；步骤M5.将步骤M4获得的各簇之间时间间本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种标记监测指标的KPI曲线的波段特征的方法，其步骤包括：步骤S1.根据同一系统中监测指标的历史数据与时间的关系，建立波形，经过滤波处理形成至少一个监测指标的KPI曲线，每个监测指标是KPI曲线数据点的一个属性，同一系统是指有直接或间接的物料供给关系、或电能传递关系、或热能传递关系、或机械能传递关系、或磁场传递关系、或能量转化关系、或信号控制关系的被监测物组成的生产物料的工艺、生产能量的工艺或控制系统；所述监测指标是被监测物上的传感器采集的物理参数；步骤S2.将KPI曲线分割为若干段时序宽度为1s的波段，根据波段的非时间维度聚类成多个簇，提取各个簇的基波；步骤S3.先按预设的滑动窗口，将步骤S1处理过的各个KPI曲线分割成时序宽度为总时间间隔的若干段KPI曲线窗口段，按步骤S2的分割方法将KPI曲线窗口段分割成时序宽度为1s的i段KPI曲线数据集M
’
i
，每一段是一个波段；将步骤S2得到的各基波逐一与每一条KPI曲线的每一个窗口内的各波段比较相似度，并按相似度从大到小排序，依据排序找出分组边界线，将波段分组，形成基波标签构成的标签链，获取不同KPI的模式波形，称为KPI曲线码型重排表；步骤S4. 将不同的KPI曲线码型重排表统一时间维度放置在一个维度中，获得KPI曲线码型重排关联表。2.根据权利要求1所述的方法，其特征在于，步骤S2和S3之间还包括设置预设的滑动窗口的步骤：步骤M1.比较步骤S2中各个簇的各波段数据与基波的相似度，找出各个簇的分组边界线，将各个簇的各波段数据分组；步骤M2.提取被分到不同分组中的各簇的时间戳，得到每个分组的时间戳列表；步骤M3.将每组的时间戳列表做移步相减，即使用各时间戳列表中下一项的起始时间戳与本项的起始时间戳相减获得事件触发间隔列表；步骤M4.将各簇的事件触发间隔合并成时间间隔KPI集，依据NCC计算各簇的时间间隔KPI集之间的相似度；步骤M5.将步骤M4获得的各簇之间时间间隔KPI集的相似度展开成相似度矩阵；步骤M6.使各簇之间时间间隔KPI集的相似度按数值大小依次排序，然后将相似度的数值拟合成平滑线，依据拐点法获得各簇之间时间间隔KPI集的相似度的分界线；步骤M7.将相似度矩阵中数值大于拐点的且相邻的簇标记为同一个相似组，统计各相似组的簇数；步骤M8.计算相似组中簇数最多的一组的总时间间隔，作为滑动窗口宽度。3.根据权利要求2所述的方法，其特征在于，步骤S2包括以下步骤：步骤J2.将步骤S1处理后的全部的KPI曲线中各时序的数据点集提取到同一个曲线集合L中，设置步幅滑动窗口，步长为s，s=1秒，将曲线集合L按窗口宽度分割成时间宽度为s的若干段KPI曲线数据集M
i
，i为段序号；步骤J3.使用dbscan算法依据每段KPI曲线数据集的属性计算各段数据集之间的欧氏距离，对i段的KPI曲线数据集进行聚类，获取k个簇类和异常项，每个簇是一个分组数据集，每个分组数据集有j段KPI曲线数据集F
j
；步骤J4.计算每个分组数据集中j段KPI曲线数据集的算术平均值ΣF
j /j，作为该分组
的基波；步骤M1包括以下步骤：步骤J5.使用NCC算法计算每个分组数据集的各段KPI曲线数据集F
j
与该基波的波形相似度，并从大到小排序，在波形相似度排序为前95%的KPI曲线数据集F
j
中，取波形相似度的最小值作为该组的分组边界线B
k
；步骤J6.使用NCC算法计算...

【专利技术属性】
技术研发人员：戴曦，徐冲，曾玄，
申请(专利权)人：三峡智控科技有限公司，
类型：发明
国别省市：