System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于用电监测时序数据的设备异常检测方法技术_技高网

一种基于用电监测时序数据的设备异常检测方法技术

技术编号:43147103 阅读:5 留言:0更新日期:2024-10-29 17:48
本发明专利技术公开一种基于用电监测时序数据的设备异常检测方法,包括以下步骤:数据采集;特征提取;数据聚类;异常检测与设备监测;调整参数;部署设备异常检测系统。本发明专利技术在对于特定类型设备具有较大采集样本的情况下,通过历史数据分析自动判断出异常风险较高的设备实例,再通过人工反馈对分析模型进行反馈迭代,最终实现设备异常的准确识别。

【技术实现步骤摘要】

本专利技术涉及电数字数据处理,尤其涉及一种基于用电监测时序数据的设备异常检测方法


技术介绍

1、设备异常分析是一种常见的二分类需求,基于采集到设备状态时序数据尝试进行设备异常分析,目前主要有以下几种方式,并且这些方式均存在一些缺陷:

2、1、基于模型的方法:使用隐马尔可夫模型,或是卡尔曼滤波等方案,将时序数据以特定的模型进行模拟,通过基于该模型的预测值与观测值间的偏差进行异常检测。由于实际的业务场景复杂多样,很难有通用的模型能有效匹配各类的条件,预测效果也并不理想;

3、2、有监督的深度机器学习:近年在时序分析处理中也有大量使用深度学习方案不尝试直接对时序数据进行季节时序趋势分析,而通过lstm(长短期记忆网络)、gru(门控循环单元)、transformer(变换器)等方案尝试直接以深度神经网络去对时序数据中的模式进行识别提取,再通过提取出的特征进行异常检测。然而,这类方案需要大量的标注数据,且对于不同类型设备需要准备不同的训练数据,且训练过程复杂,需要大量计算资源,且训练结果对数据预处理方式、模型结构、训练参数等高度敏感,难以得到稳定可靠的结果。这种方法需要大量的设备监测数据采集和标注,不同设备的工作模式也需针对性地准备训练数据,消耗大量人力物力,得到的模型的适应性也并不广泛;

4、3、一些无监督的机器学习方案:目前常用k-means(k均值)聚类算法,或基于密度的空间聚类(dbscan)方法,自编码器(autoencoders)等技术,对于采集到设备状态数据进行拟合,再使用拟合后模型进行异常检测。这类算法只需要设定一定的算法参数,不需要大量的人工标注数据。但为了实现较好的推理效果,需要精心设计数据的构造方式,并选择合适的算法参数(如空间距离函数,聚类数量,k-distance(k邻近距离),最小聚类点数等)。


技术实现思路

1、针对上述问题,本专利技术提供一种基于用电监测时序数据的设备异常检测方法,在对于特定类型设备具有较大采集样本的情况下,通过历史数据分析自动判断出异常风险较高的设备实例,再通过人工反馈对分析模型进行反馈迭代,最终实现设备异常的准确识别。

2、为了实现本专利技术的目的,采用以下方案:

3、一种基于用电监测时序数据的设备异常检测方法,包括以下步骤:

4、s100:数据采集:对每个设备分别采集型号信息,并间隔预定时间t采集至少一个属性值a,以及时序值s,然后对采集的数据进行清洗、归一化处理,得到各次采集的多维时序数据p;

5、s200:特征提取,包括:

6、s201:对s100中所采集的数据,分为n个粗分段数据记录;

7、s202:对n个粗分段数据,分别分为b个细分段数据记录;

8、s203:在所有的细分段数据记录中,分别采用m种聚合算法对各细分段数据记录中的多维时序数据p聚合为m个维度值z,使得对各粗分段时间分别生成向量z,,1≤i≤n;

9、s300:数据聚类,采用hdbscan算法对所有向量z两两进行点间距离计算,并将这些向量z聚类到多个聚类c中;

10、s400:异常检测与设备监测,包括:

11、s410:异常检测模型训练,包括:

12、s411:通过s100的方式对设备进行持续时间为t的数据采集,得到初始数据集d=(q1,q2,⋯,qf);

13、s412:通过s200的方式,将初始数据集d处理为初始向量集;

14、s413:通过s300的方式将初始向量集生成聚类树模型m1;

15、s414:通过glosh算法计算初始向量集的各向量z的异常度得分a1(zi)和异常聚类得分a2(zi),0≤a1(zi)≤1,0≤a2(zi)≤1;

16、s415:若a1(zi)≥thresh或a2(zi)≥thresh,则识别zi为异常点位,thresh为预设异常阈值;

17、s420:初始训练结束后,转为实时监测模式;

18、s500:通过接收来自用户的反馈,调整s100~s400中的各参数;

19、s600:设置设备异常检测系统,将s100~s500所述方法部署到设备异常检测系统。

20、进一步,多维时序数据p中包括归一时序值s’,以及至少一个归一属性值a’。

21、进一步,s201为:

22、对s100中所采集的数据,按粗分段时间t’进行粗分段,t<t’且t’被t整除,得到n个粗分段数据记录。

23、进一步,s202为:

24、在n个粗分段数据中,分别按细分段时间t”进行细分段,t<t”<t’且t’被t”整除,t”被t整除,在n个粗分段数据记录中分别得到b个细分段数据记录,b=t’/t”。

25、进一步,s203中,m=3,聚合算法包括:平均值、极大值、标准差。

26、进一步,在hdbscan算法参数中,采用欧氏距离或余弦相似性cos(x,y)=|x|*|y|/(x*y),x、y为不同的两个向量z。

27、进一步,s300包括:

28、s310:计算每个向量z的第k个最近邻居的距离信息corek(zi)=distance(zi,zi的第k个最近邻居),1≤i≤n,k为预设的在5~10之间的整数值;

29、s320:计算所有向量z两两之间的互可达距离mrd(x,y)=max(corek(x),corek(y),distance(x,y)),其中x、y为不同的两个向量z,得到互可达矩阵mrd;

30、s330:通过互可达矩阵mrdx,y使用prim算法生成mst;

31、s340:将mst按边的距离升序排列,遍历每一条边,为每一条存在的边创建包含两个叶子结点的聚类c,或分别包含两个端点所在子聚类c’的聚类c,这个聚类c的结点上记录其两个子结点间的距离mrd(lchild,rchild),lchild(c),rchild(c)分别是c的左右子节点,并记录所有子结点中包含的向量z的数量,得到一个原始层次化聚类树,越靠近根结点的子聚类c’间的间距越大,越靠近叶子结点的聚类c间间距越小;

32、s350:对原始层次化聚类树进行压缩,删除尺寸小于最小尺寸mcs的子聚类c’,得到压缩层次化聚类树;

33、s360:从压缩层次化聚类树的根节点开始,对各节点代表的聚类c分别定义λ=1/mrd(lchild(c),rchild(c));

34、s370:从压缩层次化聚类树的根节点起递归向下子结点的剥离操作,直到叶子节点,如果子节点内的向量z的数量小于最小尺寸mcs,则直接抛弃当前子结点,并使当前聚类c的寿命与另一个子结点相绑定;如果子结点中的向量z的数量大于等于最小尺寸mcs,则将当前子结点拆分成两个新生的聚类c,结点代表的聚类c死亡,新生的节点记为λbirth,节点死亡时记为λdeath,如果结点本文档来自技高网...

【技术保护点】

1.一种基于用电监测时序数据的设备异常检测方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于用电监测时序数据的设备异常检测方法,其特征在于,多维时序数据p中包括归一时序值s’,以及至少一个归一属性值a’。

3.根据权利要求1所述的基于用电监测时序数据的设备异常检测方法,其特征在于,S201为:

4.根据权利要求3所述的基于用电监测时序数据的设备异常检测方法,其特征在于,S202为:

5.根据权利要求1所述的基于用电监测时序数据的设备异常检测方法,其特征在于,S203中,m=3,聚合算法包括:平均值、极大值、标准差。

6.根据权利要求1所述的基于用电监测时序数据的设备异常检测方法,其特征在于,在HDBSCAN算法参数中,采用欧氏距离或余弦相似性cos(x,y)=|x|*|y|/(x*y),x、y为不同的两个向量Z。

7.根据权利要求1所述的基于用电监测时序数据的设备异常检测方法,其特征在于,S300包括:

8.根据权利要求1所述的基于用电监测时序数据的设备异常检测方法,其特征在于,S411中,t<T,且T被t整除,f=T/t。

9.根据权利要求4所述的基于用电监测时序数据的设备异常检测方法,其特征在于,S500包括:

...

【技术特征摘要】

1.一种基于用电监测时序数据的设备异常检测方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于用电监测时序数据的设备异常检测方法,其特征在于,多维时序数据p中包括归一时序值s’,以及至少一个归一属性值a’。

3.根据权利要求1所述的基于用电监测时序数据的设备异常检测方法,其特征在于,s201为:

4.根据权利要求3所述的基于用电监测时序数据的设备异常检测方法,其特征在于,s202为:

5.根据权利要求1所述的基于用电监测时序数据的设备异常检测方法,其特征在于,s203中,m=3,聚合算法包括:平均值、极大值...

【专利技术属性】
技术研发人员:彭安
申请(专利权)人:成都古河云科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1