System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据异常检测方法、装置、设备及存储介质制造方法及图纸_技高网
当前位置: 首页 > 专利查询>浙江大学专利>正文

数据异常检测方法、装置、设备及存储介质制造方法及图纸

技术编号:42914485 阅读:13 留言:0更新日期:2024-10-11 15:44
本说明书提供一种数据异常检测方法、装置、设备及存储介质。通过基于数据管理系统在多个数据维度上的运行数据,来生成由多个数据维度上的运行数据按照时间顺序排列的待处理数据,并获取待处理数据的重构数据,从而基于待处理数据、待处理数据的重构数据和不同的备选异常情况类型所对应的目标权重信息,确定待处理数据在不同的备选异常情况类型下的异常得分,以基于待处理数据在不同的备选异常情况类型下的异常得分和目标分数阈值,确定待处理数据的数据异常预测结果。通过为每个数据维度设置对应的权重参数以得到目标权重信息,可以实现对多个数据维度的差异化赋权,从而可以识别并削弱非关键维度噪声的影响,提高数据异常识别的准确性。

【技术实现步骤摘要】

本说明书一个或多个实施例涉及数据处理,尤其涉及一种数据异常检测方法、装置、设备及存储介质


技术介绍

1、在当今这个数字化时代,数据管理系统(如大规模数据中心)在运行过程中会不断产生和收集大量的数据,然而,数据管理系统可能会发生错误或出现故障,一旦数据管理系统发生错误或出现故障,可能会对后续的业务处理过程造成严重影响,甚至引发数据安全风险和业务故障。因此,及时准确地实识别出数据管理系统中出现的数据异常,从而采取相应的措施来应对所出现的异常,是保障数据管理系统的数据安全性、数据准确性的重要举措之一,


技术实现思路

1、有鉴于此,本说明书一个或多个实施例提供一种数据异常检测方法、装置、设备及存储介质。

2、为实现上述目的,本说明书一个或多个实施例提供技术方案如下:

3、根据本说明书一个或多个实施例的第一方面,提出了一种数据异常检测方法,包括:

4、基于数据管理系统在多个数据维度上的运行数据生成待处理数据,并获取所述待处理数据的重构数据,所述待处理数据为由多个数据维度上的运行数据按照时间顺序排列的时间序列数据,所述待处理数据的重构数据为由所述多个数据维度上的运行数据所对应的重构数据所组成的时间序列数据;

5、基于所述待处理数据、所述待处理数据的重构数据和不同的备选异常情况类型所对应的目标权重信息,确定所述待处理数据在不同的备选异常情况类型下的异常得分,所述目标权重信息为基于历史数据的异常检测结果以及所述历史数据的实际异常情况类型对初始权重信息进行调整得到的,所述目标权重信息用于指示所述多个数据维度各自对应的权重参数;

6、基于所述待处理数据在不同的备选异常情况类型下的异常得分和目标分数阈值,确定所述待处理数据的数据异常预测结果。

7、根据本说明书一个或多个实施例的第二方面,提出了一种数据异常检测装置,包括:

8、生成模块,用于基于数据管理系统在多个数据维度上的运行数据生成待处理数据,所述待处理数据为由多个数据维度上的运行数据按照时间顺序排列的时间序列数据;

9、获取模块,用于获取所述待处理数据的重构数据,所述待处理数据的重构数据为由所述多个数据维度上的运行数据所对应的重构数据所组成的时间序列数据;

10、第一确定模块,用于基于所述待处理数据、所述待处理数据的重构数据和不同的备选异常情况类型所对应的目标权重信息,确定所述待处理数据在不同的备选异常情况类型下的异常得分,所述目标权重信息为基于历史数据的异常检测结果以及所述历史数据的实际异常情况类型对初始权重信息进行调整得到的,所述目标权重信息用于指示所述多个数据维度各自对应的权重参数;

11、第二确定模块,用于基于所述待处理数据在不同的备选异常情况类型下的异常得分和目标分数阈值,确定所述待处理数据的数据异常预测结果。

12、根据本说明书一个或多个实施例的第三方面,提出了一种计算设备,包括:

13、处理器;

14、用于存储处理器可执行指令的存储器;

15、其中,所述处理器通过运行所述可执行指令以实现如第一方面所述的方法。

16、根据本说明书一个或多个实施例的第四方面,提出了一种计算机可读存储介质,其上存储有计算机指令,所述指令被处理器执行时实现如第一方面所述方法的步骤。

17、根据本说明书一个或多个实施例的第五方面,提出了一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述第一方面所述的方法。

18、本说明书通过基于数据管理系统在多个数据维度上的运行数据,来生成由多个数据维度上的运行数据按照时间顺序排列的待处理数据,并获取待处理数据的重构数据,从而基于待处理数据、待处理数据的重构数据和不同的备选异常情况类型所对应的目标权重信息,确定待处理数据在不同的备选异常情况类型下的异常得分,进而基于待处理数据在不同的备选异常情况类型下的异常得分和目标分数阈值,确定待处理数据的数据异常预测结果。其中,目标权重信息用于指示多个数据维度各自对应的权重参数,通过为每个数据维度设置对应的权重参数,可以实现对多个数据维度的差异化赋权,从而可以识别并削弱非关键维度噪声的影响,提高数据异常识别的准确性;此外,目标权重信息为基于历史数据的异常检测结果以及历史数据的实际异常情况类型对初始权重信息进行调整得到的,从而保证目标权重信息的准确性和有效性,以保证数据异常识别的准确性。

本文档来自技高网...

【技术保护点】

1.一种数据异常检测方法,包括:

2.根据权利要求1所述的方法,所述基于数据管理系统在多个数据维度上的运行数据生成待处理数据,包括:

3.根据权利要求2所述的方法,所述运行数据包括系统性能数据、日志数据和追踪数据,其中,所述系统性能数据用于指示所述数据管理系统在运行过程中的不同时间所对应的性能数据,所述日志数据为所述数据管理系统在运行过程中产生的操作日志,所述追踪数据用于指示所述数据管理系统中的服务调用情况。

4.根据权利要求3所述的方法,所述基于所述述数据管理系统在多个数据维度上的运行数据进行数据整合处理,得到所述待处理数据,包括:

5.根据权利要求1所述的方法,所述基于数据管理系统在多个数据维度上的运行数据生成待处理数据之后,所述方法还包括:

6.根据权利要求1所述的方法,所述基于所述待处理数据、所述待处理数据的重构数据和不同的备选异常情况类型所对应的目标权重信息,确定所述待处理数据在不同的备选异常情况类型下的异常得分,包括:

7.根据权利要求6所述的方法,所述基于所述误差数据和不同的备选异常情况类型所对应的目标权重信息,确定所述待处理数据在不同的备选异常情况类型下的异常得分,包括:

8.根据权利要求7所述的方法,所述基于所述待处理数据中各个时间点所对应的数据在所述备选异常情况类型下的异常得分,确定所述待处理数据在所述备选异常情况类型下的异常得分,包括:

9.根据权利要求8所述的方法,所述数据异常预测结果用于指示所述待处理数据是否存在数据异常,在所述数据异常预测结果指示所述待处理数据存在数据异常的情况下,所述数据异常预测结果还用于指示所述待处理数据的预测异常情况类型;

10.根据权利要求8所述的方法,所述数据异常预测结果用于指示所述待处理数据是否存在数据异常,在所述数据异常预测结果指示所述待处理数据存在数据异常的情况下,所述数据异常预测结果还用于指示所述待处理数据的预测异常情况类型;

11.根据权利要求9或10所述的方法,所述基于所述待处理数据中各个时间点所对应的数据在所述备选异常情况类型下的异常得分,确定所述待处理数据在所述备选异常情况类型下的异常得分之后,所述方法还包括:

12.根据权利要求1所述的方法,所述目标权重信息的获取过程包括:

13.根据权利要求12所述的方法,所述异常检测结果用于指示所述历史数据是否存在数据异常的预测结果,在所述异常检测结果指示所述历史数据存在数据异常的情况下,所述异常检测结果还用于指示所述历史数据的预测异常情况类型以及所述预测异常情况类型的可信程度;

14.一种数据异常检测装置,包括:

15.一种计算设备,包括:

16.一种计算机可读存储介质,其上存储有计算机指令,所述指令被处理器执行时实现如权利要求1-13中任一项所述方法的步骤。

...

【技术特征摘要】

1.一种数据异常检测方法,包括:

2.根据权利要求1所述的方法,所述基于数据管理系统在多个数据维度上的运行数据生成待处理数据,包括:

3.根据权利要求2所述的方法,所述运行数据包括系统性能数据、日志数据和追踪数据,其中,所述系统性能数据用于指示所述数据管理系统在运行过程中的不同时间所对应的性能数据,所述日志数据为所述数据管理系统在运行过程中产生的操作日志,所述追踪数据用于指示所述数据管理系统中的服务调用情况。

4.根据权利要求3所述的方法,所述基于所述述数据管理系统在多个数据维度上的运行数据进行数据整合处理,得到所述待处理数据,包括:

5.根据权利要求1所述的方法,所述基于数据管理系统在多个数据维度上的运行数据生成待处理数据之后,所述方法还包括:

6.根据权利要求1所述的方法,所述基于所述待处理数据、所述待处理数据的重构数据和不同的备选异常情况类型所对应的目标权重信息,确定所述待处理数据在不同的备选异常情况类型下的异常得分,包括:

7.根据权利要求6所述的方法,所述基于所述误差数据和不同的备选异常情况类型所对应的目标权重信息,确定所述待处理数据在不同的备选异常情况类型下的异常得分,包括:

8.根据权利要求7所述的方法,所述基于所述待处理数据中各个时间点所对应的数据在所述备选异常情况类型下的异常得分,确定所述待处理数据在所述备选异常情况类型下的异...

【专利技术属性】
技术研发人员:谢铖施亦豪程雨夏俞晨毛小云陈文智
申请(专利权)人:浙江大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1