System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请涉及计算机,特别是涉及一种用于智能算力网络的作业异常检测方法和装置。
技术介绍
1、随着算力规模的扩大和智能算力网络的广泛应用,在智能算力网络进行作业处理的过程中,为了避免由于作业失败所导致的资源浪费,需要对作业的运行进行异常检测。
2、现有的作业异常检测的方式,一般会直接将针对普通网络中作业的异常检测方式,应用在针对智能算力网络中的作业上。例如,采用预设阈值的方式针对某类运行数据进行监控。
3、然而,由于普通网络中作业的类型较为单一,直接将针对普通网络中作业的异常检测方式,应用在针对智能算力网络中的作业上,容易产生误判,进而降低了作业异常检测的准确性。
技术实现思路
1、基于此,有必要针对上述技术问题,提供一种能够提高作业异常检测准确性的用于智能算力网络的作业异常检测方法和装置。
2、第一方面,本申请提供了一种用于智能算力网络的作业异常检测方法,包括:
3、对智能算力网络中目标作业在待检测时段内的原始运行数据进行拆分,得到待检测时段内各子时段对应的局部运行数据;
4、根据相邻两个子时段对应的局部运行数据之间的相似度,从各子时段中确定异常子时段;
5、获取异常子时段对应的历史检测时段内的历史运行数据;
6、根据历史运行数据和异常子时段对应的局部运行数据,确定目标作业的异常检测结果。
7、在本申请实施例中,一方面,通过根据相邻两个子时段对应的局部运行数据之间的相似度,从各子时段中确定
8、在其中一个实施例中,对智能算力网络中目标作业在待检测时段内的原始运行数据进行拆分,得到待检测时段内各子时段对应的局部运行数据,包括:
9、对智能算力网络中目标作业在待检测时段内的原始运行数据进行一阶差分处理,得到目标作业在待检测时段内的全局运行数据;对全局运行数据进行拆分,得到待检测时段内各子时段对应的局部运行数据。
10、在本申请实施例中,通过对目标作业的原始运行数据进行一阶差分处理,得到去除变化趋势后的全局运行数据,进而对全局运行数据进行拆分,得到各的局部运行数据,能够使得局部运行数据更加平稳,进而提高了异常检测的准确性。
11、在其中一个实施例中,根据相邻两个子时段对应的局部运行数据之间的相似度,从各子时段中确定异常子时段,包括:
12、针对每一子时段,根据子时段对应的局部运行数据与邻居子时段对应的局部运行数据之间的相似度,确定子时段的相似度评分;其中,邻居子时段为各子时段中与子时段相邻的子时段,且邻居子时段位于子时段之前或之后;根据各子时段的相似度评分,从各子时段中确定异常子时段。
13、在本申请实施例中,通过根据相邻的局部运行数据之间的相似度,确定相似度评分,并根据各子时段的相似度评分,从各子时段中确定异常子时段,能够保证异常子时段确定的合理性。
14、在其中一个实施例中,根据子时段对应的局部运行数据与邻居子时段对应的局部运行数据之间的相似度,确定子时段的相似度评分,包括:
15、确定子时段对应的局部运行数据的数据变化趋势,以及邻居子时段对应的局部运行数据的数据变化趋势;根据子时段对应的数据变化趋势和邻居子时段对应的数据变化趋势之间的趋势相似度,确定子时段的相似度评分。
16、在本申请实施例中,通过根据子时段对应的数据变化趋势和邻居子时段对应的数据变化趋势之间的趋势相似度,确定子时段的相似度评分,能够保证相似度评分确定的准确性。
17、在其中一个实施例中,根据各子时段的相似度评分,从各子时段中确定异常子时段,包括:
18、从各子时段的相似度评分中,选择离群相似度评分;将离群相似度评分对应的子时段,作为异常子时段。
19、在本申请实施例中,通过从各子时段的相似度评分中,选择出偏离整体的离群相似度评分,并将离群相似度评分对应的子时段,直接作为异常子时段,能够保证异常子时段确定的合理性。
20、在其中一个实施例中,获取异常子时段对应的历史检测时段内的历史运行数据,包括:
21、根据异常子时段对应的时间特征,确定异常子时段对应的历史检测时段;从历史检测时段内的各候选运行数据中,选择符合目标作业的作业特征,且处于正常作业状态下的历史运行数据。
22、在本申请实施例中,通过基于时间特征维度,确定出历史检测时段,并基于目标作业的作业特征,筛选出处于正常作业状态下的历史运行数据,能够保证历史运行数据确定的合理性和准确性。
23、在其中一个实施例中,根据历史运行数据和异常子时段对应的局部运行数据,确定目标作业的异常检测结果,包括:
24、确定历史运行数据和异常子时段对应的局部运行数据之间的相似度;根据历史运行数据和异常子时段对应的局部运行数据之间的相似度,确定目标作业的异常检测结果。
25、在本申请实施例中,通过根据历史运行数据和异常子时段对应的局部运行数据之间的相似度,确定目标作业的异常检测结果,能够保证异常检测结果确定的准确性。
26、第二方面,本申请还提供了一种用于智能算力网络的作业异常检测装置,包括:
27、数据拆分模块,用于对智能算力网络中目标作业在待检测时段内的原始运行数据进行拆分,得到待检测时段内各子时段对应的局部运行数据;
28、异常确定模块,用于根据相邻两个子时段对应的局部运行数据之间的相似度,从各子时段中确定异常子时段;
29、数据获取模块,用于获取异常子时段对应的历史检测时段内的历史运行数据;
30、异常检测模块,用于根据历史运行数据和异常子时段对应的局部运行数据,确定目标作业的异常检测结果。
31、第三方面,本申请还提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
32、对智能算力网络中目标作业在待检测时段内的原始运行数据进行拆分,得到待检测时段内各子时段对应的局部运行数据;
33、根据相邻两个子时段对应的局部运行数据之间的相似度,从各子时段中确定异常子时段;
34、获取异常子时段对应的历史检测时段内的历史运行数据;
35、根据历史运行数据和异常子时段对应的局部运行数据,确定目标作业的异常检测结果。
36、第四方面,本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
37、对智能算力网络中目标作业在待检测时段内的原始运行数据进行拆分,得到待检测时段内各子时段对应的局部运行数据;
38、根据相邻两个子时段对应的局部运行数据之间的相似度,本文档来自技高网...
【技术保护点】
1.一种用于智能算力网络的作业异常检测方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述对所述智能算力网络中目标作业在待检测时段内的原始运行数据进行拆分,得到所述待检测时段内各子时段对应的局部运行数据,包括:
3.根据权利要求1所述的方法,其特征在于,所述根据相邻两个子时段对应的局部运行数据之间的相似度,从各所述子时段中确定异常子时段,包括:
4.根据权利要求3所述的方法,其特征在于,所述根据所述子时段对应的局部运行数据与邻居子时段对应的局部运行数据之间的相似度,确定所述子时段的相似度评分,包括:
5.根据权利要求3所述的方法,其特征在于,所述根据各子时段的相似度评分,从各子时段中确定异常子时段,包括:
6.根据权利要求1所述的方法,其特征在于,所述获取所述异常子时段对应的历史检测时段内的历史运行数据,包括:
7.根据权利要求1所述的方法,其特征在于,所述根据所述历史运行数据和所述异常子时段对应的局部运行数据,确定所述目标作业的异常检测结果,包括:
8.一种用于智能算
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
...【技术特征摘要】
1.一种用于智能算力网络的作业异常检测方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述对所述智能算力网络中目标作业在待检测时段内的原始运行数据进行拆分,得到所述待检测时段内各子时段对应的局部运行数据,包括:
3.根据权利要求1所述的方法,其特征在于,所述根据相邻两个子时段对应的局部运行数据之间的相似度,从各所述子时段中确定异常子时段,包括:
4.根据权利要求3所述的方法,其特征在于,所述根据所述子时段对应的局部运行数据与邻居子时段对应的局部运行数据之间的相似度,确定所述子时段的相似度评分,包括:
5.根据权利要求3所述的方法,其特征在于,所述根据各子时段的相似度评分,从各子时段中确定异常子时段,...
【专利技术属性】
技术研发人员:何佳乐,张涛,徐仕鑫,秦云辉,吕灼恒,赵欢,
申请(专利权)人:曙光信息产业股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。