System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 微服务的异常检测方法、系统、存储介质及电子设备技术方案_技高网

微服务的异常检测方法、系统、存储介质及电子设备技术方案

技术编号:41714253 阅读:2 留言:0更新日期:2024-06-19 12:42
本发明专利技术提供了一种微服务的异常检测方法,包括:获取微服务的多源异构的观测数据;利用所述观测数据构建所述微服务的异常时空异构图;通过图注意力网络和支持向量机,对所述异常时空异构图进行无监督异常检测。本发明专利技术还提供一种微服务的异常检测系统、存储介质及电子设备。借此,本发明专利技术能够对微服务器实现自动、全面、准确的故障诊断,同时可以检测出未知异常和已知异常。

【技术实现步骤摘要】

本专利技术涉及计算机,尤其涉及一种微服务的异常检测方法、系统、存储介质及电子设备


技术介绍

1、随着云原生技术的繁荣发展,微服务架构相比于传统的结构有着更为包容的特性,允许更多样的技术栈的开发和更松耦合的组合形式。这使得其在数据中心、5g等新场景中运用越来越广泛。然而微服务架构通过服务解耦使得微服务数量显著增长,这对微服务的故障诊断带来了很大的挑战。为了能在海量的微服务中快速定位故障实例、诊断故障原因、从而快速恢复系统、减少损失,现代微服务系统亟需一种自动且高效的故障诊断方法。

2、可观测性是微服务架构的重要特性之一,提供了丰富的观测数据用于描述微服务系统当前的运行状态,如时序指标数据、日志数据、调用链数据等,此外运维人员还可通过自定义的指令主动获取所需的系统信息。

3、从所使用数据来说,现有技术分为如下几类:

4、(1)日志数据异常检测:用于通过提取日志模板、检测日志变量、模板序列所存在的异常,从而达到发现异常的效果。

5、(2)时序指标数据异常检测:用于从时序异常检测的角度出发,旨在发现时序指标数据中存在的异常点。

6、(3)调用链数据异常检测:用于通过发现微服务间的调用时延异常,定位故障服务。

7、由于同一种微服务可能部署到不同的物理机上,且不同的微服务之间通过网络通讯进行互相调用,因此微服务系统往往构成了复杂的拓扑关系。为了能有效利用这种拓扑关系,现有技术大多使用图方法来建模微服务系统:

8、(1)物理拓扑图:用于将微服务实例视作图节点,实例间的网络连接视作图关系,从而构建出物理拓扑图。

9、(2)逻辑拓扑图:用于将微服务系统中可能发生的各类事件视作图节点,事件发生的因果关系视作图关系,从而构建出逻辑拓扑图。

10、微服务的故障诊断指利用至少一种观测数据,指出发生故障的微服务系统中可能的故障原因。现有技术分为如下两类:

11、(1)有监督模型方法:用于从大量含有故障标注的数据中进行学习、训练故障诊断模型。

12、(2)无监督模型方法:无需大量故障标注数据,而是依赖先验知识构建如概率图等模型,从而实现故障诊断。

13、现有微服务的异常检测方法主要存在以下两个问题:

14、(1)多源异构数据融合不足:微服务的观测数据通过不同的形式展现,如时序数据、文本数据等。不同的观测数据从不同的角度刻画了微服务系统的运行状态。然而现有技术大多仅使用一种或两种数据来进行故障诊断,数据的使用限制导致现有技术很难全面地检测不同故障。

15、(2)依赖大量的历史数据:有监督的异常检测方法通常需要大量的数据来训练模型,现实中异常数据比较罕见,难以有效训练模型;并且有监督的异常检测方法对异常数据有较强的先验假设,如充足的异常样本以及均衡的样本比例等,但是实际应用中随着服务部署的改变、异常的修复等,这些先验假设很容易失效从而导致异常检测效果下降。

16、综上可知,现有技术在实际使用上显然存在不便与缺陷,所以有必要加以改进。


技术实现思路

1、针对上述的缺陷,本专利技术的目的在于提供一种微服务的异常检测方法、系统、存储介质及电子设备,其能够对微服务器实现自动、全面、准确的故障诊断,并且可以检测出未知异常和已知异常。

2、为了解决上述技术问题,本专利技术是这样实现的:

3、第一方面,本专利技术实施例提供了一种微服务的异常检测方法,包括:

4、获取微服务的多源异构的观测数据;

5、利用所述观测数据构建所述微服务的异常时空异构图;

6、通过图注意力网络和支持向量机,对所述异常时空异构图进行无监督异常检测。

7、根据本专利技术所述的方法,所述观测数据至少包括时序指标数据、日志数据和调用链数据;

8、所述利用所述观测数据构建所述微服务的异常时空异构图的步骤进一步包括:

9、根据预设的提取机制对所述日志数据进行提取,并使用日志解析器将提取后的所述日志数据转换为时序数据格式;

10、将所述时序指标数据和转换后的所述日志数据进行合并,生成所述微服务的节点特征向量;

11、从所述调用链数据中提取物理拓扑信息;

12、根据所述物理拓扑信息和所述节点特征向量,构建所述微服务的所述异常时空异构图。

13、根据本专利技术所述的方法,所述异常时空异构图包括空间向量编码、边向量编码和中心性位置编码;所述空间向量编码使用无权重的最短路径作为每个微服务之间的空间距离度量;所述边向量编码记录除连接关系外的调用链处理信息;所述中心性位置编码记录所有节点的中心性位置特征,每个中心性位置特征记录构造的过程如公式一:

14、

15、其中xi表示第i个节点的节点特征向量,为节点i的入度编码向量,所述入度编码向量根据所有调用当前服务的依赖关系构建;为节点i的出度编码向量,所述出度编码向量根据所有当前服务调用的下游服务的依赖关系进行构建;

16、将所述入度编码向量和所述出度编码向量组合成为所述中心性位置编码,再将每个微服务的所述中心性位置编码和所述节点特征向量合并为每个微服务的特征。

17、根据本专利技术所述的方法,所述通过图注意力网络和支持向量机,对所述异常时空异构图进行无监督异常检测的步骤进一步包括:

18、通过所述图注意力网络提取所述异常时空异构图中的时序特征和空间特征;

19、将所述时序特征和所述空间特征经过前馈神经网络,输出为隐空间特征;

20、通过所述支持向量机对所述隐空间特征进行边界构建,对所述微服务进行异常检测并输出异常检测结果。

21、根据本专利技术所述的方法,所述通过所述图注意力网络提取所述异常时空异构图中的时序特征和空间特征的步骤包括:

22、通过所述图注意力网络的transformer模型,提取所述异常时空异构图中的所述时序特征和所述空间特征。

23、根据本专利技术所述的方法,所述通过所述图注意力网络的transformer模型,提取所述异常时空异构图中的所述时序特征和所述空间特征的步骤进一步包括:

24、将所述节点特征向量和所述中心性位置编码合并后,输入到所述transformer模型中;

25、通过所述transformer模型将所述节点特征向量和所述中心性位置编码进行层归一化;

26、在多头注意力矩阵计算过程中,合并所述边向量编码和所述空间向量编码,计算过程采用公式二:

27、

28、其中为空间向量编码,cij为边向量编码。

29、根据本专利技术所述的方法,所述通过所述支持向量机对所述隐空间特征进行边界构建,对所述微服务进行异常检测并输出异常检测结果的步骤进一步包括:

30、通过深度支持向量机对所述隐空间特征进行边界构建,并进行损失计算确定边界区域来区分异常样本和正常样本,本文档来自技高网...

【技术保护点】

1.一种微服务的异常检测方法,其特征在于,包括:

2.根据权利要求1所述的微服务的异常检测方法,其特征在于,所述观测数据至少包括时序指标数据、日志数据和调用链数据;

3.根据权利要求2所述的微服务的异常检测方法,其特征在于,所述异常时空异构图包括空间向量编码、边向量编码和中心性位置编码;所述空间向量编码使用无权重的最短路径作为每个微服务之间的空间距离度量;所述边向量编码记录除连接关系外的调用链处理信息;所述中心性位置编码记录所有节点的中心性位置特征,每个中心性位置特征记录构造的过程如公式一:

4.根据权利要求2所述的微服务的异常检测方法,其特征在于,所述通过图注意力网络和支持向量机,对所述异常时空异构图进行无监督异常检测的步骤进一步包括:

5.根据权利要求4所述的微服务的异常检测方法,其特征在于,所述通过所述图注意力网络提取所述异常时空异构图中的时序特征和空间特征的步骤包括:

6.根据权利要求5所述的微服务的异常检测方法,其特征在于,所述通过所述图注意力网络的Transformer模型,提取所述异常时空异构图中的所述时序特征和所述空间特征的步骤进一步包括:

7.根据权利要求4所述的微服务的异常检测方法,其特征在于,所述通过所述支持向量机对所述隐空间特征进行边界构建,对所述微服务进行异常检测并输出异常检测结果的步骤进一步包括:

8.一种基于权利要求1~7任一项所述的方法构建的微服务的异常检测系统,其特征在于,所述系统包括:

9.一种存储介质,其特征在于,用于存储一种用于执行权利要求1~7中任一项所述微服务的异常检测方法的计算机程序。

10.一种电子设备,包括存储介质、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1~7中任一项所述微服务的异常检测方法。

...

【技术特征摘要】

1.一种微服务的异常检测方法,其特征在于,包括:

2.根据权利要求1所述的微服务的异常检测方法,其特征在于,所述观测数据至少包括时序指标数据、日志数据和调用链数据;

3.根据权利要求2所述的微服务的异常检测方法,其特征在于,所述异常时空异构图包括空间向量编码、边向量编码和中心性位置编码;所述空间向量编码使用无权重的最短路径作为每个微服务之间的空间距离度量;所述边向量编码记录除连接关系外的调用链处理信息;所述中心性位置编码记录所有节点的中心性位置特征,每个中心性位置特征记录构造的过程如公式一:

4.根据权利要求2所述的微服务的异常检测方法,其特征在于,所述通过图注意力网络和支持向量机,对所述异常时空异构图进行无监督异常检测的步骤进一步包括:

5.根据权利要求4所述的微服务的异常检测方法,其特征在于,所述通过所述图注意力网络提取所述异常时空异构图中的时序特征和空间特征的步骤...

【专利技术属性】
技术研发人员:任锐王阳李振宇关洪涛谢高岗
申请(专利权)人:中国科学院计算技术研究所
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1