基于迁移学习的跨域模型训练与日志异常检测方法及设备技术

本申请提供一种基于迁移学习的跨域模型训练方法，包括以下步骤：A1、对源系统日志消息和目标系统日志消息进行滑动窗口划分处理，得到对应的源系统日志序列和目标系统日志序列；A2、对源系统日志序列与目标系统日志序列进行等量划分处理，得到日志序列对；A3、对源系统日志消息和目标系统日志消息进行解析处理和转换处理，得到日志模板向量；A4、根据日志序列对、日志模板向量以及总损失函数，进行模型训练，得到训练好的LSTM模型和超球面模型。本申请涉及的技术方案，通过采用对比学习的方法，成对比较两个特征之间的相似度，有利于量化特征之间的差异，其能够降低模型训练成本，增强日志异常检测的检测效果。日志异常检测的检测效果。日志异常检测的检测效果。

【技术实现步骤摘要】
基于迁移学习的跨域模型训练与日志异常检测方法及设备


[0001]本申请涉及日志异常检测
，尤其涉及基于迁移学习的跨域模型训练与日志异常检测方法、设备及存储介质。

技术介绍

[0002]系统日志记录了详细的操作信息。一般情况下，故障原因也会被记录在系统中日志。通过对日志的分析和检测，可以为故障定位提供多种维度信息。日志异常检测，可以帮助系统调试和分析根本原因，为系统提供可靠的服务。在生产服务中，一个全新部署的系统，由于系统运行时间短，其收集的日志总数少，无法训练检测模型，出现日志异常检测冷启动问题。迁移学习是一种解决日志异常检测冷启动问题的有效方法。迁移学习是将一个领域(源领域)的知识，迁移到另外一个领域(目标领域)，可以在样本不充足的条件下，大大提升日志异常检测效果。
[0003]然而，不同厂商和型号设备、系统日志的格式、语法和语义存在差异，没有统一标准，日志规范不统一。当软件系统工作服务性质不同时，它们的组件调用、IO输出、故障种类也存在差异。因此，根据源系统与目标系统服务领域的相似度，可以分为同领域跨系统和跨领域两种迁移。同领域跨系统指源系统和目标系统的系统服务对象相似，仅在日志语法、格式不同。跨领域迁移指源系统和目标系统的系统服务对象、运行逻辑不同。例如BGL(Blue Gene/L超级计算机)、HPC(高性能集群)、Thunderbird都属于超级计算机系统；HDFS、Hadoop(WordCount、PageRank)与Spark都为分布式系统；Windows、Linux、Mac都是操作系统。跨系统迁移是相同领域系统间迁移，如Windows
‑
>Linux、BGL
‑
>Thunderbird。跨领域迁移是跨领域系统进行迁移，如Windows
‑
>Hadoop、BGL
‑
>Hadoop。
[0004]现有迁移学习方法都是跨系统迁移，但是在现实环境中，由于数据集缺少，对于跨领域迁移学习的需求更大，然而在源系统、目标系统领域不同时，模型对目标系统异常检测性能较差。
[0005]因此，如何在目标系统小样本条件下，提升日志异常检测的检测效果，成为需要解决的问题。
[0006]在
技术介绍
中公开的上述信息仅用于加强对本申请的背景的理解，因此其可能包含没有形成为本领域普通技术人员所知晓的现有技术的信息。

技术实现思路

[0007]本申请提供一种模型训练及日志异常检测方法、设备及存储介质，用以解决现有技术存在的问题。
[0008]第一方面，本申请提供一种模型训练方法，包括以下步骤：A1、对源系统日志消息和目标系统日志消息进行滑动窗口划分处理，得到对应的源系统日志序列和目标系统日志序列；A2、对所述源系统日志序列与所述目标系统日志序列进行等量划分处理，得到日志序列对，所述日志序列对包括第一子序列集和第二子序列集，所述第一子序列集和所述第二
子序列集均包括多个日志序列；A3、对所述源系统日志消息和所述目标系统日志消息进行解析处理和转换处理，得到日志模板向量；A4、根据所述日志序列对、所述日志模板向量以及总损失函数，进行模型训练，得到训练好的LSTM(Long Short
‑
Term Memory，长短时记忆网络)模型和超球面模型；其中，所述总损失函数包括：超球面损失函数、对齐损失函数和均匀损失函数，所述对齐损失函数用于对齐或拉近同一对日志序列特征的距离，所述均匀损失函数用于使所述日志序列特征均匀分布在超球面上。
[0009]在一些实施例中，所述超球面损失函数Loss
h
为：
[0010][0011]其中，V1表示所述第一子序列集经过所述LSTM模型提取后形成的第一日志序列特征集，V2表示所述第二子序列集经过所述LSTM模型提取后形成的第二日志序列特征集，v
i
表示单个日志序列特征，C表示超球面球心特征；
[0012]所述总损失函数Loss
sum
为：
[0013]Loss
sum
＝α1*Loss
h
+α2*Loss
align
+Loss
uniform
[0014]其中，α1、α2是平衡三个损失函数的超参数，Loss
align
表示对齐损失函数，Loss
uniform
表示均匀损失函数，Loss
h
表示超球面损失函数。
[0015]在一些实施例中，所述对齐损失函数Loss
align
为：
[0016][0017]其中，表示所述第一日志序列特征集中第i个所述日志序列特征，表示所述第二日志序列特征集中第i个所述日志序列特征，N
sub
表示单个日志序列特征集中的日志序列特征总数。
[0018]在一些实施例中，所述均匀损失函数Loss
uniform
为：
[0019][0020]其中，e表示自然对数的底数，表示所述第一日志序列特征集中第i个所述日志序列特征，表示所述第二日志序列特征集中第i个所述日志序列特征，N
sub
表示单个日志序列特征集日志序列特征总数。
[0021]在一些实施例中，所述A2，包括：A21、将所述源系统日志序列和所述目标系统日志序列混合并随机打乱，得到混合日志序列；A22、将所述混合日志序列划分为两个等量的子日志序列集，得到所述日志序列对。
[0022]在一些实施例中，所述模型训练方法还包括：基于所述LSTM模型提取所述日志序列特征，调整并确定决策边界，所述决策边界用于区分正常日志序列特征和异常日志序列特征，得到决策边界距离，所述决策边界距离为所述决策边界至所述超球面模型球心的距离。
[0023]第二方面，本申请提供一种日志异常检测方法，所述日志异常检测方法通过LSTM模型和超球面模型实现，所述LSTM模型和所述超球面模型根据所述模型训练方法训练得到，所述日志异常检测方法包括以下步骤：B1、对待检测的目标系统日志消息进行滑动窗口切分处理，得到目标系统日志序列；B2、将所述目标系统日志序列解析为日志模板，根据所述日志模板，得到日志模板向量；B3、将所述日志模板向量输入训练好的所述LSTM模型，得到日志序列特征集，所述日志序列特征集包括多个日志序列特征；B4、将所述日志序列特征输入训练好的所述超球面模型，得到异常检测结果。
[0024]在一些实施例中，所述B4，包括：B41、计算所述日志序列特征至所述超球面模型球心的第一距离；B42、比较所述第一距离与决策边界距离的大小，得到比较结果；B43、根据所述比较结果，得到异常检测结果。
[0025]第三方面，本申请提供一种终端设备，包括：
[0026]存储器，用于存储计算机程序；
[0027]处理器，用于读取所述存储器中的计算机程序并本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于迁移学习的跨域模型训练方法，其特征在于，应用于日志异常检测，包括以下步骤：A1、对源系统日志消息和目标系统日志消息进行滑动窗口划分处理，得到对应的源系统日志序列和目标系统日志序列；A2、对所述源系统日志序列与所述目标系统日志序列进行等量划分处理，得到日志序列对，所述日志序列对包括第一子序列集和第二子序列集，所述第一子序列集和所述第二子序列集均包括多个日志序列；A3、对所述源系统日志消息和所述目标系统日志消息进行解析处理和转换处理，得到日志模板向量；A4、根据所述日志序列对、所述日志模板向量以及总损失函数，进行模型训练，得到训练好的长短时记忆网络LSTM模型和超球面模型；其中，所述总损失函数包括：超球面损失函数、对齐损失函数和均匀损失函数，所述对齐损失函数用于对齐或拉近同一对日志序列特征的距离，所述均匀损失函数用于使所述日志序列特征均匀分布在超球面上。2.根据权利要求1所述的基于迁移学习的跨域模型训练方法，其特征在于，所述超球面损失函数Loss
h
为：其中，V1表示所述第一子序列集经过所述LSTM模型提取后形成的第一日志序列特征集，V2表示所述第二子序列集经过所述LSTM模型提取后形成的第二日志序列特征集，v
i
表示单个日志序列特征，C表示超球面球心特征；所述总损失函数Loss
sum
为：Loss
sum
＝α1*Loss
h
+α2*Loss
align
+Loss
uniform
其中，α1、α2是平衡三个损失函数的超参数，Loss
align
表示对齐损失函数，Loss
uniform
表示均匀损失函数，Loss
h
表示超球面损失函数。3.根据权利要求2所述的基于迁移学习的跨域模型训练方法，其特征在于，所述对齐损失函数Loss
align
为：其中，表示所述第一日志序列特征集中第i个所述日志序列特征，表示所述第二日志序列特征集中第i个所述日志序列特征，N
sub
表示单个日志序列特征集中的日志序列特征总数。4.根据权利要求2或3所述的基于迁移学习的跨域模型训练方法，其特征在于，所述均匀损失函数Loss
uniform
为：
其中，e表示自然对数的底数，表示所...

【专利技术属性】
技术研发人员：何施茗，陈博文，肖锦攀，李文军，胡朋，胡晋彬，
申请(专利权)人：长沙理工大学，
类型：发明
国别省市：