一种异常日志的分类方法、装置、终端设备及存储介质制造方法及图纸

本申请提供一种异常日志的分类方法，包括以下步骤：S1、对待检测的日志消息进行预处理，得到单词标记内容；S2、将所述单词标记内容进行特征提取处理，得到第一语义特征向量；S3、将所述第一语义特征向量输入训练好的超球面模型，得到日志检测结果，所述日志检测结果包括：所述日志消息为正常日志或异常日志；S4、根据所述第一语义特征向量，通过K

【技术实现步骤摘要】
一种异常日志的分类方法、装置、终端设备及存储介质


[0001]本申请涉及异常日志分类
，尤其涉及一种异常日志的分类方法、装置、终端设备及存储介质。

技术介绍

[0002]随着互联网的快速发展，web服务已经和社会的各行各业进行了融合，网络和服务的稳定性变得越来越重要，由于网络和服务异常会严重影响用户体验和公司收入，而系统日志记录了系统的各种信息，信息丰富的日志消息通常表现出不同的异常，准确、及时地识别日志消息异常并对异常日志进行分类变得尤为重要。
[0003]目前，现有LOGSY、CL2MLOG方法一般对解析后的日志消息只进行异常检测，并没有对异常日志进行详细分类。
[0004]因此，如何准确、及时地识别日志消息异常并对异常日志进行分类，成为需要解决的问题。
[0005]在
技术介绍
中公开的上述信息仅用于加强对本申请的背景的理解，因此其可能包含没有形成为本领域普通技术人员所知晓的现有技术的信息。

技术实现思路

[0006]本申请提供一种异常日志的分类方法、装置、终端设备及存储介质，用以解决现有技术存在的问题。
[0007]第一方面，本申请提供一种异常日志的分类方法，包括以下步骤：S1、对待检测的日志消息进行预处理，得到单词标记内容；S2、将所述单词标记内容进行特征提取处理，得到第一语义特征向量；S3、将所述第一语义特征向量输入训练好的超球面模型，得到日志检测结果，所述日志检测结果包括：所述日志消息为正常日志或异常日志；S4、根据所述第一语义特征向量，通过K
‑
MEANS算法对所述异常日志进行聚类处理，得到不同异常类型的所述异常日志的聚类结果。
[0008]在一些实施例中，所述S2，包括：
[0009]S201、对所述单词标记内容进行子词划分处理，得到单词标记序列；
[0010]S202、在所述单词标记序列中设置日志消息起始标记，得到第一标记序列；
[0011]S203、将所述第一标记序列输入训练好的BERT模型，得到词嵌入向量；
[0012]S204、将所述词嵌入向量输入平均池化层，得到平均特征向量；
[0013]S205、将所述平均特征向量输入全连接层，得到第一语义特征向量。
[0014]在一些实施例中，所述平均特征向量表示为：
[0015]Z
i
＝mean
‑
pooling([V
cls
,V
tok1
,V
tok2
,
…
,V
tokN
])
[0016]其中，Z
i
为第i个句子的所述平均特征向量，MEAN
‑
POOLING为平均池化，V
cls
,V
tok1
,V
tok2
,
…
,V
tokN
为所述词嵌入向量。
[0017]在一些实施例中，所述第一语义特征向量表示为：
[0018]I
i
＝H(Z
i
)＝Σ(W
h
Z
i
+B
h
)
[0019]其中，I
i
为第i个所述日志消息的所述第一语义特征向量，H为所述全连接层，Σ为TanH激活函数，W
h
为权重矩阵，Z
i
为第i个句子的所述平均特征向量，B
h
为对应偏置项。
[0020]在一些实施例中，所述S1，包括：
[0021]S101、将所述日志消息中的大写字母转换为小写字母，得到第一日志消息内容；
[0022]S102、通过分隔符拆分所述第一日志消息内容，得到符号标记内容；
[0023]S103、删除所述符号标记内容中的非字符标记内容和参数内容，得到所述第一日志消息内容的单词标记内容。
[0024]在一些实施例中，所述BERT模型的训练方法，包括以下步骤：
[0025]S11、利用初始化的BERT模型，获取多个原始日志消息的第二语义特征向量；
[0026]S12、通过初始化的超球面模型，计算所述第二语义特征向量的均值，得到超球面中心；
[0027]S13、根据均方误差获取并减小所述第二语义特征向量的均值与所述超球面中心的差异，得到训练好的BERT模型。
[0028]在一些实施例中，所述均方误差表示为：
[0029][0030]其中，Loss
dist
为所述均方误差，n为所述第二语义特征向量的总数量，I
i
为第i个所述第二语义特征向量，R
r
为所述超球面中心。
[0031]第二方面，本申请提供一种异常日志的分类装置，所述装置包括：
[0032]预处理模块，用于对待检测的日志消息进行预处理，得到单词标记内容；
[0033]特征提取模块，用于将所述单词标记内容进行特征提取处理，得到第一语义特征向量；
[0034]检测模块，用于将所述第一语义特征向量输入训练好的超球面模型，得到日志检测结果，所述日志检测结果包括：所述日志消息为正常日志或异常日志；
[0035]分类模块，用于根据所述第一语义特征向量，通过K
‑
MEANS算法对所述异常日志进行聚类处理，得到不同异常类型的所述异常日志的聚类结果。
[0036]第三方面，本申请提供一种终端设备，包括：
[0037]存储器，用于存储计算机程序；
[0038]处理器，用于读取所述存储器中的计算机程序并执行所述异常日志的分类方法对应的操作。
[0039]第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现所述异常日志的分类方法。
[0040]本申请提供的异常日志的分类方法，包括以下步骤：S1、对待检测的日志消息进行预处理，得到单词标记内容；S2、将所述单词标记内容进行特征提取处理，得到第一语义特征向量；S3、将所述第一语义特征向量输入训练好的超球面模型，得到日志检测结果，所述日志检测结果包括：所述日志消息为正常日志或异常日志；S4、根据所述第一语义特征向量，通过K
‑
MEANS算法对所述异常日志进行聚类处理，得到不同异常类型的所述异常日志的
聚类结果。本申请的异常日志的分类方法，通过对日志消息进行预处理、特征提取处理，得到相应的第一语义特征向量，将第一语义特征向量输入基于训练好的超球面模型，获得日志检测结果，并根据第一语义特征向量，通过K
‑
MEANS算法对异常日志进行聚类处理，将不同异常类型的异常日志进行分类，得到聚类结果，通过上述方法，能够充分利用日志的异常信息，准确、及时地对异常日志进行无监督分类分析，提高对异常日志分类的准确性。
附图说明...

【技术保护点】

【技术特征摘要】
1.一种异常日志的分类方法，其特征在于，包括以下步骤：S1、对待检测的日志消息进行预处理，得到单词标记内容；S2、将所述单词标记内容进行特征提取处理，得到第一语义特征向量；S3、将所述第一语义特征向量输入训练好的超球面模型，得到日志检测结果，所述日志检测结果包括：所述日志消息为正常日志或异常日志；S4、根据所述第一语义特征向量，通过K
‑
MEANS算法对所述异常日志进行聚类处理，得到不同异常类型的所述异常日志的聚类结果。2.根据权利要求1所述的方法，其特征在于，所述S2，包括：S201、对所述单词标记内容进行子词划分处理，得到单词标记序列；S202、在所述单词标记序列中设置日志消息起始标记，得到第一标记序列；S203、将所述第一标记序列输入训练好的BERT模型，得到词嵌入向量；S204、将所述词嵌入向量输入平均池化层，得到平均特征向量；S205、将所述平均特征向量输入全连接层，得到第一语义特征向量。3.根据权利要求2所述的方法，其特征在于，所述平均特征向量表示为：Z
i
＝MEAN
‑
POOLING([V
cls
,V
tok1
,V
tok2
,
…
,V
tokN
])其中，Z
i
为第i个句子的所述平均特征向量，MEAN
‑
POOLING为平均池化，V
cls
,V
tok1
,V
tok2
,
…
,V
tokN
为所述词嵌入向量。4.根据权利要求2所述的方法，其特征在于，所述第一语义特征向量表示为：I
i
＝H(Z
i
)＝Σ(W
h
Z
i
+B
h
)其中，I
i
为第i个所述日志消息的所述第一语义特征向量，H为所述全连接层，Σ为TanH激活函数，W
h
为权重矩阵，Z
i<...

【专利技术属性】
技术研发人员：何施茗，肖锦攀，李文军，汤强，徐超，
申请(专利权)人：长沙理工大学，
类型：发明
国别省市：