【技术实现步骤摘要】
本专利技术涉及数据处理，更具体的，涉及一种日志分析方法及相关装置。
技术介绍
1、系统日志中记录了系统的运行状态和用户的行为，包含了大量重要且有价值的信息。通过日志分析可以监测、诊断、维护和改进计算机系统、应用程序以及网络的性能。
2、随着大规模互联网系统的快速发展，日志数据的数量大规模增长，传统方法难以满足大规模日志数据的分析需求。
技术实现思路
1、有鉴于此，本专利技术提供了一种日志分析方法及相关装置，利用自然语言处理技术，有效提高了日志分析的效率和准确性。
2、为了实现上述专利技术目的，本专利技术提供的具体技术方案如下：
3、第一方面，本专利技术实施例提供了一种日志分析方法，包括：
4、利用spell方法将原始系统日志解析为日志模板；
5、提取所述日志模板中的主题词序列；
6、使用离散表示方法提取所述主题词序列的第一语义特征；
7、使用静态词嵌入方法提取所述主题词序列的第二语义特征；
8、使用动态词嵌入方法提取所述主题词序列的第三语义特征；
9、对所述第一语义特征、所述第二语义特征和所述第三语义特征进行融合，得到融合特征向量；
10、将所述融合特征向量输入预先构建的日志类型预测模型，得到所述日志类型预测模型输入的日志类型，所述日志类型预测模型包括卷积神经网络层、双向长短期记忆神经网络层和注意力层。
11、在一些实施例中，所述利用spell方法将原
12、将原始系统日志进行正则表达式解析，将所述原始系统日志从非结构化表示转换为结构化表示；
13、使用spell方法提取结构化表示的所述原始系统日志中的日志模板。
14、在一些实施例中，所述提取所述日志模板中的主题词序列，包括：
15、将所述日志模板进行分词处理，得到分词结果；
16、剔除所述分词结果中的标点符号和无意义词，得到多个第一单词；
17、将多个第一单词中的大写字母转换为小写字母，并将多个第一单词中的组合动词项拆分为多个单词，得到多个第二单词；
18、从多个第二单词中提取主题词，将主题词按照原词序进行排序，得到所述主题词序列。
19、在一些实施例中，所述使用离散表示方法提取所述主题词序列的第一语义特征，包括：
20、计算所述主题词序列中每个主题词的tf-idf特征值，得到每个主题词的tf-idf特征值组成所述第一语义特征。
21、在一些实施例中，所述使用静态词嵌入方法提取所述主题词序列的第二语义特征，包括：
22、将所述主题词序列中的主题词输入skip-gram模型，得到所述skip-gram模型输出的所述第二语义特征。
23、在一些实施例中，所述使用动态词嵌入方法提取所述主题词序列的第三语义特征，包括：
24、将所述主题词序列中的主题词输入elmo模型，得到所述elmo模型输出的所述第三语义特征。
25、在一些实施例中，将所述融合特征向量输入预先构建的日志类型预测模型，得到所述日志类型预测模型输入的日志类型，包括：
26、将所述融合特征向量输入所述日志类型预测模型中的卷积神经网络层，得到卷积神经网络层输出的特征向量；
27、将所述特征向量输入所述日志类型预测模型中的双向长短期记忆神经网络层，得到双向长短期记忆神经网络层输出的隐藏状态；
28、将所述隐藏状态输入所述日志类型预测模型中的注意力层，得到注意力层输出的日志类型。
29、第二方面，本专利技术实施例提供了一种日志分析装置，包括：
30、日志解析单元，用于利用spell方法将原始系统日志解析为日志模板；
31、语义提取单元，用于提取所述日志模板中的主题词序列；
32、第一特征提取单元，用于使用离散表示方法提取所述主题词序列的第一语义特征；
33、第二特征提取单元，用于使用静态词嵌入方法提取所述主题词序列的第二语义特征；
34、第三特征提取单元，用于使用动态词嵌入方法提取所述主题词序列的第三语义特征；
35、特征融合单元，用于对所述第一语义特征、所述第二语义特征和所述第三语义特征进行融合，得到融合特征向量；
36、模型预测单元，用于将所述融合特征向量输入预先构建的日志类型预测模型，得到所述日志类型预测模型输入的日志类型，所述日志类型预测模型包括卷积神经网络层、双向长短期记忆神经网络层和注意力层。
37、第三方面，本专利技术实施例提供了一种电子设备，所述电子设备包括处理器以及存储器；
38、所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
39、所述处理器用于根据所述程序代码中的指令执行如第一方面中任意一种实现方式描述的一种日志分析方法。
40、第四方面，本专利技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面中任意一种实现方式描述的一种日志分析方法。
41、相对于现有技术，本专利技术的有益效果如下：
42、本专利技术公开的一种日志分析方法及相关装置，利用spell方法将原始系统日志解析为日志模板，提高日志解析效率，在提取日志模板中的主题词序列之后，分别使用离散表示方法、静态词嵌入方法、动态词嵌入方法提取主题词序列的语义特征，并对上述三种方法提取的语义特征进行融合得到融合特征向量，输入到预先构建的包括卷积神经网络层、双向长短期记忆神经网络层和注意力层的日志类型预测模型中，使日志类型预测模型更全面、准确的理解日志模板，提高日志类型预测的准确性。本专利技术通过利用自然语言处理技术，实现智能、高效、自动化的日志分析，有效提高了日志分析的效率和准确性。
本文档来自技高网...【技术保护点】
1.一种日志分析方法，其特征在于，包括：
2.根据权利要求1所述的日志分析方法，其特征在于，所述利用Spell方法将原始系统日志解析为日志模板，包括：
3.根据权利要求1所述的日志分析方法，其特征在于，所述提取所述日志模板中的主题词序列，包括：
4.根据权利要求1所述的日志分析方法，其特征在于，所述使用离散表示方法提取所述主题词序列的第一语义特征，包括：
5.根据权利要求1所述的日志分析方法，其特征在于，所述使用静态词嵌入方法提取所述主题词序列的第二语义特征，包括：
6.根据权利要求1所述的日志分析方法，其特征在于，所述使用动态词嵌入方法提取所述主题词序列的第三语义特征，包括：
7.根据权利要求1所述的日志分析方法，其特征在于，将所述融合特征向量输入预先构建的日志类型预测模型，得到所述日志类型预测模型输入的日志类型，包括：
8.一种日志分析装置，其特征在于，包括：
9.一种电子设备，其特征在于，所述电子设备包括处理器以及存储器；
10.一种计算机可读存储介质，其特征在于，所
...【技术特征摘要】
1.一种日志分析方法，其特征在于，包括：
2.根据权利要求1所述的日志分析方法，其特征在于，所述利用spell方法将原始系统日志解析为日志模板，包括：
3.根据权利要求1所述的日志分析方法，其特征在于，所述提取所述日志模板中的主题词序列，包括：
4.根据权利要求1所述的日志分析方法，其特征在于，所述使用离散表示方法提取所述主题词序列的第一语义特征，包括：
5.根据权利要求1所述的日志分析方法，其特征在于，所述使用静态词嵌入方法提取所述主题词序列的第二语义特征，包括：
6.根据权利要求1所述的日...
【专利技术属性】
技术研发人员：王雅文，
申请(专利权)人：中国农业银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。