【技术实现步骤摘要】
本申请涉及人工智能领域，具体而言，涉及一种异常日志的检测方法、装置及电子设备。
技术介绍
1、在夜间时段进行诸如设备割接等风险操作时，容易产生异常，并反映在设备实时产生的日志序列上。为了设备的安全性考虑，需要尽快发现设备日志中的异常，并及时做出修复措施。而由于风险时段产生的日志往往是海量的，靠人工方式甄别日常并不具备可行性，所以需要研究自动化算法识别日常日志。
2、传统的日志异常检测算法基于关键字匹配技术，即算法预先设定一些可疑的关键字，将包含此类关键字的日志视为异常，但是这种基于关键字的日志异常检测技术对风险操作日志的识别能力较差。
3、针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
1、本申请实施例提供了一种异常日志的检测方法、装置及电子设备，以至少解决相关技术中基于关键字的日志异常检测技术对风险操作日志的识别能力较差的技术问题。
2、根据本申请实施例的一个方面，提供了一种异常日志的检测方法，包括：获取待检测日志文件；采用异常日志识别模型预测待检测日志文件中的目标日志所属的目标预测日志模板，其中，目标日志为待检测日志文件中的任意一条日志，异常日志识别模型用于根据目标日志的上下文预测目标日志所属的日志模板的概率；依据目标日志在训练集中的出现频率确定目标日志在训练集中的第一位置，以及确定目标预测日志模板在预测日志模板集合的第二位置，其中，训练集为训练异常日志识别模型的日志集合，预测日志模板集合为通过异常日志识别模型确定的待检测日志文件
3、可选地，获取待检测日志文件之后，方法还包括：识别待检测日志文件中每条日志中的可变参数；依据日志模板集将可变参数转换成通配符，得到待检测日志文件对应的模板日志文件；将模板日志文件按照时间序列排序，得到待检测日志序列。
4、可选地，得到待检测日志文件对应的模板日志文件之后，方法还包括：确定模板日志文件中的每个模板日志包含的字符串；将字符串转换成树结构，其中，树结构的根节点为字符串的第一个字符；将树结构存储在数据库中。
5、可选地，得到待检测日志文件对应的模板日志文件之后，方法还包括：从模板日志文件中获取第一模板日志和第二模板日志，其中，第一模板日志和第二模板日志为模板日志文件中的任意两个模板日志；确定第一模板日志和第二模板日志之间的相似度；在相似度大于相似度阈值的情况下，确定第一模板日志和第二模板日志为同一类模板；合并第一模板日志和第二模板日志，得到更新后的模板日志文件。
6、可选地，确定第一模板日志和第二模板日志之间的相似度，包括：获取第一模板日志中的第一字符串和第二模板日志中的第二字符串；同时从第一字符串和第二字符串的第一个字符开始依次比较，确定从第一位置开始至第二位置结束时第一字符串中的字符与第二字符串中的字符完全相同的子串，其中，第一位置为第一个字符在第一字符串或第二字符串中的位置，第二位置为第一字符串和第二字符串中长度最短的字符串中最后一个字符在字符串中的位置；确定每个子串的子串长度，并确定子串长度最长的子串为目标子串；依据目标子串确定第一模板日志和第二模板日志之间的相似度。
7、可选地，采用异常日志识别模型预测待检测日志文件中的目标日志所属的目标预测日志模板，包括：将待检测日志文件按照时间序列排序，得到待检测日志序列；将待检测日志序列输入异常日志识别模型中的嵌入层，得到与待检测日志序列对应的第一向量；从第一向量中遮蔽目标日志对应的目标向量，得到第二向量；将第二向量输入异常日志识别模型中的编码器，得到输出向量，其中，编码器为依据目标日志所在的历史日志文件中的上下文信息训练得到，输出向量用于表示目标日志属于不同日志模板的概率；将输出向量中的最大值所对应的日志模板确定为目标预测日志模板。
8、可选地，依据第一位置和第二位置确定目标日志是否存在异常，包括：确定第二位置和第一位置的差值；在差值大于预设阈值的情况下，确定目标日志为异常日志；在差值小于或等于预设阈值的情况下，确定目标日志为正常日志。
9、根据本申请实施例的另一方面，还提供了一种异常日志的检测装置，包括：获取模块，用于获取待检测日志文件；预测模块，用于采用异常日志识别模型预测待检测日志文件中的目标日志所属的目标预测日志模板，其中，目标日志为待检测日志文件中的任意一条日志，异常日志识别模型用于根据目标日志的上下文预测目标日志所属的日志模板的概率；第一确定模块，用于依据目标日志在训练集中的出现频率确定目标日志在训练集中的第一位置，以及确定目标预测日志模板在预测日志模板集合的第二位置，其中，训练集为训练异常日志识别模型的日志集合，预测日志模板集合为通过异常日志识别模型确定的待检测日志文件中的所有日志对应的预测日志模板的集合；第二确定模块，用于依据第一位置和第二位置确定目标日志是否存在异常。
10、根据本申请实施例的又一方面，还提供了一种电子设备，包括：存储器，用于存储程序指令；处理器，与存储器连接，用于执行实现以下功能的程序指令：获取待检测日志文件；采用异常日志识别模型预测待检测日志文件中的目标日志所属的目标预测日志模板，其中，目标日志为待检测日志文件中的任意一条日志，异常日志识别模型用于根据目标日志的上下文预测目标日志所属的日志模板的概率；依据目标日志在训练集中的出现频率确定目标日志在训练集中的第一位置，以及确定目标预测日志模板在预测日志模板集合的第二位置，其中，训练集为训练异常日志识别模型的日志集合，预测日志模板集合为通过异常日志识别模型确定的待检测日志文件中的所有日志对应的预测日志模板的集合；依据第一位置和第二位置确定目标日志是否存在异常。
11、根据本申请实施例的再一方面，还提供了一种非易失性存储介质，该非易失性存储介质包括存储的计算机程序，其中，该非易失性存储介质所在设备通过运行计算机程序执行上述异常日志的检测方法。
12、根据本申请实施例的再一方面，还提供了一种计算机程序产品，包括计算机指令，该计算机指令被处理器执行时实现上述异常日志的检测方法。
13、在本申请实施例中，通过获取待检测日志文件；采用异常日志识别模型预测待检测日志文件中的目标日志所属的目标预测日志模板，其中，目标日志为待检测日志文件中的任意一条日志，异常日志识别模型用于根据目标日志的上下文预测目标日志所属的日志模板的概率；依据目标日志在训练集中的出现频率确定目标日志在训练集中的第一位置，以及确定目标预测日志模板在预测日志模板集合的第二位置，其中，训练集为训练异常日志识别模型的日志集合，预测日志模板集合为通过异常日志识别模型确定的待检测日志文件中的所有日志对应的预测日志模板的集合；依据第一位置和第二位置确定目标日志是否存在异常，达到了自动化识别异常日志的目的，从而实现了提高日志分析效率和准确性的技术效果，进而解决了相关技术中基于关键字的日志异常检测技术对风险操作日志的识别能力较差的技术本文档来自技高网...
【技术保护点】
1.一种异常日志的检测方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，获取待检测日志文件之后，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，得到所述待检测日志文件对应的模板日志文件之后，所述方法还包括：
4.根据权利要求2所述的方法，其特征在于，得到所述待检测日志文件对应的模板日志文件之后，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，确定所述第一模板日志和所述第二模板日志之间的相似度，包括：
6.根据权利要求1所述的方法，其特征在于，采用异常日志识别模型预测所述待检测日志文件中的目标日志所属的目标预测日志模板，包括：
7.根据权利要求1所述的方法，其特征在于，依据所述第一位置和第二位置确定所述目标日志是否存在异常，包括：
8.一种异常日志的检测装置，其特征在于，包括：
9.一种电子设备，其特征在于，包括：
10.一种非易失性存储介质，其特征在于，所述非易失性存储介质包括存储的计算机程序，其中，所述非易失性存储介质所在设备通过
11.一种计算机程序产品，包括计算机指令，其特征在于，所述计算机指令被处理器执行时实现权利要求1至7中任意一项所述的异常日志的检测方法。
...【技术特征摘要】
1.一种异常日志的检测方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，获取待检测日志文件之后，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，得到所述待检测日志文件对应的模板日志文件之后，所述方法还包括：
4.根据权利要求2所述的方法，其特征在于，得到所述待检测日志文件对应的模板日志文件之后，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，确定所述第一模板日志和所述第二模板日志之间的相似度，包括：
6.根据权利要求1所述的方法，其特征在于，采用异常日志识别模型预测所述待检测日志文件中的目标日志所属的...
【专利技术属性】
技术研发人员：周哲，张正，裴李娜，张舒，谢李沁，赖云龙，沈宇，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。