系统异常检测方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及人工智能，提供一种系统异常检测方法、装置、设备及存储介质。所述方法包括：将待检测系统的标记日志、无标记日志及扩充日志分别输入训练模型集中三个相同的训练模型中进行训练，输出三者的各异常等级的概率分布；然后计算训练模型输出的交叉熵损失、一致性损失；再根据一致性损失预测无标记日志与扩充日志的异常等级，以及根据交叉熵损失对训练模型集进行迭代，直到训练模型集收敛，得到日志异常检测模型；最后通过日志异常检测模型对系统运行中的异常日志进行检测。此外，本发明专利技术还涉及区块链技术，其标记日志、无标记日志及扩充日志可存储于区块链中。通过优化模型训练方式，防止模型过拟合，降低检测模型对系统中异常点的检测难度。

【技术实现步骤摘要】
系统异常检测方法、装置、设备及存储介质
本专利技术涉及人工智能决策，尤其涉及一种系统异常检测方法、装置、设备及存储介质。
技术介绍
随着系统规模的变大、复杂度的提高、监控覆盖的完善，监控数据量越来越大，运维人员无法从海量监控数据中发现质量问题。智能化的异常检测就是要通过AI算法，自动、实时、准确地从监控数据中发现异常，为后续的诊断、自愈提供基础。异常检测是AIOps(AlgorithmicITOperations，智能运营)系统中的一项非常基础但是十分重要的功能，主要是通过算法和模型去自动的挖掘发现KPI时间序列数据中的异常行为，为后续的报警，自动止损，根因分析等提供必要的决策依据。但是在实际的应用场景下，由于正常数据一般占总数据量的很大比例，而异常点的数据十分稀少，给异常检测带来了极大的困难。在检测模型的训练阶段，为了保证模型训练样本的正负均衡，传统的解决思路主要是：在模型检测的过程中对正常样本欠采样(丢弃一部分数据)和异常样本过采样(重复一部分数据)，前者会丢失大量样本信息，造成模型过拟合，泛化能力不佳；对于后者，简单的随机抽样，也会使模型产生过拟合风险。故无论是本身异常点的数据量稀少，还是用于异常点的数据检测模型的准确构建难度大，都使得智能运营系统中的数据检测难度增加。
技术实现思路
本专利技术的主要目的在于解决智能运营系统的异常检测难度大的问题。本专利技术第一方面提供了一种系统异常检测方法，包括：获取待检测系统的标记日志、无标记日志，并对所述无标记日志进行扩充，得到扩充日志；将所述标记日志、所述无标记日志、所述扩充日志分别输入三个相同的异常等级训练模型中进行训练，对应输出所述标记日志的各异常等级的第一概率分布、所述无标记日志的各异常等级的第二概率分布、所述扩充日志的各异常等级的第三概率分布，其中，所述三个相同的异常等级训练模型组成异常等级训练模型集；计算第一概率分布与所述标记日志的预设异常等级标记对应的交叉熵损失，以及计算所述第二概率分布与所述第三概率分布之间的一致性损失；根据所述一致性损失预测所述无标记日志与所述扩充日志的异常等级标记，以及根据所述交叉熵损失对所述异常等级训练模型集进行迭代，直到所述异常等级训练模型集收敛，得到日志异常检测模型；获取待检测系统的待检测日志，并将所述待检测日志输入所述日志异常检测模型进行检测，输出所述待检测日志对应的异常等级，并将待检测日志对应的异常等级作为当前系统运行状态的分析结果。可选的，在本专利技术第一方面的第一种实现方式中，所述对所述无标记日志进行扩充，得到扩充日志包括：解析所述无标记日志，得到多个带有不同语义的日志字段；根据预置语义结构先验知识和所述日志字段的出现频率，从所述日志字段中筛选与异常等级相关的关键字段；获取所述关键字段对应的一个或多个同义字段，并以所述同义字段替换对应的关键字段；根据随机字段处理策略，对所述同义字段与除所述关键字段外的其他日志字段进行拼接，得到多个对应的扩充日志，其中，所述随机字段处理策略包括对所述其他日志字段进行替换、删除、插入或交换。可选的，在本专利技术第一方面的第二种实现方式中，所述将所述标记日志、所述无标记日志、所述扩充日志分别输入三个相同的异常等级训练模型中进行训练，对应输出所述标记日志的各异常等级的第一概率分布、所述无标记日志的各异常等级的第二概率分布、所述扩充日志的各异常等级的第三概率分布包括：将所述标记日志、所述无标记日志、所述扩充日志中的各日志数据的长度统一调整为预设长度，并构建对应的数据向量；根据所述数据向量的长度，确定所述数据向量的特征维度，并根据所述特征维度对所述数据向量进行语义特征提取，得到初始语义特征；对所述初始语义特征进行突出特征的筛选及组合，得到最终语义特征，并根据所述最终语义特征计算所述标记日志、所述无标记日志与所述扩充日志的异常等级的概率分布并输出。可选的，在本专利技术第一方面的第三种实现方式中，所述计算第一概率分布与所述标记日志的预设异常等级标记对应的交叉熵损失包括：根据第一概率分布与所述标记日志的预设异常等级标记，计算各标记日志的异常等级的正确预测概率；根据预置模型训练参数与所述正确预测概率，计算所述第一概率分布的交叉熵损失，以用于衡量分类模型对所述标记日志的异常等级预测与所述标记日志的真实异常等级之间的差异。可选的，在本专利技术第一方面的第四种实现方式中，所述根据所述交叉熵损失对所述异常等级训练模型集进行迭代，直到所述异常等级训练模型集收敛，得到日志异常检测模型包括：根据所述交叉熵损失确定各标记日志对应的正确预测概率；判断是否存在大于预设概率阈值的正确预测概率；若是，则删除大于所述概率阈值的正确预测概率对应的第一概率分布，并继续对所述日志异常检测模型进行迭代，否则直接对所述日志异常检测模型进行迭代，并在所述日志异常检测模型迭代后更新所述模型训练参数；计算所述交叉熵损失与所述一致性损失的和，得到对应的最终损失值，并判断所述最终损失值是否小于预设的最终损失阈值；若所述最终损失值小于所述最终损失阈值，则所述异常等级训练模型集收敛并停止迭代，得到日志异常检测模型。可选的，在本专利技术第一方面的第五种实现方式中，所述正确预测概率的计算公式为：且其中，所述ηt为概率阈值，所述at为增长系数，所述K为异常等级类别个数，所述t为当前迭代次数，所述T为预设的总迭代次数；当所述标记日志中的数据量小于预设正常数据量范围时，当所述标记日志中的数据量大于所述正常数据量范围时，所述可选的，在本专利技术第一方面的第六种实现方式中，所述获取待检测系统的待检测日志，并将所述待检测日志输入所述日志异常检测模型进行检测，输出所述待检测日志对应的异常等级，并将待检测日志对应的异常等级作为当前系统运行状态的分析结果包括：获取待检测系统的待检测日志，其中所述待检测日志中包含多条日志信息，所述日志信息包含系统运行管理优先级的标识信息；将所述待检测日志输入所述日志异常检测模型进行检测，并通过所述日志异常检测模型预测所述待检测日志的异常等级；筛选异常等级高于预设异常等级阈值的待检测日志，并根据所述标识信息，从筛选的待检测日志中确定优先级大于预设优先级阈值的日志信息；将所述优先级大于预设优先级阈值的日志信息进行高亮显示，并将所述高亮显示的日志信息与除高亮显示的日志信息外的其他日志信息对应的异常等级作为当前系统运行状态的分析结果。本专利技术第二方面提供了一种系统异常检测装置，包括：获取模块，用于获取待检测系统的标记日志、无标记日志，并对所述无标记日志进行扩充，得到扩充日志；训练模块，用于将所述标记日志、所述无标记日志、所述扩充日志分别输入三个相同的异常等级训练模型中进行训练，对应输出所述标记日志的各异常等级的第一概率分布、所述无标记日志的各异常等级的第二概率分布、所述扩充日志的各异常等级的第三概率分布，其中，所述本文档来自技高网...

【技术保护点】
1.一种系统异常检测方法，其特征在于，所述系统异常检测方法包括：/n获取待检测系统的标记日志、无标记日志，并对所述无标记日志进行扩充，得到扩充日志；/n将所述标记日志、所述无标记日志、所述扩充日志分别输入三个相同的异常等级训练模型中进行训练，对应输出所述标记日志的各异常等级的第一概率分布、所述无标记日志的各异常等级的第二概率分布、所述扩充日志的各异常等级的第三概率分布，其中，所述三个相同的异常等级训练模型组成异常等级训练模型集；/n计算所述第一概率分布与所述标记日志的预设异常等级之间的交叉熵损失，以及计算所述第二概率分布与所述第三概率分布之间的一致性损失；/n根据所述一致性损失预测所述无标记日志与所述扩充日志的异常等级，以及根据所述交叉熵损失对所述异常等级训练模型集进行迭代，直到所述异常等级训练模型集收敛，得到日志异常检测模型；/n获取当前系统的待检测日志，并将所述待检测日志输入所述日志异常检测模型进行检测，输出所述待检测日志对应的异常等级，并将待检测日志对应的异常等级作为当前系统运行状态的分析结果。/n

【技术特征摘要】
1.一种系统异常检测方法，其特征在于，所述系统异常检测方法包括：
获取待检测系统的标记日志、无标记日志，并对所述无标记日志进行扩充，得到扩充日志；
将所述标记日志、所述无标记日志、所述扩充日志分别输入三个相同的异常等级训练模型中进行训练，对应输出所述标记日志的各异常等级的第一概率分布、所述无标记日志的各异常等级的第二概率分布、所述扩充日志的各异常等级的第三概率分布，其中，所述三个相同的异常等级训练模型组成异常等级训练模型集；
计算所述第一概率分布与所述标记日志的预设异常等级之间的交叉熵损失，以及计算所述第二概率分布与所述第三概率分布之间的一致性损失；
根据所述一致性损失预测所述无标记日志与所述扩充日志的异常等级，以及根据所述交叉熵损失对所述异常等级训练模型集进行迭代，直到所述异常等级训练模型集收敛，得到日志异常检测模型；
获取当前系统的待检测日志，并将所述待检测日志输入所述日志异常检测模型进行检测，输出所述待检测日志对应的异常等级，并将待检测日志对应的异常等级作为当前系统运行状态的分析结果。


2.根据权利要求1所述的系统异常检测方法，其特征在于，所述对所述无标记日志进行扩充，得到扩充日志包括：
解析所述无标记日志，得到多个带有不同语义的日志字段；
根据预置语义结构先验知识和所述日志字段的出现频率，从所述日志字段中筛选与异常等级相关的关键字段；
获取所述关键字段对应的一个或多个同义字段，并以所述同义字段替换对应的关键字段；
根据随机字段处理策略，对所述同义字段与除所述关键字段外的其他日志字段进行拼接，得到多个对应的扩充日志，其中，所述随机字段处理策略包括对所述其他日志字段进行替换、删除、插入或交换。


3.根据权利要求1所述的系统异常检测方法，其特征在于，所述将所述标记日志、所述无标记日志、所述扩充日志分别输入三个相同的异常等级训练模型中进行训练，对应输出所述标记日志的各异常等级的第一概率分布、所述无标记日志的各异常等级的第二概率分布、所述扩充日志的各异常等级的第三概率分布包括：
将所述标记日志、所述无标记日志、所述扩充日志中的各日志数据的长度统一调整为预设长度，并构建对应的数据向量；
根据所述数据向量的长度，确定所述数据向量的特征维度，并根据所述特征维度对所述数据向量进行语义特征提取，得到初始语义特征；
对所述初始语义特征进行突出特征的筛选及组合，得到最终语义特征，并根据所述最终语义特征计算所述标记日志、所述无标记日志与所述扩充日志的异常等级的概率分布并输出。


4.根据权利要求1-3任一项所述的系统异常检测方法，其特征在于，所述计算所述第一概率分布与所述标记日志的预设异常等级之间的交叉熵损失包括：
根据所述第一概率分布与所述标记日志的预设异常等级标记，计算各标记日志的异常等级的正确预测概率；
根据预置模型训练参数与所述正确预测概率，计算所述第一概率分布的交叉熵损失，以用于衡量分类模型对所述标记日志的异常等级预测与所述标记日志的真实异常等级之间的差异。


5.根据权利要求4所述的系统异常检测方法，其特征在于，所述根据所述交叉熵损失对所述异常等级训练模型集进行迭代，直到所述异常等级训练模型集收敛，得到日志异常检测模型包括：
根据所述交叉熵损失确定各标记日志对应的正确预测概率，并判断是否存在大于预设概率阈值的正确预测概率；
若是，则删除大于所述概率阈值的正确预测概率对应的第一概率分布，并继续对所述日志异常...

【专利技术属性】
技术研发人员：邓悦，郑立颖，徐亮，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44