模型训练方法、信息确定方法、装置、设备和存储介质制造方法及图纸

本申请实施例公开了一种模型训练方法，该方法包括：获取针对样本集群的待训练日志数据；对待训练日志数据进行处理，得到日志模板和日志模板的模板标签；其中，日志模板表征多个待训练日志数据共有的数据特征，模板标签表征日志模板对应的待训练日志数据是否异常以及日志模板对应的待训练日志数据共有的属性；对日志模板进行处理，得到日志模板对应的日志特征；基于日志特征和模板标签进行模型训练，得到目标日志异常检测模型。本申请实施例还公开了一种信息确定方法、对应于信息确定方法、模型训练方法的装置、设备和存储介质。设备和存储介质。设备和存储介质。

【技术实现步骤摘要】
模型训练方法、信息确定方法、装置、设备和存储介质


[0001]本申请涉及计算机
，尤其涉及一种模型训练方法、信息确定方法、装置、设备和存储介质。

技术介绍

[0002]容器编排系统(Kubernetes，k8s)发生故障时，会产生大量的日志数据，如何从大量的日志数据中快速确定出存在异常的日志数据，并基于异常的日志数据确定故障所在的位置是亟待解决的问题。目前，运维专家会根据运维经验配置关键词库，然后通过关键词库对日志数据进行处理，以确定日志数据是否异常；然而，在实现过程中，专利技术人发现现有技术中至少存在如下问题：人工配置的关键词库不够全面导致无法准确确定出异常的日志数据。

技术实现思路

[0003]为解决上述技术问题，本申请实施例期望提供一种模型训练方法、信息确定方法、装置、设备和存储介质，解决了现有技术中人工配置的关键词库不够全面导致无法准确确定出异常的日志数据的问题。
[0004]本申请的技术方案是这样实现的：
[0005]一种模型训练方法，所述方法包括：
[0006]获取针对样本集群的待训练日志数据；
[0007]对所述待训练日志数据进行处理，得到日志模板和所述日志模板的模板标签；其中，所述日志模板表征多个待训练日志数据共有的数据特征，所述模板标签表征所述日志模板对应的待训练日志数据是否异常以及所述日志模板对应的待训练日志数据共有的属性；
[0008]对所述日志模板进行处理，得到所述日志模板对应的日志特征；
[0009]基于所述日志特征和所述模板标签进行模型训练，得到目标日志异常检测模型。
[0010]上述方案中，所述对所述待训练日志数据进行处理，得到日志模板和所述日志模板的模板标签，包括：
[0011]对所述待训练日志数据进行分类，得到多个待训练日志集合；
[0012]确定每一待训练日志集合的集合标签；其中，所述集合标签表征所述每一待训练日志集合中待训练日志数据共有的属性；
[0013]基于所述每一待训练日志集合得到多个所述日志模板；
[0014]确定每一日志模板对应的目标待训练日志数据的数据标签；其中，每一所述数据标签表征每一目标待训练日志数据是否异常以及所述每一目标待训练日志数据的属性；
[0015]基于所述目标待训练日志数据的数据标签和所述每一日志模板对应的待训练日志集合的集合标签，确定所述每一日志模板的模板标签。
[0016]上述方案中，所述基于所述每一待训练日志集合得到多个所述日志模板，包括：
[0017]基于所述每一待训练日志集合中的待训练日志数据，构建多个日志模板树；
[0018]从每一日志模板树中抽取日志模板，得到所述多个日志模板。
[0019]上述方案中，所述对所述日志模板进行处理，得到所述日志模板对应的日志特征，包括：
[0020]对所述日志模板中的词进行词性分析，得到所述日志模板的词性向量；
[0021]对所述词性向量进行处理，得到所述日志模板中的关键词；
[0022]确定所述关键词的权重；
[0023]基于所述关键词的权重，确定所述日志模板的权重向量；
[0024]基于所述词性向量和所述权重向量，确定所述日志模板对应的日志向量。
[0025]上述方案中，所述对所述词性向量进行处理，得到所述日志模板中的关键词，包括：
[0026]采用关键词确定模型对所述词性向量进行处理，得到所述关键词。
[0027]一种信息确定方法，所述方法包括：
[0028]获取针对目标集群的待处理日志数据；
[0029]基于日志模板和所述待处理日志数据的产生时间对所述待处理日志数据进行处理，得到待处理日志集合；其中，所述日志模板表征多个待训练日志数据共有的数据特征；
[0030]采用所述目标日志异常检测模型对所述待处理日志集合进行处理，确定所述待处理日志集合中每一待处理日志数据是否异常以及所述每一待处理日志数据的属性；
[0031]其中，所述目标日志异常检测模型是通过如下方式进行训练的：
[0032]获取针对样本集群的待训练日志数据；
[0033]对所述待训练日志数据进行处理，得到所述日志模板和所述日志模板的模板标签；其中，所述模板标签表征所述日志模板对应的待训练日志数据是否异常以及所述日志模板对应的待训练日志数据共有的属性；
[0034]对所述日志模板进行处理，得到所述日志模板对应的日志特征；
[0035]基于所述日志特征和所述模板标签进行模型训练，得到所述目标日志异常检测模型。
[0036]上述方案中，所述基于日志模板和所述待处理日志数据的产生时间对所述待处理日志数据进行处理，得到待处理日志集合，包括：
[0037]基于所述日志模板和关键词库对所述待处理日志数据进行预处理，得到第一日志数据；其中，所述关键词库是基于目标日志异常检测模型在训练过程中得到的关键词确定的；
[0038]确定所述待处理日志数据的产生时间；
[0039]基于所述产生时间和时间阈值对第一日志数据进行聚合，得到所述待处理日志集合。
[0040]上述方案中，所述方法还包括：
[0041]基于所述每一待处理日志数据的属性对所述待处理日志数据进行分类，得到多个待分析日志集合；
[0042]针对每一待分析日志集合，从所述每一待分析日志集合中确定异常的待处理日志数据，得到第二日志数据；
[0043]确定所述第二日志数据所属组件的位置信息和所述第二日志数据的属性；采用目标搜索算法对所述位置信息和所述第二日志数据的属性进行处理，5得到第一变化情况；
[0044]从异常数据库中确定与所述第一变化情况匹配的第二变化情况，确定所述第二变化情况对应的组件的位置和异常原因为当前出现异常的组件的位置和异常原因。
[0045]一种模型训练装置，所述装置包括：0第一获取单元，用于获取针对样本集群的待训练日志数据；
[0046]第一处理单元，用于对所述待训练日志数据进行处理，得到日志模板和所述日志模板的模板标签；其中，所述日志模板表征多个待训练日志数据共有的数据特征，所述模板标签表征所述日志模板对应的待训练日志数据是否异常以及所述日志模板对应的待训练日志数据共有的属性；
[0047]5所述第一处理单元，还用于对所述日志模板进行处理，得到所述日志模板对应的日志特征；
[0048]所述第一处理单元，还用于基于所述日志特征和所述模板标签进行模型训练，得到目标日志异常检测模型。
[0049]一种信息确定装置，所述装置包括：0第二获取单元，用于获取针对目标集群的待处理日志数据；
[0050]第二处理单元，用于基于日志模板和所述待处理日志数据的产生时间对所述待处理日志数据进行处理，得到待处理日志集合；其中，所述日志模板表征多个待训练日志数据共有的数据特征；
[0051]所述第二处理单元，还用于采用所述目标日志异常检测模型对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，其特征在于，所述方法包括：获取针对样本集群的待训练日志数据；对所述待训练日志数据进行处理，得到日志模板和所述日志模板的模板标签；其中，所述日志模板表征多个待训练日志数据共有的数据特征，所述模板标签表征所述日志模板对应的待训练日志数据是否异常以及所述日志模板对应的待训练日志数据共有的属性；对所述日志模板进行处理，得到所述日志模板对应的日志特征；基于所述日志特征和所述模板标签进行模型训练，得到目标日志异常检测模型。2.根据权利要求1所述的方法，其特征在于，所述对所述待训练日志数据进行处理，得到日志模板和所述日志模板的模板标签，包括：对所述待训练日志数据进行分类，得到多个待训练日志集合；确定每一待训练日志集合的集合标签；其中，所述集合标签表征所述每一待训练日志集合中待训练日志数据共有的属性；基于所述每一待训练日志集合得到多个所述日志模板；确定每一日志模板对应的目标待训练日志数据的数据标签；其中，每一所述数据标签表征每一目标待训练日志数据是否异常以及所述每一目标待训练日志数据的属性；基于所述目标待训练日志数据的数据标签和所述每一日志模板对应的待训练日志集合的集合标签，确定所述每一日志模板的模板标签。3.根据权利要求2所述的方法，其特征在于，所述基于所述每一待训练日志集合得到多个所述日志模板，包括：基于所述每一待训练日志集合中的待训练日志数据，构建多个日志模板树；从每一日志模板树中抽取日志模板，得到所述多个日志模板。4.根据权利要求1所述的方法，其特征在于，所述对所述日志模板进行处理，得到所述日志模板对应的日志特征，包括：对所述日志模板中的词进行词性分析，得到所述日志模板的词性向量；对所述词性向量进行处理，得到所述日志模板中的关键词；确定所述关键词的权重；基于所述关键词的权重，确定所述日志模板的权重向量；基于所述词性向量和所述权重向量，确定所述日志模板对应的日志向量。5.根据权利要求4所述的方法，其特征在于，所述对所述词性向量进行处理，得到所述日志模板中的关键词，包括：采用关键词确定模型对所述词性向量进行处理，得到所述关键词。6.一种信息确定方法，其特征在于，所述方法包括：获取针对目标集群的待处理日志数据；基于日志模板和所述待处理日志数据的产生时间对所述待处理日志数据进行处理，得到待处理日志集合；其中，所述日志模板表征多个待训练日志数据共有的数据特征；采用所述目标日志异常检测模型对所述待处理日志集合进行处理，确定所述待处理日志集合中每一待处理日志数据是否异常以及所述每一待处理日志数据的属性；其中，所述目标日志异常检测模型是通过如下方式进行训练的：获取针对样本集群的待训练日志数据；
对所述待训练日志数据进行处理，得到所述日志模板和所述日志模板的模板标签；其中，所述模板标签表征所述日志模板对应的待训练日志数据是否异常以及所述日志模板对应的待训练日志数据共有的属性；对所述日志模板进行处理，得到所述日志模板对应的日志特征；基于所述日志特征和所述模板标签进行模型训练，得到所述目标日志异常检测模型。7.根据权利要求6所述的方法，其特征在于，所述基于日志模板和所述待处理日志数据的产生时间对所述待处理日志数据进行处理，得到待处理日志集合，包括：基于所述日志模板和关键词库对所述待处理日志数据进行预处理，得到第一日志数据；其中，所述关键词库是基于目标日志异...

【专利技术属性】
技术研发人员：张静，张宪波，王鑫，
申请(专利权)人：京东科技信息技术有限公司，
类型：发明
国别省市：