一种日志数据的处理方法、装置、介质及设备制造方法及图纸

本申请涉及计算机及人工智能技术领域，本实施例公开了一种日志数据的处理方法、装置、介质及设备。该方法包括：获取目标平台的待处理日志数据；从所述待处理日志数据的每行数据中提取特征字符，构建所述待处理日志数据的特征码；将所述特征码输入至预先由基于簇中心的聚合模型和基于密度的聚合模型合并而成的日志合并模型；根据所述日志合并模型的输出结果，确定所述待处理日志数据的每行数据的日志类型；其中，所述日志类型包括单行日志类型和多行日志类型；对多行日志类型的数据进行合并处理，得到所述待处理日志数据的处理结果。本技术方案，可以增强对日志数据处理的适用性，无需复杂的管理和维护，同时还能够提高日志数据处理的准确度。据处理的准确度。据处理的准确度。

【技术实现步骤摘要】
一种日志数据的处理方法、装置、介质及设备


[0001]本申请实施例涉及计算机及人工智能
，尤其涉及一种日志数据的处理方法、装置、介质及设备。

技术介绍

[0002]随着信息化时代的迅速发展，各种类型的系统应运而生。日志数据，以其能够准确的记录系统中的运行关键信息，成为了各个系统对运行过程中是否出现报错等监控的重要指标数据。
[0003]由于日志数据可能是单行的，可能是多行的，而且划分的依据往往各不相同。则日志数据中的报错信息等需要正确的配置来合并到一行，方便开发人员查看和定位问题。许多日志管理平台都采用各自规定的不同的日志合并配置来管理日志数据，当前日志的来源和格式越来越多，给相应的日志管理平台带来管理和维护的复杂程度激增，且日志数据的管理错误几率上升。因此，如何更高效并准确的来保存和管理日志数据，成为了一个亟待解决的技术难题。

技术实现思路

[0004]本申请实施例提供一种日志数据的处理方法、装置、介质及设备，可以增强对日志数据处理的适用性，无需复杂的管理和维护，同时还能够提高日志数据处理的准确度。
[0005]第一方面，本申请实施例提供了一种日志数据的处理方法，所述方法包括：
[0006]获取目标平台的待处理日志数据；
[0007]从所述待处理日志数据的每行数据中提取特征字符，构建所述待处理日志数据的特征码；
[0008]将所述特征码输入至预先由基于簇中心的聚合模型和基于密度的聚合模型合并而成的日志合并模型；
[0009]根据所述日志合并模型的输出结果，确定所述待处理日志数据的每行数据的日志类型；其中，所述日志类型包括单行日志类型和多行日志类型；
[0010]对多行日志类型的数据进行合并处理，得到所述待处理日志数据的处理结果。
[0011]进一步的，对多行日志类型的数据进行合并处理，得到所述待处理日志数据的处理结果，包括：
[0012]若为单行日志类型，则确定当前行的日志数据为完整数据；
[0013]若为多行日志类型，则对当前行的日志数据与相邻行的多行日志类型的日志数据进行合并，以得到完整数据。
[0014]进一步的，所述日志合并模型的训练过程，包括：
[0015]采集至少一个平台的日志数据，并从所述日志数据划分出训练集；
[0016]对所述训练集中每行日志数据进行特征字符提取；
[0017]根据所述特征字符构建各行日志数据的特征码；
[0018]采用由基于簇中心的聚合模型和基于密度的聚合模型合并而成的日志合并模型，对所述特征码进行聚类，得到训练特征集；
[0019]根据训练特征集的单行日志特征集和多行日志特征集的识别结果，以及所述训练集中日志数据的预先标注结果，对所述日志合并模型进行训练，以得到训练结果。
[0020]进一步的，所述日志合并模型的构建过程，包括：
[0021]确定所述基于簇中心的聚合模型和基于密度的聚合模型的初始合并权重；
[0022]根据对所述训练集中每行日志数据的识别结果，以及所述训练集中日志数据的预先标注结果，对所述日志合并模型的初始合并权重进行调节得到最终合并权重。
[0023]进一步的，根据对所述训练集中每行日志数据的识别结果，以及所述训练集中日志数据的预先标注结果，对所述日志合并模型的初始合并权重进行调节得到最终合并权重，包括：
[0024]根据对所述训练集中每行日志数据的识别结果，以及所述训练集中日志数据的预先标注结果，分别确定基于簇中心的聚合模型的第一准确度，以及基于密度的聚合模型的第二准确度；
[0025]根据所述第一准确度和所述第二准确度的大小关系，对所述日志合并模型的初始合并权重进行调节得到最终合并权重。
[0026]进一步的，在得到训练结果之后，所述方法还包括：
[0027]从所述日志数据划分出测试集；
[0028]对所述测试集的日志数据进行特征字符提取；
[0029]根据所述特征字符构建所述日志数据的特征码；
[0030]将所述测试集的日志数据的特征码输入至日志合并模型，得到测试特征集；
[0031]根据所述测试特征集的单行日志特征集和多行日志特征集的识别结果，以及所述训练集中日志数据的预先标注结果，确定所述日志合并模型是否符合准确率要求；
[0032]若符合，则确定所述训练结果可用。
[0033]进一步的，对所述训练集中每行日志数据进行特征字符提取，包括：
[0034]根据预先确定的至少两个特征字符数量，从每行日志数据的首位特征字符开始，确定目标字符；
[0035]将所述目标字符确定为特征字符，并进行各特征字符数量特征字符的提取；
[0036]相应的，在得到各特征字符数量的训练结果之后，所述方法还包括：
[0037]根据各特征字符数量的训练结果的准确度，确定目标特征字符数量。
[0038]进一步的，在根据各特征字符数量的训练结果的准确度，确定目标特征字符数量之前，所述方法还包括：
[0039]获取各特征字符数量的训练耗时因子和训练算力因子；
[0040]根据各特征字符数量的训练结果的准确度，确定目标特征字符数量，包括：
[0041]根据各特征字符数量的训练结果的准确度，以及所述训练耗时因子和所述训练算力因子，确定目标特征字符数量。
[0042]第二方面，本申请实施例提供了一种日志数据的处理装置，所述装置包括：
[0043]待处理日志数据获取模块，用于获取目标平台的待处理日志数据；
[0044]特征码构建模块，用于从所述待处理日志数据的每行数据中提取特征字符，构建
所述待处理日志数据的特征码；
[0045]特征码输入模块，用于将所述特征码输入至预先由基于簇中心的聚合模型和基于密度的聚合模型合并而成的日志合并模型；
[0046]日志类型输出模块，用于根据所述日志合并模型的输出结果，确定所述待处理日志数据的每行数据的日志类型；其中，所述日志类型包括单行日志类型和多行日志类型；
[0047]日志数据处理模块，用于对多行日志类型的数据进行合并处理，得到所述待处理日志数据的处理结果。
[0048]进一步的，所述日志数据处理模块，具体用于：
[0049]若为单行日志类型，则确定当前行的日志数据为完整数据；
[0050]若为多行日志类型，则对当前行的日志数据与相邻行的多行日志类型的日志数据进行合并，以得到完整数据。
[0051]进一步的，所述装置还包括日志合并模型训练模块，用于：
[0052]采集至少一个平台的日志数据，并从所述日志数据划分出训练集；
[0053]对所述训练集中每行日志数据进行特征字符提取；
[0054]根据所述特征字符构建各行日志数据的特征码；
[0055]采用由基于簇中心的聚合模型和基于密度的聚合模型合并而成的日志合并模型，对所述特征码进行聚类，得到训练特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种日志数据的处理方法，其特征在于，所述方法包括：获取目标平台的待处理日志数据；从所述待处理日志数据的每行数据中提取特征字符，构建所述待处理日志数据的特征码；将所述特征码输入至预先由基于簇中心的聚合模型和基于密度的聚合模型合并而成的日志合并模型；根据所述日志合并模型的输出结果，确定所述待处理日志数据的每行数据的日志类型；其中，所述日志类型包括单行日志类型和多行日志类型；对多行日志类型的数据进行合并处理，得到所述待处理日志数据的处理结果。2.根据权利要求1所述的方法，其特征在于，对多行日志类型的数据进行合并处理，得到所述待处理日志数据的处理结果，包括：若为单行日志类型，则确定当前行的日志数据为完整数据；若为多行日志类型，则对当前行的日志数据与相邻行的多行日志类型的日志数据进行合并，以得到完整数据。3.根据权利要求1所述的方法，其特征在于，所述日志合并模型的训练过程，包括：采集至少一个平台的日志数据，并从所述日志数据划分出训练集；对所述训练集中每行日志数据进行特征字符提取；根据所述特征字符构建各行日志数据的特征码；采用由基于簇中心的聚合模型和基于密度的聚合模型合并而成的日志合并模型，对所述特征码进行聚类，得到训练特征集；根据训练特征集的单行日志特征集和多行日志特征集的识别结果，以及所述训练集中日志数据的预先标注结果，对所述日志合并模型进行训练，以得到训练结果。4.根据权利要求3所述的方法，其特征在于，所述日志合并模型的构建过程，包括：确定所述基于簇中心的聚合模型和基于密度的聚合模型的初始合并权重；根据对所述训练集中每行日志数据的识别结果，以及所述训练集中日志数据的预先标注结果，对所述日志合并模型的初始合并权重进行调节得到最终合并权重。5.根据权利要求4所述的方法，其特征在于，根据对所述训练集中每行日志数据的识别结果，以及所述训练集中日志数据的预先标注结果，对所述日志合并模型的初始合并权重进行调节得到最终合并权重，包括：根据对所述训练集中每行日志数据的识别结果，以及所述训练集中日志数据的预先标注结果，分别确定基于簇中心的聚合模型的第一准确度，以及基于密度的聚合模型的第二准确度；根据所述第一准确度和所述第二准确度的大小关系，对所述日志合并模型的初始合并权重进行调节得到最终合并权重。6.根据权利要求3所述的方法，其特征在于，在得到训练结果之后，所述方法还包括：从所述日志...

【专利技术属性】
技术研发人员：冯洋，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：