【技术实现步骤摘要】
本专利技术涉及日志分析领域，尤其是一种基于归纳层次结构的日志摘要生成系统及方法。
技术介绍
1、随着业务系统的不断发展和复杂度的提高，系统运维面临着日益严峻的挑战。在系统出现故障时，错误日志的数量会急剧增加，有时甚至会出现"疯狂报错"的现象。这种情况下，错误日志之间会相互掩埋、相互影响，运维人员难以在短时间内理清故障的根本原因，影响了故障排查和修复的效率。
2、目前业界常用的日志分析方法主要包括关键字匹配、正则表达式匹配等简单的文本分析方法，以及基于机器学习的聚类分析方法。但这些方法在处理大量且复杂的报警日志时仍存在一些问题：
3、1、简单的文本匹配方法难以处理语义相近但表述不同的日志，容易造成有用信息的遗漏；
4、2、传统的聚类算法如k-means等需要预先确定聚类数量，不适用于报警日志数量和类型动态变化的场景；
5、3、大多数方法缺乏对报警日志中细粒度特征的提取和利用，无法很好地保留重要的细节信息；
6、4、聚类结果往往缺乏可解释性，难以直接指导运维人员快速定位问题根源。
7、因此，需要一种能够有效处理大量复杂报警日志、保留重要细节信息、具有良好可解释性的日志聚类系统及方法，以支持运维人员快速准确地进行故障定位和根因分析。
技术实现思路
1、为解决现有技术存在的上述问题，本专利技术提供一种基于归纳层次结构的日志摘要生成系统及方法，通过预定义的归纳层次结构来处理复杂的报警日志数据，使得运维团队能够更高效地管理
2、为设计上述目的，本专利技术采用下述技术方案：
3、在本专利技术一实施例中，提出了一种基于归纳层次结构的日志摘要生成系统，该系统包括：
4、特征提取模块，用于从原始报警日志中提取关键特征，包括机房、环境、异常来源、报警日志文本关键内容和故障所在位置；
5、归纳层次构建模块，用于为每个提取的特征预先定义一个归纳层次结构，作为后续聚类过程中向上抽象的依据；
6、不相似度计算模块，用于基于归纳层次结构，定义并计算报警日志之间的不相似度，为聚类提供量化依据；
7、自适应聚类模块，用于使用启发式算法，通过迭代归纳过程对特征值进行逐步向上抽象，并对抽象后相似的报警日志进行聚类，直到满足预设的聚类停止条件；
8、报警摘要生成模块，用于对聚类结果进行汇总，生成能够概括各聚类特征的报警摘要。
9、进一步地，不相似度的计算步骤如下：
10、对于单个特征的不相似度：设x1，x2为某个特征的两个不同值，它们的不相似度定义为：d(x1，x2)＝在归纳层次结构中连接x1和x2的最短路径长度；
11、对于两个报警日志a1，a2的整体不相似度：d(a1，a2)＝σd(a1[ai]，a2[ai])(i＝1，2，...，n)，其中ai表示第i个特征，n为特征总数。
12、进一步地，使用启发式算法，通过迭代归纳过程对特征值进行逐步向上抽象，并对抽象后相似的报警日志进行聚类，直到满足预设的聚类停止条件，包括：
13、初始化：将原始报警日志集合记为l，设置最小聚类大小min_size，设置聚类停止条件：聚类结果的报警摘要数量≤20或已存在某个类别的count值达到min_size；
14、迭代算法：循环执行迭代过程，直到满足初始化设置的聚类停止条件；在每次迭代中，选择一个当前取值分布最均匀的特征ai进行处理；对于选定的特征ai，算法遍历所有的报警日志a；对于每个报警日志a，将其在特征ai上的值替换为该值在预定义的归纳层次结构中的父节点值；完成所有报警日志的处理后，算法调用相似度计算模块，合并在所有特征上取值相同的报警日志，并更新每个报警日志组合的计数count值；然后进入下一次迭代，重复上述过程。
15、进一步地，特征的选择策略如下：
16、计算每个特征ai的fi值：fi＝max{在ai上取值为v的报警数量|v∈ai的值域}；fi是一个用于衡量特征ai分布情况的指标；
17、选择fi值最小的特征进行归纳。
18、在本专利技术一实施例中，还提出了一种基于归纳层次结构的日志摘要生成方法，该方法包括：
19、从原始报警日志中提取关键特征，包括机房、环境、异常来源、报警日志文本关键内容和故障所在位置；
20、为每个提取的特征预先定义一个归纳层次结构，作为后续聚类过程中向上抽象的依据；
21、基于归纳层次结构，定义并计算报警日志之间的不相似度，为聚类提供量化依据；
22、使用启发式算法，通过迭代归纳过程对特征值进行逐步向上抽象，并对抽象后相似的报警日志进行聚类，直到满足预设的聚类停止条件；
23、对聚类结果进行汇总，生成能够概括各聚类特征的报警摘要。
24、进一步地，不相似度的计算步骤如下：
25、对于单个特征的不相似度：设x1，x2为某个特征的两个不同值，它们的不相似度定义为：d(x1，x2)＝在归纳层次结构中连接x1和x2的最短路径长度；
26、对于两个报警日志a1，a2的整体不相似度：d(a1，a2)＝σd(a1[ai]，a2[ai])(i＝1，2，...，n)，其中ai表示第i个特征，n为特征总数。
27、进一步地，使用启发式算法，通过迭代归纳过程对特征值进行逐步向上抽象，并对抽象后相似的报警日志进行聚类，直到满足预设的聚类停止条件，包括：
28、初始化：将原始报警日志集合记为l，设置最小聚类大小min_size，设置聚类停止条件：聚类结果的报警摘要数量≤20或已存在某个类别的count值达到min_size；
29、迭代算法：循环执行迭代过程，直到满足初始化设置的聚类停止条件；在每次迭代中，选择一个当前取值分布最均匀的特征ai进行处理；对于选定的特征ai，算法遍历所有的报警日志a；对于每个报警日志a，将其在特征ai上的值替换为该值在预定义的归纳层次结构中的父节点值；完成所有报警日志的处理后，算法调用相似度计算模块，合并在所有特征上取值相同的报警日志，并更新每个报警日志组合的计数count值；然后进入下一次迭代，重复上述过程。
30、进一步地，特征的选择策略如下：
31、计算每个特征ai的fi值：fi＝max{在ai上取值为v的报警数量|v∈ai的值域}；fi是一个用于衡量特征ai分布情况的指标；
32、选择fi值最小的特征进行归纳。
33、在本专利技术一实施例中，还提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时设计前述基于归纳层次结构的日志摘要生成方法。
34、在本专利技术一实施例中，还提出了一种计算机可读存储介质，计算机可读存储介质存储有执行基于归纳层次结构的日志摘要生成方法的计算机程序本文档来自技高网...
【技术保护点】
1.一种基于归纳层次结构的日志摘要生成系统，其特征在于，该系统包括：
2.根据权利要求1所述的基于归纳层次结构的日志摘要生成系统，其特征在于，所述不相似度的计算步骤如下：
3.根据权利要求1所述的基于归纳层次结构的日志摘要生成系统，其特征在于，使用启发式算法，通过迭代归纳过程对特征值进行逐步向上抽象，并对抽象后相似的报警日志进行聚类，直到满足预设的聚类停止条件，包括：
4.根据权利要求3所述的基于归纳层次结构的日志摘要生成系统，其特征在于，所述特征的选择策略如下：
5.一种基于归纳层次结构的日志摘要生成方法，其特征在于，该方法包括：
6.根据权利要求5所述的基于归纳层次结构的日志摘要生成方法，其特征在于，所述不相似度的计算步骤如下：
7.根据权利要求5所述的基于归纳层次结构的日志摘要生成方法，其特征在于，使用启发式算法，通过迭代归纳过程对特征值进行逐步向上抽象，并对抽象后相似的报警日志进行聚类，直到满足预设的聚类停止条件，包括：
8.根据权利要求7所述的基于归纳层次结构的日志摘要生成方法，其特征在
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时设计权利要求5-8任一项所述方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求5-8任一项所述方法的计算机程序。
...【技术特征摘要】
1.一种基于归纳层次结构的日志摘要生成系统，其特征在于，该系统包括：
2.根据权利要求1所述的基于归纳层次结构的日志摘要生成系统，其特征在于，所述不相似度的计算步骤如下：
3.根据权利要求1所述的基于归纳层次结构的日志摘要生成系统，其特征在于，使用启发式算法，通过迭代归纳过程对特征值进行逐步向上抽象，并对抽象后相似的报警日志进行聚类，直到满足预设的聚类停止条件，包括：
4.根据权利要求3所述的基于归纳层次结构的日志摘要生成系统，其特征在于，所述特征的选择策略如下：
5.一种基于归纳层次结构的日志摘要生成方法，其特征在于，该方法包括：
6.根据权利要求5所述的基于归纳层次结构的日志摘要生成方法，其特...
【专利技术属性】
技术研发人员：闫一帅，
申请(专利权)人：中盈优创资讯科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。