System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于规则的日志分析方法、装置、设备、介质及产品制造方法及图纸_技高网

基于规则的日志分析方法、装置、设备、介质及产品制造方法及图纸

技术编号:44972899 阅读:3 留言:0更新日期:2025-04-12 01:47
本申请公开了一种基于规则的日志分析方法、装置、设备、介质及产品,涉及日志分析领域,该方法包括创建用于表征不同日志分析任务的训练集,并为所述不同日志分析任务设计相应的提示,将训练集和提示输入初始日志分析模型中,通过提示引导初始日志分析模型输出与日志分析任务相对应的规则;将规则进行优先级排序,得到优化规则序列;获取样例提示和规则提示,将优化规则序列嵌入规则提示中,得到最终规则提示;通过对比偏好优化方法对初始日志分析模型的参数进行微调,以得到日志分析模型;将待分析日志输入日志分析模型,通过最终规则提示引导日志分析模型输出最终结果,通过最终结果对待分析日志进行分析。本申请提高了模型的泛化能力。

【技术实现步骤摘要】

本申请涉及日志分析领域,特别是涉及一种基于规则的日志分析方法、装置、设备、介质及产品


技术介绍

1、系统日志提供关键的运行时信息,为开发人员、操作员和维护人员提供了重要的调试和故障排查依据。然而,随着系统日渐复杂,分析大量日志数据已经成为一项重大挑战。用于自然语言处理的大语言模型(llm)具有强大的推理和解释能力,能够有效处理日志分析任务。

2、由于llm难以捕捉日志中的隐含知识和规则,因此,当llm产生看似合理但与现实世界知识相矛盾的输出时,就会发生幻觉。现有技术中采用基于样例的日志分析方法,即通过提供具体的样例,帮助模型学习识别日志中的模式和异常,从而减少生成与现实世界相矛盾的输出。然而,这种方法导致llm依赖死记硬背,缺乏有效概括能力。


技术实现思路

1、本申请的目的是提供一种基于规则的日志分析方法、装置、设备、介质及产品,可准确地理解日志数据,从而提高了模型的泛化能力。

2、为实现上述目的,本申请提供了如下方案:

3、第一方面,本申请提供了一种基于规则的日志分析方法,包括:

4、创建用于表征不同日志分析任务的训练集,并为所述不同日志分析任务设计相应的提示,所述训练集包含训练日志样本与训练标签样本,所述训练日志样本中的每个训练日志均唯一对应所述训练标签样本中的一个训练标签;

5、将所述训练集和所述提示输入初始日志分析模型中,通过所述提示引导所述初始日志分析模型输出与所述日志分析任务相对应的规则;

6、将所述规则进行优先级排序,得到优化规则序列,并把所述优化规则序列存入位于所述初始日志分析模型内的规则库中;

7、获取样例提示和规则提示,将所述优化规则序列嵌入所述规则提示中,得到最终规则提示;

8、通过对比偏好优化方法对所述初始日志分析模型的参数进行微调,以得到日志分析模型;

9、将待分析日志输入所述日志分析模型,通过所述最终规则提示引导所述日志分析模型输出最终结果,通过所述最终结果对所述待分析日志进行分析。

10、第二方面,本申请提供了一种基于规则的日志分析装置,包括:

11、创建模块,用于创建用于表征不同日志分析任务的训练集,并为所述不同日志分析任务设计相应的提示,所述训练集包含训练日志样本与训练标签样本,所述训练日志样本中的每个训练日志均唯一对应所述训练标签样本中的一个训练标签;

12、引导模块,用于将所述训练集和所述提示输入初始日志分析模型中,通过所述提示引导所述初始日志分析模型输出与所述日志分析任务相对应的规则;

13、存入模块,用于将所述规则进行优先级排序,得到优化规则序列,并把所述优化规则序列存入位于所述初始日志分析模型内的规则库中;

14、嵌入模块,用于获取样例提示和规则提示,将所述优化规则序列嵌入所述规则提示中,得到最终规则提示;

15、微调模块,用于通过对比偏好优化方法对所述初始日志分析模型的参数进行微调,以得到日志分析模型;

16、输出模块,用于将待分析日志输入所述日志分析模型,通过所述最终规则提示引导所述日志分析模型输出最终结果,通过所述最终结果对所述待分析日志进行分析。

17、第三方面,本申请提供了一种计算机设备,包括:存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序以实现上述中任一项所述的基于规则的日志分析方法的步骤。

18、第四方面,本申请提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述中任一项所述的基于规则的日志分析方法的步骤。

19、第五方面,本申请提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述中任一项所述的基于规则的日志分析方法的步骤。

20、根据本申请提供的具体实施例,本申请公开了以下技术效果:

21、与现有技术中采用基于样例的日志分析方法相比,本申请通过将优化规则序列嵌入规则提示中,得到最终规则提示,可在规则调用后捕捉日志中的潜在规则,更准确地理解日志数据,从而增强了日志分析模型的推理和泛化能力,提高了日志分析的准确性。

本文档来自技高网...

【技术保护点】

1.一种基于规则的日志分析方法,其特征在于,所述基于规则的日志分析方法包括:

2.根据权利要求1所述的基于规则的日志分析方法,其特征在于,所述日志分析任务包括日志解析任务和日志异常检测任务,所述提示包括日志解析提示和所述日志异常检测提示,所述规则包括日志解析规则和日志异常检测规则;所述将所述训练集和所述提示输入初始日志分析模型中,通过所述提示引导所述初始日志分析模型输出与所述日志分析任务相对应的规则,包括:

3.根据权利要求1所述的基于规则的日志分析方法,其特征在于,所述将所述规则进行优先级排序,包括:

4.根据权利要求1所述的基于规则的日志分析方法,其特征在于,所述规则的形式为自然语言描述形式、正则表达式形式以及代码形式中的一种;所述规则基于所述初始日志分析模型中预先定义的词表空间生成。

5.根据权利要求1所述的基于规则的日志分析方法,其特征在于,在所述通过对比偏好优化方法对所述初始日志分析模型的参数进行微调步骤之前,所述基于规则的日志分析方法还包括:

6.根据权利要求5所述的基于规则的日志分析方法,其特征在于,所述对比偏好优化方法包括计算偏好函数与计算行为克隆函数,所述通过对比偏好优化方法对所述初始日志分析模型的参数进行微调,包括:

7.一种基于规则的日志分析装置,其特征在于,所述基于规则的日志分析装置包括:

8.一种计算机设备,包括:存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序以实现权利要求1-6中任一项所述的基于规则的日志分析方法的步骤。

9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1-6中任一项所述的基于规则的日志分析方法的步骤。

10.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1-6中任一项所述的基于规则的日志分析方法的步骤。

...

【技术特征摘要】

1.一种基于规则的日志分析方法,其特征在于,所述基于规则的日志分析方法包括:

2.根据权利要求1所述的基于规则的日志分析方法,其特征在于,所述日志分析任务包括日志解析任务和日志异常检测任务,所述提示包括日志解析提示和所述日志异常检测提示,所述规则包括日志解析规则和日志异常检测规则;所述将所述训练集和所述提示输入初始日志分析模型中,通过所述提示引导所述初始日志分析模型输出与所述日志分析任务相对应的规则,包括:

3.根据权利要求1所述的基于规则的日志分析方法,其特征在于,所述将所述规则进行优先级排序,包括:

4.根据权利要求1所述的基于规则的日志分析方法,其特征在于,所述规则的形式为自然语言描述形式、正则表达式形式以及代码形式中的一种;所述规则基于所述初始日志分析模型中预先定义的词表空间生成。

5.根据权利要求1所述的基于规则的日志分析方法,其特征在于,在所述通过对比偏好优化方法对所述初始日志分析模型的参数进行...

【专利技术属性】
技术研发人员:张挺黄鑫赵文
申请(专利权)人:北京北软华兴软件有限责任公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1