System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及大模型,具体为一种基于运维行业大模型的智能建单的方法及系统。
技术介绍
1、随着信息技术的快速发展,运维行业的作用日益凸显。运维工程师需要负责监控和管理it基础设施,确保系统的稳定性、安全性和高效性。然而,随着it系统的复杂性不断增加,运维工作量也在不断加大,对运维人员的要求也越来越高。因此,如何利用大数据和人工智能技术,实现自动化、智能化建立运维工单,成为当前运维行业亟待解决的问题。
2、传统的运维工单建立方式主要依靠人工,需要运维工程师手动收集故障信息、分析问题原因、制定解决方案,并建立工单。这种方式存在以下问题:一是效率低下,尤其是在面对大量运维问题时,需要耗费大量时间和人力;二是容易出错,人工处理过程中难免会出现疏漏和错误;三是缺乏标准化,不同工程师的处理方式和标准可能存在差异,导致服务质量参差不齐。
3、为了解决上述问题,开始探索利用大数据和人工智能技术,实现运维工单的自动化、智能化建立。目前,已有一些研究者和企业在此方面取得了一定的成果。例如,一些企业利用机器学习算法,对运维数据进行挖掘和分析,实现了对运维问题的自动识别和处理。然而,这些方法普遍存在以下不足:一是模型精度较低,尤其是对于复杂运维场景的识别和处理;二是模型泛化能力较差,难以适应不同类型、不同规模的运维场景;三是缺乏对运维行业特点的深入挖掘和针对性建模。
技术实现思路
1、本专利技术的目的在于提供一种基于运维行业大模型的智能建单的方法及系统,以解决上述
技术介绍
中提出的问
2、为实现上述目的,本专利技术提供如下技术方案:一种基于运维行业大模型的智能建单的方法,所述方法包括以下步骤:
3、步骤1,收集工单系统的工单列表;
4、步骤2,对收集的工单列表进行清洗、整合和标准化处理,形成模型微调所需数据集;
5、步骤3,选择预训练模型,利用数据集对其进行微调训练,并输出微调后的模型;
6、步骤4,使用微调后的模型执行预测工单分类的任务;
7、步骤5,通过模型分类结果自动识别该区域的运维组及运维人员;
8、步骤6,调用大模型推理返回工单标题;
9、步骤7,实现系统集成过程。
10、优选的,步骤1的具体操作包括:
11、实现与工单系统的交互,开发restful api接口,获取工单系统的数据,收集的数据是近3年工单列表,包括工单标题、工单问题描述、工单分类名、运维项目组、运维工程师名字,api接口返回json作为数据交换格式。
12、优选的,步骤2的具体操作包括:
13、删除重复工单,数据集中可能存在重复记录,重复记录导致分析结果偏差,通过识别并删除这些重复工单,确保每个工单的唯一性;无关字符处理,数据集中包含换行符、制表符无关字符,字符对数据分析并无实际意义,删除这些无关字符,提高数据集的整洁度和可用性;分类信息补全,数据集中的工单分类名称未取到,是因为数据采集过程中的错误或数据源本身的问题,在这种情况下,补全不完整的分类信息,以保证数据集的分类准确性和一致性。
14、优选的,步骤3具体包括:
15、3.1使用bert算法进行训练,设置预训练模型train_model为bert-base-chinese,并设置模型路径model_path,该路径是保存模型训练完成后的保存模型参数和结构的地方;
16、3.2设置模型参数,batch_size为一次训练过程中用于梯度更新的一组样本的数量,设置为32,number_of_epochs为模型进行训练的迭代次数,设置为5,num_labels为工单分类的类别,参数为442;
17、3.3使用adamw优化器对bert模型的参数进行优化,设计微调策略,设定初始学习率为5e-5,权重衰减系数,设置为0.01,一阶和二阶矩估计的衰减率β1和β2,设置为0.9和0.999,小数值稳定性常数ε,通常设置为1e-6;
18、3.4设置模型检查点,使用tensorflow的tf.train.checkpoint api来管理模型的检查点;
19、3.5对步骤2中整理好的数据集进行划分,将80%的样本数据作为训练集,20%的样本数据作为测试集,考虑样本的时间分布。一般来说,将较早时期的专利样本作为训练集,将较新的专利样本作为测试集;
20、3.6启动模型训练脚本,执行有监督微调训练;
21、步骤4具体包括:
22、4.1、将步骤3.4中输出的训练完成模型路径model_path作为模型预测的路径,执行预测脚本,通过输入工单问题,得到工单分类的类别;
23、步骤5具体包括:
24、5.1、实现分类类别和运维项目组、运维管理人员对应关联,通过步骤4.1中获取的工单分类类别,确定对应的项目组及运维管理人员的名单。
25、5.根据权利要求1所述的一种基于运维行业大模型的智能建单的方法,其特征在于:步骤6具体包括:
26、6.1、构建prompt文本为“根据输入文本,用精炼的语言对已有信息进行总结生成标题。要求标题总结简短、语义通顺,突出文章主题,不要对内容进行扩充和解释,请使用中文回答,输入文本:+work_order_description”,并拼接请求json,其中json请求格式为'{"work_order_description":"工单问题描述"}',将以上拼接内容,输入到大模型baichuan2-13b-chat,等待大模型推理完成则返回工单标题;
27、步骤7具体包括:
28、7.1在系统集成过程中,设计一个用户交互界面,以确保用户能够方便地使用模型提供的结果进行决策和执行操作,使用flask设计api接口,用户仅需要输入工单问题描述,系统则自动调用api接口,进而生成工单分类、工单标题,并自动将工单分配给相应的运维人员。
29、一种基于运维行业大模型的智能建单系统,所述系统由工单收集模块、工单预处理模块、模型微调模块、任务执行模块、识别模块、推理模块以及集成模块组成;
30、工单收集模块,用于收集工单系统的工单列表;
31、工单预处理模块,用于对收集的工单列表进行清洗、整合和标准化处理,形成模型微调所需数据集;
32、模型微调模块,用于选择预训练模型,利用数据集对其进行微调训练,并输出微调后的模型;
33、任务执行模块,用于使用微调后的模型执行预测工单分类的任务;
34、识别模块,用于通过模型分类结果自动识别该区域的运维组及运维人员;
35、推理模块,用于调用大模型推理返回工单标题;
36、集成模块,用于实现系统集成过程。
37、优选的,所述工单收集模块,实现与工单系统的交互,开发restful api接口,获取工单系统的数据,收集的数据是近3年工单列表,包括本文档来自技高网...
【技术保护点】
1.一种基于运维行业大模型的智能建单的方法,其特征在于:所述方法包括以下步骤:
2.根据权利要求1所述的一种基于运维行业大模型的智能建单的方法,其特征在于:步骤1的具体操作包括:
3.根据权利要求1所述的一种基于运维行业大模型的智能建单的方法,其特征在于:步骤2的具体操作包括:
4.根据权利要求1所述的一种基于运维行业大模型的智能建单的方法,其特征在于:步骤3具体包括:
5.根据权利要求1所述的一种基于运维行业大模型的智能建单的方法,其特征在于:步骤6具体包括:
6.一种根据权利要求1-5任意一项所述的基于运维行业大模型的智能建单的方法的基于运维行业大模型的智能建单系统,其特征在于:所述系统由工单收集模块、工单预处理模块、模型微调模块、任务执行模块、识别模块、推理模块以及集成模块组成;
7.根据权利要求6所述的一种基于运维行业大模型的智能建单系统,其特征在于:所述工单收集模块,实现与工单系统的交互,开发RESTful API接口,获取工单系统的数据,收集的数据是近3年工单列表,包括工单标题、工单问题描述、工单
8.根据权利要求6所述的一种基于运维行业大模型的智能建单系统,其特征在于:所述工单预处理模块,删除重复工单,数据集中可能存在重复记录,重复记录导致分析结果偏差,通过识别并删除这些重复工单,确保每个工单的唯一性;无关字符处理,数据集中包含换行符、制表符无关字符,字符对数据分析并无实际意义,删除这些无关字符,提高数据集的整洁度和可用性;分类信息补全,数据集中的工单分类名称未取到,是因为数据采集过程中的错误或数据源本身的问题,在这种情况下,补全不完整的分类信息,以保证数据集的分类准确性和一致性。
9.根据权利要求6所述的一种基于运维行业大模型的智能建单系统,其特征在于:所述模型微调模块,具体包括:
10.根据权利要求6所述的一种基于运维行业大模型的智能建单系统,其特征在于:所述推理模块,具体包括:
...【技术特征摘要】
1.一种基于运维行业大模型的智能建单的方法,其特征在于:所述方法包括以下步骤:
2.根据权利要求1所述的一种基于运维行业大模型的智能建单的方法,其特征在于:步骤1的具体操作包括:
3.根据权利要求1所述的一种基于运维行业大模型的智能建单的方法,其特征在于:步骤2的具体操作包括:
4.根据权利要求1所述的一种基于运维行业大模型的智能建单的方法,其特征在于:步骤3具体包括:
5.根据权利要求1所述的一种基于运维行业大模型的智能建单的方法,其特征在于:步骤6具体包括:
6.一种根据权利要求1-5任意一项所述的基于运维行业大模型的智能建单的方法的基于运维行业大模型的智能建单系统,其特征在于:所述系统由工单收集模块、工单预处理模块、模型微调模块、任务执行模块、识别模块、推理模块以及集成模块组成;
7.根据权利要求6所述的一种基于运维行业大模型的智能建单系统,其特征在于:所述工单收集模块,实现与工单系统的交互,开发restful a...
【专利技术属性】
技术研发人员:梁冰,张明哲,
申请(专利权)人:浪潮云信息技术股份公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。