【技术实现步骤摘要】
本专利技术涉及电力运维，特别是涉及一种用于电力运维的大模型微调方法、系统、设备及介质。
技术介绍
1、随着电力运维领域的不断发展，电力设备智能化的需求快速上升，基于图神经网络和长短期记忆网络等技术的电力运维数据挖掘方法先后出现。但由于电力运维业务涉及故障诊断、设备维护、能源管理、电网调度等各类复杂内容，包含大量非结构化稀疏数据且具有数据内容繁杂、噪声大、质量差且冗余严重的特点，导致上述数据挖掘方法应用时不仅信息处理效率低，而且难以实现运维协同互动。基于此，大模型因可以梳理复杂的非结构化数据和可以实现人机互动协调而被引入电力运维领域。
2、现有研究人员仅专注于以大模型检索增强系统为基础的电力运维知识问答，通过引入了长文本嵌入模型对基础电力知识进行向量化处理。然而，这方面的技术虽然能够应对大模型幻觉带来的挑战，但是依旧存在很严重的缺陷：1）电力运维领域具有极强的专业性，通用大模型缺乏对电力信息运维专业知识的精确理解，在转化用户指令和生成智能回答上都无法满足专业要求；2）通用大模型对于电力运维领域的专业个性化需求缺乏对齐范式，在问题分解与逻辑链转化上存在偏差，难以在实际场景中落地。即现有电力运维领域的大模型实际使用难以在保证信息处理效率和处理质量的同时，还能满足专业知识交互能力需求。因此，亟需从数据质量优化的角度，提供一种适用于电力运维大数据分析处理的，高效且可靠的专家级大模型微调方法。
技术实现思路
1、本专利技术的目的是提供一种用于电力运维的大模型微调方法，通过以电力信息
2、为了实现上述目的，有必要针对上述技术问题，提供一种用于电力运维的大模型微调方法、系统、设备及介质。
3、第一方面，本专利技术实施例提供了一种用于电力运维的大模型微调方法，所述方法包括以下步骤：
4、获取待处理电力运维数据集，并将所述电力运维数据集中的各个运维数据样本作为待优化问题样本；所述待处理电力运维数据集包括故障诊断样本和负载预测样本；
5、根据预设关键词库对各个待优化问题样本进行分析，得到对应的运维问题类型；
6、根据所述运维问题类型和第一预设大语言模型，对各个待优化问题样本进行预设数据特征提取，得到对应的问题特征文本，并根据对应的预设数据类型知识库对所述问题特征文本进行扩充，生成对应的问题微调训练样本；
7、将同一运维问题类型的问题微调训练样本汇总，得到对应的问题微调训练样本集，并将所述问题微调训练样本集划分为问题指令微调样本子集和问题增量微调样本子集；
8、根据所述问题指令微调样本子集和所述问题增量微调样本子集，基于量化低秩适应微调技术对第二预设大语言模型进行微调训练，得到对应的运维问题大模型，并将所有运维问题大模型进行合并，得到电力运维垂域大模型。
9、进一步地，所述预设关键词库包括故障诊断关键词库和负载预测关键词库；所述根据预设关键词库对各个待优化问题样本进行分析，得到对应的运维问题类型的步骤包括：
10、通过预设语义向量模型对所述待优化问题样本进行向量化计算，得到对应的向量化处理结果；
11、通过所述预设语义向量模型对各个预设关键词库进行向量化处理，得到对应的向量化关键词库；
12、计算各个向量化关键词库中每个关键词与所述向量化处理结果的余弦相似度，得到各个向量化关键词库对应的关键词相似度列表；
13、获取各个向量化关键词库的关键词相似度列表中最大相似度值对应的关键词作为候选用户问题关键词；
14、将所有候选用户问题关键词中相似度值最大的关键词作为用户问题关键词；
15、根据所述用户问题关键词对应预设关键词库的类型，得到所述运维问题类型。
16、进一步地，当所述运维问题类型为故障诊断时，所述问题特征文本包括故障类型、故障特征和故障位置；所述根据对应的预设数据类型知识库对所述问题特征文本进行扩充，生成对应的问题微调训练样本的步骤包括：
17、根据多维相似度综合评估法，分别对所述问题特征文本和所述预设数据类型知识库中各个案例文本进行综合相似度计算，得到对应的文本综合相似度；
18、当所述问题特征文本与所述案例文本的文本综合相似度大于预设相似度阈值时，将所述案例文本追加至所述问题特征文本的末端，得到候选问题微调训练样本；
19、将所述候选问题微调训练样本输入所述第一预设大语言模型进行文本可理解性和逻辑准确性检测，并当检测合格时，将所述候选问题微调训练样本作为所述问题微调训练样本。
20、进一步地，当所述运维问题类型为负载预测时，所述预设数据特征包括预测条件和参考模型知识；所述参考模型知识包括模型类型、数据来源、特征变量、目标变量、预测方法、模型评估指标、预测假设和外部因素；所述根据对应的预设数据类型知识库对所述问题特征文本进行扩充，生成对应的问题微调训练样本的步骤包括：
21、对所述问题特征文本中的预测条件和参考模型知识分别进行文本预处理，得到对应的预测条件词列表和模型知识词列表；
22、获取所述预测条件词列表和所述模型知识词列表的词频相似度和杰卡德相似系数，并将所述词频相似度和所述杰卡德相似系数进行加权求和，得到对应的预测条件影响因子；
23、当所述预测条件影响因子大于预设可信阈值时，根据多维相似度综合评估法，分别对所述问题特征文本和所述预设数据类型知识库中各个案例文本进行综合相似度计算，得到对应的文本综合相似度；
24、当所述问题特征文本与所述案例文本的文本综合相似度大于预设相似度阈值时，将所述案例文本追加至所述问题特征文本的末端，得到候选问题微调训练样本；
25、将所述候选问题微调训练样本输入所述第一预设大语言模型进行文本可理解性和逻辑准确性检测，并当检测合格时，将所述候选问题微调训练样本作为所述问题微调训练样本。
26、进一步地，所述多维相似度综合评估法为分别计算杰卡德相似系数、戴斯相似性系数和n元组相似度值，再计算所述杰卡德相似系数与所述戴斯相似性系数的相似系数平均值，并将所述相似系数平均值和所述n元组相似度值进行加权平均得到综合相似度。
27、进一步地，所述将所述问题微调训练样本集划分为问题指令微调样本子集和问题增量微调样本子集的步骤包括：
28、分别获取所述问题微调训练样本集中各个问题微调本文档来自技高网...
【技术保护点】
1.一种用于电力运维的大模型微调方法，其特征在于，所述方法包括以下步骤：
2.如权利要求1所述的用于电力运维的大模型微调方法，其特征在于，所述预设关键词库包括故障诊断关键词库和负载预测关键词库；所述根据预设关键词库对各个待优化问题样本进行分析，得到对应的运维问题类型的步骤包括：
3.如权利要求1所述的用于电力运维的大模型微调方法，其特征在于，当所述运维问题类型为故障诊断时，所述问题特征文本包括故障类型、故障特征和故障位置；所述根据对应的预设数据类型知识库对所述问题特征文本进行扩充，生成对应的问题微调训练样本的步骤包括：
4.如权利要求1所述的用于电力运维的大模型微调方法，其特征在于，当所述运维问题类型为负载预测时，所述预设数据特征包括预测条件和参考模型知识；所述参考模型知识包括模型类型、数据来源、特征变量、目标变量、预测方法、模型评估指标、预测假设和外部因素；所述根据对应的预设数据类型知识库对所述问题特征文本进行扩充，生成对应的问题微调训练样本的步骤包括：
5.如权利要求3或4所述的用于电力运维的大模型微调方法，其特征在于，所述多维
6.如权利要求1所述的用于电力运维的大模型微调方法，其特征在于，所述将所述问题微调训练样本集划分为问题指令微调样本子集和问题增量微调样本子集的步骤包括：
7.如权利要求1所述的用于电力运维的大模型微调方法，其特征在于，所述待处理电力运维数据集还包括通用任务样本；所述预设关键词库还包括通用任务关键词库；所述方法还包括：
8.一种用于电力运维的大模型微调系统，其特征在于，所述系统包括：
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一所述方法的步骤。
...【技术特征摘要】
1.一种用于电力运维的大模型微调方法，其特征在于，所述方法包括以下步骤：
2.如权利要求1所述的用于电力运维的大模型微调方法，其特征在于，所述预设关键词库包括故障诊断关键词库和负载预测关键词库；所述根据预设关键词库对各个待优化问题样本进行分析，得到对应的运维问题类型的步骤包括：
3.如权利要求1所述的用于电力运维的大模型微调方法，其特征在于，当所述运维问题类型为故障诊断时，所述问题特征文本包括故障类型、故障特征和故障位置；所述根据对应的预设数据类型知识库对所述问题特征文本进行扩充，生成对应的问题微调训练样本的步骤包括：
4.如权利要求1所述的用于电力运维的大模型微调方法，其特征在于，当所述运维问题类型为负载预测时，所述预设数据特征包括预测条件和参考模型知识；所述参考模型知识包括模型类型、数据来源、特征变量、目标变量、预测方法、模型评估指标、预测假设和外部因素；所述根据对应的预设数据类型知识库对所述问题特征文本进行扩充，生成对应的问题微调训练样本的步骤包括：
5.如权利要求3或4所述的用于电力运维的大模型微调方法，其...
【专利技术属性】
技术研发人员：张京伦，蔡晴，吴慧，梅峰，郑星航，包迅格，张锐峰，郑妮，陈璇玮，伍星宇，
申请(专利权)人：国网浙江省电力有限公司信息通信分公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。