【技术实现步骤摘要】
本专利技术涉及数据处理领域，特别涉及基于多模态大模型的电网调度自动化智能运维方法及系统。
技术介绍
1、随着5g、云计算、物联网等技术的快速发展，网络规模和复杂性迅速增加。传统的人工运维模式逐渐难以应对海量设备和复杂的网络问题，且运维效率低、故障处理滞后，运维成本不断攀升。基于此需求，ai（人工智能）技术开始逐步引入运维领域，形成了智能运维（aiops）这一概念。现有技术提出了多种架构，例如，一种结合ai、大数据、rpa（机器人流程自动化）等技术的运维智能化解决方案，通过多模态输入、意图理解、知识图谱和aigc（生成式ai）模型的结合，打造“运维数字员工”，提升网络运维的智能化水平。
2、得益于aigc模型的出现，使得各类智能化运维方案的输出结果越来越精准，为提升运维效率提供了新的路径。但是，由于运维涉及的知识点较多，且多模态输入后的特征转化过程可能导致信息传递不准确等问题，基于aigc模型的智能化运维方案仍然会存在偶发性的输出结果不合实际或其他错误，而最严重的问题在于，模型通常只会按部就班地输出内容，而其自身并无法判断该结果是否可靠。因此对于运维人员来说，如果为了保证运维可靠性，必须对每次输出结果进行人工复核，使得智能化运维与人工运维的效率差距缩小，也使得智能化运维失去意义。
3、因此，如何使得运维系统可以意识到自身的局限，在无法准确判断的情况下及时提示风险，是提高运维效率的关键，也是目前难以解决的技术问题。
技术实现思路
1、针对现有技术存在的运维系统无
2、以下是本专利技术的技术方案。
3、基于多模态大模型的电网调度自动化智能运维方法，包括以下步骤：
4、s1：预先构建由语言处理模型、图像识别模型以及aigc运维模型组成的多模态大模型；
5、s2：输入文字输入信息及图像输入信息，并在图像输入信息中叠加标记信息；
6、s3：由多模态大模型中的图像识别模型识别图像输入信息以及标记信息，输出文字描述信息；
7、s4：由多模态大模型中的语言处理模型比较并合成文字输入信息与文字描述信息，生成文字线索合集；
8、s5：由多模态大模型中的aigc运维模型分别独立读取文字输入信息以及文字线索合集，输出对应的不同运维方案文本，同时基于文字线索合集的关键词对历史运维方案进行检索，得到检索结果；
9、s6：判断不同运维方案文本与检索结果的匹配度，若匹配度均低于阈值，则执行s7，否则输出匹配度不低于阈值的运维方案文本及检索结果；
10、s7：输出运维方案文本和检索结果，并提示风险信息，若接收到更改指令，则基于更改指令得到更改后的文字输入信息和/或文字描述信息，回到s4，若接收到重置指令，则回到s2。
11、本专利技术中，由不同的子模型组成的多模态大模型，以供支持文字与图像的输入与处理，其中文字输入直接转化为文字输入信息，而图像输入信息以及标记信息转化为文字描述信息，利用文字输入信息与文字描述信息生成文字线索合集以表达完整的输入内容，随后，本专利技术分别独立读取文字输入信息以及文字线索合集获得的不同运维方案文本，同时根据文字线索合集检索历史的运维方案，由于其中一项运维方案文本只考虑了文字输入信息，而另一项运维方案文本同时考虑文字输入信息与文字描述信息（间接考虑了图像内容），在不确定文字或图像的表达是否清楚的情况下，两种运维方案文本的可靠性存疑，因此本专利技术继续通过对比历史运维方案进行核验，可以确定运维方案文本的可靠性，在展示的同时明确提示风险，一方面可供运维人员参考，另一方面不需要运维人员核查每个结果的可靠性，提高了运维效率。
12、作为优选，所述s1：预先构建由语言处理模型、图像识别模型以及aigc运维模型组成的多模态大模型，包括：
13、基于若干transformer编码器构建bert模型，训练所述bert模型以获得语言处理模型；
14、基于实时目标检测算法构建yolo模型，训练所述yolo模型以获得图像识别模型；
15、基于transformer的架构，采用多层自注意力机制和位置编码构建gpt模型，训练所述gpt模型以获得aigc运维模型。
16、作为优选，所述s2：输入文字输入信息及图像输入信息，并在图像输入信息中叠加标记信息，包括：
17、通过语音或文本输入的方式输入文字输入信息；
18、通过拍摄或导入的方式输入图像输入信息；
19、显示所述图像输入信息，由操作人员在图像输入信息中绘制封闭图形以构成标记信息，记录标记信息的坐标，基于坐标位置将标记信息叠加在图像输入信息中。
20、作为优选，所述s3：由多模态大模型中的图像识别模型识别图像输入信息以及标记信息，输出文字描述信息，包括：
21、由多模态大模型中的图像识别模型对图像输入信息进行目标检测，识别图像中的场景，输出场景描述信息，并对标记信息所涉及的图像区域进行单独的目标检测，识别并输出图像区域中关于目标设备的设备描述信息；
22、基于预设的描述模板，将场景描述信息与设备描述信息整合，输出文字描述信息。
23、作为优选，所述s4：由多模态大模型中的语言处理模型比较并合成文字输入信息与文字描述信息，生成文字线索合集，包括：
24、由多模态大模型中的语言处理模型对文字输入信息与文字描述信息进行识别，得到与运维任务相关的关键词作为线索信息，将提取出的线索信息以结构化的方式进行表示；
25、对线索信息进行对齐和融合处理，得到文字线索合集。
26、作为优选，所述s5：由多模态大模型中的aigc运维模型分别独立读取文字输入信息以及文字线索合集，输出对应的不同运维方案文本，同时基于文字线索合集的关键词对历史运维方案进行检索，得到检索结果，包括：
27、由多模态大模型中的aigc运维模型读取文字输入信息，基于文字输入信息输出第一运维方案文本；
28、由多模态大模型中的aigc运维模型读取文字线索合集，基于文字线索合集输出第二运维方案文本；
29、同时，调取历史运维方案，以文字线索合集中的关键词在历史运维方案中进行检索，将关联性最高的训练集对应的运维方案作为检索结果。
30、本专利技术中，文字输入信息与文字描述信息分别对应了运维场景中的文字输入与图片输入所携带的信息内容，而文字线索合集则携带了当前运维场景中的本文档来自技高网...
【技术保护点】
1.基于多模态大模型的电网调度自动化智能运维方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于多模态大模型的电网调度自动化智能运维方法，其特征在于，所述S1：预先构建由语言处理模型、图像识别模型以及AIGC运维模型组成的多模态大模型，包括：
3.根据权利要求1所述的基于多模态大模型的电网调度自动化智能运维方法，其特征在于，所述S2：输入文字输入信息及图像输入信息，并在图像输入信息中叠加标记信息，包括：
4.根据权利要求1所述的基于多模态大模型的电网调度自动化智能运维方法，其特征在于，所述S3：由多模态大模型中的图像识别模型识别图像输入信息以及标记信息，输出文字描述信息，包括：
5.根据权利要求1所述的基于多模态大模型的电网调度自动化智能运维方法，其特征在于，所述S4：由多模态大模型中的语言处理模型比较并合成文字输入信息与文字描述信息，生成文字线索合集，包括：
6.根据权利要求1所述的基于多模态大模型的电网调度自动化智能运维方法，其特征在于，所述S5：由多模态大模型中的AIGC运维模型分别独立读取文字输入信息以
7.根据权利要求6所述的基于多模态大模型的电网调度自动化智能运维方法，其特征在于，所述S6：判断不同运维方案文本与检索结果的匹配度，若匹配度均低于阈值，则执行S7，否则输出匹配度不低于阈值的运维方案文本及检索结果，包括：
8.根据权利要求1所述的基于多模态大模型的电网调度自动化智能运维方法，其特征在于，所述S7：输出运维方案文本和检索结果，并提示风险信息，若接收到更改指令，则基于更改指令得到更改后的文字输入信息和/或文字描述信息，回到S4，若接收到重置指令，则回到S2，包括：
9.基于多模态大模型的电网调度自动化智能运维系统，包括运维服务器与运维终端，其特征在于，所述运维服务器与运维终端被配置为用于执行权利要求1至8中任意一项所述的基于多模态大模型的电网调度自动化智能运维方法。
10.一种电子设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如权利要求1至8中任意一项所述的基于多模态大模型的电网调度自动化智能运维方法的步骤。
11.一种存储介质，其特征在于，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如权利要求1至8中任意一项所述的基于多模态大模型的电网调度自动化智能运维方法的步骤。
...【技术特征摘要】
1.基于多模态大模型的电网调度自动化智能运维方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于多模态大模型的电网调度自动化智能运维方法，其特征在于，所述s1：预先构建由语言处理模型、图像识别模型以及aigc运维模型组成的多模态大模型，包括：
3.根据权利要求1所述的基于多模态大模型的电网调度自动化智能运维方法，其特征在于，所述s2：输入文字输入信息及图像输入信息，并在图像输入信息中叠加标记信息，包括：
4.根据权利要求1所述的基于多模态大模型的电网调度自动化智能运维方法，其特征在于，所述s3：由多模态大模型中的图像识别模型识别图像输入信息以及标记信息，输出文字描述信息，包括：
5.根据权利要求1所述的基于多模态大模型的电网调度自动化智能运维方法，其特征在于，所述s4：由多模态大模型中的语言处理模型比较并合成文字输入信息与文字描述信息，生成文字线索合集，包括：
6.根据权利要求1所述的基于多模态大模型的电网调度自动化智能运维方法，其特征在于，所述s5：由多模态大模型中的aigc运维模型分别独立读取文字输入信息以及文字线索合集，输出对应的不同运维方案文本，同时基于文字线索合集的关键词对历史运维方案进行检索，得到检索结果，包括：
7.根据权利...
【专利技术属性】
技术研发人员：张静，阙凌燕，钱建国，娄冰，孙志华，沈奕菲，支月媚，瞿合祚，徐双碟，
申请(专利权)人：国网浙江省电力有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。