【技术实现步骤摘要】
本申请属于大模型，具体地说，涉及基于多源数据融合结合大模型的多模态分析诊断模型。
技术介绍
1、ai模型是指针对特定的任务而设计和训练的模型，它们通常只能在该任务上表现良好，在其他任务上则效果较差，一般的ai模型通常包括以下几个步骤：数据预处理、特征提取：将预处理后的文本数据转换为数值向量，以便于模型进行计算；模型构建：选择合适的机器学习或深度学习算法来构建分类器，如朴素贝叶斯、支持向量机、决策树、随机森林、逻辑回归、多层感知机、卷积神经网络、循环神经网络等；模型训练：使用标注好的训练集来训练分类器，通过优化损失函数来调整模型参数，使其能够正确地预测文本类别；模型评估：使用没有标注过的测试集来评估分类器的性能，通过计算准确率、召回率、f1值等指标来衡量模型效果；模型应用：将训练好的分类器应用到实际场景中，对新输入的文本进行分类，并给出相应的输出或反馈。
2、但现有的判别式人工智能需要大量标注好的数据来训练，在故障诊断领域获取故障数据是一项耗时、昂贵、低效的工作，往往需要专业的人员和工具来完成，而且，标注数据的质量和数量直接影响了诊断模型的性能和泛化能力，如果标注数据不足或不准确，模型就会出现欠拟合或过拟合的问题；同时是针对特定设备设计和训练的，它们通常只能在该设备上表现良好，在其他设备上效果较差，这意味着，如果要应对不同的设备和工况，就需要重新设计和训练新的模型，这会增加开发成本和时间，也会造成模型的冗余和浪费；而且是基于振动、温度、工艺参数等时间序列数据特征提取和模型构建方法来实现的，而忽略了设备维修记录、一线设备
技术实现思路
1、为解决上述问题和技术缺陷，本申请实施例采用如下的技术方案，基于多源数据融合结合大模型的多模态分析诊断模型，包括：
2、场景模型模块，用于根据不同的任务和场景调用不同的功能模块；
3、行业大模型模块，用于根据不同的行业需求建立不同的行业大模型；
4、任务执行模块，用于根据不同的任务需求调用不同的任务模型和功能应用；
5、配套工具模块，用于根据任务需求提供工具或引擎；
6、数据知识模块，用于建立多种数据库，将不同的数据分类存储至对应的数据库中。
7、优选地所述场景模型模块内的功能模块包括：
8、诊断助手模块，用于基于多源数据联合分析，进行智能问答，自动化生成维修工单、建议和故障报告；
9、知识图谱模块，用于从大量碎片化数据中挖掘其相互联系，进行信息多向输出，生成自然的人机交互，降低业务升级维护需求；
10、智能控制模块，用于以大模型和数字员工平台为底座搭建的生成式智慧控制平台，通过调用和配置，与信息化系统、数据库、非结构化知识库连接起来；
11、多模态决策模块，用于通过提取特征提高模型的性能和泛化能力，运用设备的语料信息，通过学习不同模态之间的关联，增强模型的语义理解和表达能力；
12、智能运维模块，用于以自然语言的方式进行设备预测性维护交流，解答客户对设备状态监测、故障类型和使用寿命问题的及时回答，打造无人值守客服模式。
13、进一步地智能控制模块是通过大模型实现信息调取将静态展示演化为依赖数据库和人工操作，集成数据源，根据运营状况对决策过程进行优化，包括：数字交互模块、全局查询模块和关联问答模块。
14、更进一步地所述数字交互模块，通过让用户与虚拟人问答即获取相应的信息，将结果数字化展现；
15、全局查询模块，通过对接多种数据源，直接给出问答结果，无需切换系统，实时探索数据；
16、所述关联问答模块，通过根据用户提供的问题内容，利用大模型进行学习推理，生成不同角度、不同层次的相关回答。
17、所述多模态决策模块，从不同的媒体数据信息中提取出丰富全面的特征，使用transformer自编码的训练模式进行数据训练。
18、进一步地所述智能运维模块是基于设备运维经验、行业数据、机理诊断基础、现场和历史收集数据和制造商提供数据，利用大模型生成ai数字人，包括：数据抓取模块、数据交互模块、特征提取模块和决策问答模块。
19、更进一步地，数据抓取模块，用于从海量的底层数据中抓取、分析需要的目标数据，通过交互式ai去创建相应的答案，实现对资产设备可靠性管理；
20、数据交互模块，用于以数字人为交互入口，后台接入业务系统和aic大模型，实现开放式业务问答；
21、特征提取模块，用于从知识库里提取设备故障特征、维修保养的建议、动态创建故障发生时引发的原因；
22、决策问答模块，用于通过自然语言处理文本的支持，基于ai生成的内容提炼，由生成式ai调用结果，形成交互式问答，帮助组织优化运营、改进决策，推动数字化转型。
23、优选地，所述任务执行模块中的任务模型包括：时序大模型、自然语言大模型和多模态大模型。
24、进一步地，所述任务执行模块中的功能应用包括：振动和声纹信号理解感知功能、复杂工况要素识别功能、诊断专家知识继承功能、诊断结论生成创作功能、复杂表结构处理功能、工具调用功能和多模态理解功能。
25、优选地，所述配套工具模块内包括知识引擎、提示词工具和专业能力函数库。
26、优选地，所述数据知识模块内包括：设备采集数据库、设备知识数据库、设备检修数据库、行业领域知识库和资产管理库。
27、相比于现有技术，本申请实施例的有益效果为：
28、(1)本申请先在大规模的通用故障数据集上预训练，然后根据不同的设备和工况场景进行微调，而不需要重新设计和训练新的模型，ai大模型可以快速地应对多样化、碎片化的ai应用需求，也可以减少开发成本和时间，提高开发效率；
29、(2)本申请在没有标注的数据集据上进行无监督或自监督的学习，让模型学习到通用的故障诊断知识和能力，利用海量的未标注故障数据来进行预训练，而不需要依赖于少量的标注数据，可以充分挖掘数据中的信息和价值，也可以避免标注数据的不足或不准确带来的影响；
30、(3)本申请在预训练阶段学习到设备运行的通用设备运行日志等知识和能力，在微调阶段根据特定的任务和场景进行调整和优化，ai大模型可以捕捉到文本数据中的全局信息和深层语义，也可以理解文本数据中的复杂逻辑和知识，使得ai大模型具有了强大的通用性和灵活性，提升智慧运维在各种领域和场景中的应用效果。
本文档来自技高网...【技术保护点】
1.基于多源数据融合结合大模型的多模态分析诊断模型，其特征在于，包括：
2.根据权利要求1所述的基于多源数据融合结合大模型的多模态分析诊断模型，其特征在于，所述场景模型模块内的功能模块包括：
3.根据权利要求2所述的基于多源数据融合结合大模型的多模态分析诊断模型，其特征在于，智能控制模块是通过大模型实现信息调取将静态展示演化为依赖数据库和人工操作，集成数据源，根据运营状况对决策过程进行优化，包括：数字交互模块、全局查询模块和关联问答模块。
4.根据权利要求3所述的基于多源数据融合结合大模型的多模态分析诊断模型，其特征在于，所述数字交互模块，通过让用户与虚拟人问答即获取相应的信息，将结果数字化展现；
5.根据权利要求2所述的基于多源数据融合结合大模型的多模态分析诊断模型，其特征在于，所述智能运维模块是基于设备运维经验、行业数据、机理诊断基础、现场和历史收集数据和制造商提供数据，利用大模型生成AI数字人，包括：数据抓取模块、数据交互模块、特征提取模块和决策问答模块。
6.根据权利要求5所述的基于多源数据融合结合大模型的多模态
7.根据权利要求1所述的基于多源数据融合结合大模型的多模态分析诊断模型，其特征在于，所述任务执行模块中的任务模型包括：时序大模型、自然语言大模型和多模态大模型。
8.根据权利要求7所述的基于多源数据融合结合大模型的多模态分析诊断模型，其特征在于，所述任务执行模块中的功能应用包括：振动和声纹信号理解感知功能、复杂工况要素识别功能、诊断专家知识继承功能、诊断结论生成创作功能、复杂表结构处理功能、工具调用功能和多模态理解功能。
9.根据权利要求1所述的基于多源数据融合结合大模型的多模态分析诊断模型，其特征在于，所述配套工具模块内包括知识引擎、提示词工具和专业能力函数库。
10.根据权利要求1所述的基于多源数据融合结合大模型的多模态分析诊断模型，其特征在于，所述数据知识模块内包括：设备采集数据库、设备知识数据库、设备检修数据库、行业领域知识库和资产管理库。
...【技术特征摘要】
1.基于多源数据融合结合大模型的多模态分析诊断模型，其特征在于，包括：
2.根据权利要求1所述的基于多源数据融合结合大模型的多模态分析诊断模型，其特征在于，所述场景模型模块内的功能模块包括：
3.根据权利要求2所述的基于多源数据融合结合大模型的多模态分析诊断模型，其特征在于，智能控制模块是通过大模型实现信息调取将静态展示演化为依赖数据库和人工操作，集成数据源，根据运营状况对决策过程进行优化，包括：数字交互模块、全局查询模块和关联问答模块。
4.根据权利要求3所述的基于多源数据融合结合大模型的多模态分析诊断模型，其特征在于，所述数字交互模块，通过让用户与虚拟人问答即获取相应的信息，将结果数字化展现；
5.根据权利要求2所述的基于多源数据融合结合大模型的多模态分析诊断模型，其特征在于，所述智能运维模块是基于设备运维经验、行业数据、机理诊断基础、现场和历史收集数据和制造商提供数据，利用大模型生成ai数字人，包括：数据抓取模块、数据交互模块、特征提取模块和决策问答模块。
6.根据权利要求5所述的基于多源数据融合...
【专利技术属性】
技术研发人员：胡勇，彭六保，曾志生，邴奇，佟文杰，
申请(专利权)人：航天智控北京监测技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。