本发明专利技术实施例公开了多模态生成式大模型训练方法、装置及计算机设备。所述方法包括：使用思维链技术制定标注规范；获取工业设备巡检、环境隐患监控、人员操作状态的正常图像样本和异常图像样本，以得到训练数据；根据所述标注规范对所述训练数据进行标注，以得到标注结果；构建多模态模型；采用所述标注结果对所述多模态模型进行训练，以得到对应的多模态生成式大模型。通过实施本发明专利技术实施例的方法可实现让识别模型明确推理过程和结论之间的关系，输出更精确，激发识别模型的逻辑推理能力，提升识别模型的推理准确率。升识别模型的推理准确率。升识别模型的推理准确率。
【技术实现步骤摘要】
多模态生成式大模型训练方法、装置及计算机设备
[0001]本专利技术涉及多模态模型训练方法，更具体地说是指多模态生成式大模型训练方法、装置及计算机设备。
技术介绍
[0002]多模态大模型以图像、文本、信号等多模态数据为输入，依据指令和输入数据进行推理，最终输出回答。由于其强悍的推理能力，大模型越来越受到各行业的关注。目前，大模型的基础模型潜力仍未有效激发，垂直领域应用仍需要专业知识深度融合，因此，高质量的指令数据构建成为发挥大模型的能力的关键技术。
[0003]在拍摄的森林和山上的图像，通常采用多模态大模型作为识别模型进行山火烟雾的识别，以提前对山火进行预警，目前该识别模型的指令训练数据标注与模型训练过程中，当前对垂直领域数据的标注多为点、线、框、掩码或文字结论的简单描述，没有包含推理过程，这种简单描述不能完全激发大模型的能力，训练出的模型的性能难以满足业务要求，导致识别结果的不准确。
[0004]因此，有必要设计一种新的方法，实现让识别模型明确推理过程和结论之间的关系，输出更精确，激发识别模型的逻辑推理能力，提升识别模型的推理准确率。
技术实现思路
[0005]本专利技术的目的在于克服现有技术的缺陷，提供多模态生成式大模型训练方法、装置、计算机设备及存储介质。
[0006]为实现上述目的，本专利技术采用以下技术方案：多模态生成式大模型训练方法，包括：使用思维链技术制定标注规范；获取工业设备巡检、环境隐患监控、人员操作状态的正常图像样本和异常图像样本，以得到训练数据；根据所述标注规范对所述训练数据进行标注，以得到标注结果；构建多模态模型；采用所述标注结果对所述多模态模型进行训练，以得到对应的多模态生成式大模型。
[0007]其进一步技术方案为：所述使用思维链技术制定标注规范，包括：制定训练数据内的设备缺陷、环境隐患、人员操作违规状态和其他重要目标进行位置以及状态信息的描述内容；依据业务判定逻辑链条根据所述描述内容形成分析过程的阐述，并给出结论。
[0008]其进一步技术方案为：所述制定训练数据内的设备缺陷、环境隐患、人员操作违规状态和其他重要目标进行位置以及状态信息的描述内容，包括：对所述训练数据中是否存在设备缺陷、环境隐患、人员违规状态，并对设备缺陷的
状态和位置信息、环境隐患的状态和位置信息、人员违规状态的详细动作和位置信息进行描述，以构成第一描述内容；对所述训练数据中是否存在其他重要目标，并描述其他重要目标的状态及位置，以构成第二描述内容；将第一描述内容与所述第二描述内容组合，以得到描述内容。
[0009]其进一步技术方案为：所述依据业务判定逻辑链条根据所述描述内容形成分析过程的阐述，并给出结论，包括：将所述描述内容与业务判定逻辑链条进行匹配，形成分析过程的阐述，并得到结论。
[0010]其进一步技术方案为：所述业务判定逻辑链条包括三条逻辑链条，三条逻辑链条分别为依据行业缺陷判别定级准则，对设备缺陷进行最小逻辑链条描述以及缺陷定级；依据环境隐患判别定级准则，对环境隐患进行最小逻辑链条描述以及隐患定级；依据人员作业违规判别定级准则，对违规作业行为进行最小逻辑链条描述以及违规定级。
[0011]其进一步技术方案为：所述采用所述标注结果对所述多模态模型进行训练，以得到对应的多模态生成式大模型，包括：对所述标注结果进行预处理，以得到向量、非文本类的监督标签、文本结论监督标签以及推理过程监督标签；将所述向量输入至多模态模型，以得到输出结果；将输出结果、非文本类的监督标签、文本结论监督标签以及推理过程监督标签构建损失函数，并以损失函数计算损失值，确定对应的多模态生成式大模型。
[0012]其进一步技术方案为：所述对所述标注结果进行预处理，以得到向量、非文本类的监督标签、文本结论监督标签以及推理过程监督标签，包括：对所述标注结果中的图片和指令文本进行预处理，以得到向量；对所述标注结果中的点、框、掩码进行预处理，形成非文本类的监督标签；将所述标注结果的文本进行预处理，以得到模型的文本结论监督标签和推理过程监督标签。
[0013]本专利技术还提供了多模态生成式大模型训练装置，包括：规范制定单元，用于使用思维链技术制定标注规范；获取单元，用于获取工业设备巡检、环境隐患监控、人员操作状态的正常图像样本和异常图像样本，以得到训练数据；标注单元，用于根据所述标注规范对所述训练数据进行标注，以得到标注结果；构建单元，用于构建多模态模型；训练单元，用于采用所述标注结果对所述多模态模型进行训练，以得到对应的多模态生成式大模型。
[0014]本专利技术还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
[0015]本专利技术还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。
[0016]本专利技术与现有技术相比的有益效果是：本专利技术通过采用思维链技术制定标注规
范，在获取相关图像后，采用制定的标注规范进行数据标注，再利用标注的结果训练多模态模型，形成对应的多模态生成式大模型，实现让识别模型明确推理过程和结论之间的关系，输出更精确，激发识别模型的逻辑推理能力，提升识别模型的推理准确率。
[0017]下面结合附图和具体实施例对本专利技术作进一步描述。
附图说明
[0018]为了更清楚地说明本专利技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0019]图1为本专利技术实施例提供的多模态生成式大模型训练方法的应用场景示意图；图2为本专利技术实施例提供的多模态生成式大模型训练方法的流程示意图；图3为本专利技术实施例提供的多模态生成式大模型训练方法的子流程示意图；图4为本专利技术实施例提供的多模态生成式大模型训练方法的子流程示意图；图5为本专利技术实施例提供的多模态生成式大模型训练方法的子流程示意图；图6为本专利技术实施例提供的多模态生成式大模型训练方法的子流程示意图；图7为本专利技术实施例提供的多模态生成式大模型训练装置的示意性框图；图8为本专利技术实施例提供的多模态生成式大模型训练装置的规范制定单元的示意性框图；图9为本专利技术实施例提供的多模态生成式大模型训练装置的内容制定子单元的示意性框图；图10为本专利技术实施例提供的多模态生成式大模型训练装置的训练单元的示意性框图；图11为本专利技术实施例提供的多模态生成式大模型训练装置的预处理子单元的示意性框图；图12为本专利技术实施例提供的计算机设备的示意性框图。
具体实施方式
[0020]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。...
【技术保护点】
【技术特征摘要】
1.多模态生成式大模型训练方法，其特征在于，包括：使用思维链技术制定标注规范；获取工业设备巡检、环境隐患监控、人员操作状态的正常图像样本和异常图像样本，以得到训练数据；根据所述标注规范对所述训练数据进行标注，以得到标注结果；构建多模态模型；采用所述标注结果对所述多模态模型进行训练，以得到对应的多模态生成式大模型。2.根据权利要求1所述的多模态生成式大模型训练方法，其特征在于，所述使用思维链技术制定标注规范，包括：制定训练数据内的设备缺陷、环境隐患、人员操作违规状态和其他重要目标进行位置以及状态信息的描述内容；依据业务判定逻辑链条根据所述描述内容形成分析过程的阐述，并给出结论。3.根据权利要求2所述的多模态生成式大模型训练方法，其特征在于，所述制定训练数据内的设备缺陷、环境隐患、人员操作违规状态和其他重要目标进行位置以及状态信息的描述内容，包括：对所述训练数据中是否存在设备缺陷、环境隐患、人员违规状态，并对设备缺陷的状态和位置信息、环境隐患的状态和位置信息、人员违规状态的详细动作和位置信息进行描述，以构成第一描述内容；对所述训练数据中是否存在其他重要目标，并描述其他重要目标的状态及位置，以构成第二描述内容；将第一描述内容与所述第二描述内容组合，以得到描述内容。4.根据权利要求3所述的多模态生成式大模型训练方法，其特征在于，所述依据业务判定逻辑链条根据所述描述内容形成分析过程的阐述，并给出结论，包括：将所述描述内容与业务判定逻辑链条进行匹配，形成分析过程的阐述，并得到结论。5.根据权利要求4所述的多模态生成式大模型训练方法，其特征在于，所述业务判定逻辑链条包括三条逻辑链条，三条逻辑链条分别为依据行业缺陷判别定级准则，对设备缺陷进行最小逻辑链条描述以及缺陷定级；依据环境隐患判别定级准则，对环境隐患进行最小逻辑链条描述以及隐患定级；依据人员作业违规判...
【专利技术属性】
技术研发人员：豆泽阳，甘家旭，庞磊，蒋阳，
申请(专利权)人：珠高智能科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。