【技术实现步骤摘要】
本专利技术涉及模型学习方法，更具体地说是指多模态大模型增量学习方法、装置及计算机设备。
技术介绍
1、近年来，多模态生成式大模型已成为机器学习领域的热点，引发广泛研究和关注，取得显著突破，广泛应用于各行各业。当前，主要应用的多模态大模型为通用型大模型，其逻辑推理能力经过大量公开数据集的训练而变得更加精细，但在垂直领域应用时表现欠佳，需要经过数据微调以提升其在垂直领域的性能以满足业务需求。
2、然而，垂直领域的有效数据相对有限，特别是电力安全监控领域中的检测山火烟雾是否对电力设施有影响的领域中，难以在短时间内收集足够的训练数据，尤其涉及多样化的场景和应用。在这种情况下，必须采用一种边应用边更新的策略，以不断提高多模态大模型的性能，这种持续性更新的方法是至关重要的，因为它允许模型适应新的数据和场景，使其保持最新的知识和适应性。
3、现有的是采用多模态大模型进行增量学习的方式以达到持续性更新的目的，主要包括两种方法，第一种是将新收集并标注的新场景数据与旧训练数据合并，使用合并后的数据对多模态大模型从预训练的过程中进行微调，但是该方法消耗的计算资源和时间较多，且新增的数据往往分布不均衡，难以达到预期的全面性能提升目标；第二种方法是只使用新收集并标注的新场景数据，在已做垂直领域微调的模型上进行微调训练，但是这种方法通常会出现知识遗忘问题，往往在新数据包含场景上表现较好，但在旧训练数据的场景上性能会下降。综上所述，现有的增量学习方法存在可能导致知识遗忘问题，计算资源的消耗和时间也会增加。
4、因此，有必要
技术实现思路
1、本专利技术的目的在于克服现有技术的缺陷，提供多模态大模型增量学习方法、装置及计算机设备。
2、为实现上述目的，本专利技术采用以下技术方案：多模态大模型增量学习方法，包括：
3、获取待更新多模态大模型；
4、获取工业设备巡检、环境隐患监控、人员操作状态相关数据，并构建增量学习数据池；
5、采用所述待更新多模态大模型与所述增量学习数据池构建总训练集；
6、根据所述总训练集动态构建增量学习训练集，并利用所述增量学习训练集对所述待更新多模态大模型进行基于近邻学习的增量学习，以得到增量学习后的模型。
7、其进一步技术方案为：所述待更新多模态大模型是通过带有位置、类别以及文字描述标签的工业设备巡检、环境隐患监控、人员操作状态图像作为样本集对通用大模型进行垂直领域微调所得的。
8、其进一步技术方案为：所述待更新多模态大模型是通过带有位置、类别以及文字描述标签的工业设备巡检、环境隐患监控、人员操作状态图像作为样本集对通用大模型进行微调所得的，包括：
9、获取与具体任务相关的数据，以得到初始数据；
10、对所述初始数据按照规范进行标签标注，以得到样本集；
11、使用通用大模型作为基础模型，利用所述样本集对所述通用大模型进行微调，对微调后的模型进行性能测试，根据性能测试结果对微调后的模型进行优化，重新进行微调和性能测试，直到达到符合要求的性能指标，以得到待更新多模态大模型。
12、其进一步技术方案为：所述获取工业设备巡检、环境隐患监控、人员操作状态相关数据，并构建增量学习数据池，包括：
13、获取工业设备巡检、环境隐患监控、人员操作状态的新增场景数据以及所述待更新多模态大模型误识别数据，以得到原始数据；
14、对所述原始数据进行去重，并按照规范对去重后的原始数据进行标签标注，以得到增量学习数据池。
15、其进一步技术方案为：所述采用所述待更新多模态大模型与所述增量学习数据池构建总训练集，包括：
16、使用所述待更新多模态大模型对所述增量学习数据池中的数据进行推理，以得到每一个样本的识别结果；
17、结合增量学习数据池中的数据所对应的标签，筛选所述识别结果与对应的标签不一致的数据，并利用筛选所得的数据构建为总训练集。
18、其进一步技术方案为：所述根据所述总训练集动态构建增量学习训练集，并利用所述增量学习训练集对所述待更新多模态大模型进行基于近邻学习的增量学习，以得到增量学习后的模型，包括：
19、统计总训练集中每一类样本的数量，确定数量最少的一类样本数量，以得到目标数量；
20、将所述总训练集的数据按照类别分为不同的子集，从每个子集中随机采样目标数量的样本动态构建训练集，对所述待更新多模态大模型进行基于近邻学习的增量学习并记录指标，根据预设条件循环增量学习的训练直至满足停止条件，以得到增量学习后的模型。
21、其进一步技术方案为：所述将所述总训练集的数据按照类别分为不同的子集，从每个子集中随机采样目标数量的样本动态构建训练集，对所述待更新多模态大模型进行基于近邻学习的增量学习并记录指标，根据预设条件循环增量学习的训练直至满足停止条件，以得到增量学习后的模型，包括：
22、按照类别将所述总训练集的数据分为不同的子集；
23、对于每次增量学习的训练过程，从每个子集中随机采样目标数量的样本，组合成新的训练集，使用对所述待更新多模态大模型进行基于近邻学习的增量学习，并记录训练损失、准确率指标，直到达到预设的停止条件，以得到增量学习后的模型；
24、其中，基于近邻学习的增量学习是对上一版的多模态大模型的损失函数的基础上增加一个近邻损失函数，第一次增量学习时的上一版的多模态大模型为待更新模态大模型。
25、本专利技术还提供了多模态大模型增量学习装置，包括：
26、模型获取单元，用于获取待更新多模态大模型；
27、数据池搭建单元，用于获取工业设备巡检、环境隐患监控、人员操作状态相关数据，并构建增量学习数据池；
28、总训练集构建单元，用于采用所述待更新多模态大模型与所述增量学习数据池构建总训练集；
29、增量学习单元，用于根据所述总训练集动态构建增量学习训练集，并利用所述增量学习训练集对所述待更新多模态大模型进行基于近邻学习的增量学习，以得到增量学习后的模型。
30、其进一步技术方案为：还包括：
31、模型构建单元，用于通过带有位置、类别以及文字描述标签的工业设备巡检、环境隐患监控、人员操作状态图像作为样本集对通用大模型进行垂直领域微调，以得到所述待更新多模态大模型。
32、本专利技术还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
33、本专利技术与现有技术相比的有益效果是：本专利技术通过不同场景以及待更新多模态大模型容易误识别的数据构建增量学习数据池，并结合待更新多模态大模型构建总训练集，采用动态的方式构建增量学习训练集，利用所述增量学习训练集对所述待更新多本文档来自技高网...
【技术保护点】
1.多模态大模型增量学习方法，其特征在于，包括：
2.根据权利要求1所述的多模态大模型增量学习方法，其特征在于，所述待更新多模态大模型是通过带有位置、类别以及文字描述标签的工业设备巡检、环境隐患监控、人员操作状态图像作为样本集对通用大模型进行垂直领域微调所得的。
3.根据权利要求2所述的多模态大模型增量学习方法，其特征在于，所述待更新多模态大模型是通过带有位置、类别以及文字描述标签的工业设备巡检、环境隐患监控、人员操作状态图像作为样本集对通用大模型进行微调所得的，包括：
4.根据权利要求1所述的多模态大模型增量学习方法，其特征在于，所述获取工业设备巡检、环境隐患监控、人员操作状态相关数据，并构建增量学习数据池，包括：
5.根据权利要求4所述的多模态大模型增量学习方法，其特征在于，所述采用所述待更新多模态大模型与所述增量学习数据池构建总训练集，包括：
6.根据权利要求5所述的多模态大模型增量学习方法，其特征在于，所述根据所述总训练集动态构建增量学习训练集，并利用所述增量学习训练集对所述待更新多模态大模型进行基于近邻学习的增
7.根据权利要求6所述的多模态大模型增量学习方法，其特征在于，所述将所述总训练集的数据按照类别分为不同的子集，从每个子集中随机采样目标数量的样本动态构建训练集，对所述待更新多模态大模型进行基于近邻学习的增量学习并记录指标，根据预设条件循环增量学习的训练直至满足停止条件，以得到增量学习后的模型，包括：
8.多模态大模型增量学习装置，其特征在于，包括：
9.根据权利要求8所述的多模态大模型增量学习装置，其特征在于，还包括：
10.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的方法。
...【技术特征摘要】
1.多模态大模型增量学习方法，其特征在于，包括：
2.根据权利要求1所述的多模态大模型增量学习方法，其特征在于，所述待更新多模态大模型是通过带有位置、类别以及文字描述标签的工业设备巡检、环境隐患监控、人员操作状态图像作为样本集对通用大模型进行垂直领域微调所得的。
3.根据权利要求2所述的多模态大模型增量学习方法，其特征在于，所述待更新多模态大模型是通过带有位置、类别以及文字描述标签的工业设备巡检、环境隐患监控、人员操作状态图像作为样本集对通用大模型进行微调所得的，包括：
4.根据权利要求1所述的多模态大模型增量学习方法，其特征在于，所述获取工业设备巡检、环境隐患监控、人员操作状态相关数据，并构建增量学习数据池，包括：
5.根据权利要求4所述的多模态大模型增量学习方法，其特征在于，所述采用所述待更新多模态大模型与所述增量学习数据池构建总训练集，包括：
6.根据权利要求5...
【专利技术属性】
技术研发人员：蒋阳，甘家旭，豆泽阳，庞磊，
申请(专利权)人：传申弘安智能深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。