【技术实现步骤摘要】
本专利技术涉及基于聚类假设的增强标签方法和知识蒸馏技术，提出一种智能制造大模型的训练方法、系统和应用，通过构建智能制造大模型训练方法和系统并应用来解决工业制造领域任务单一、适应性较弱以及泛化能力不强的问题。
技术介绍
1、在智能制造领域，车间由多个生产单元组成，每个单元的运营条件各不相同，这种多样性经常导致信息离散和决策效率低下的问题。智能制造系统通过融合人机网络物理系统、自主智能、群体智能和跨媒体感知计算，有效应对这些挑战，同时也提升了对未标记数据的自主分析能力。
2、近年来，随着人工智能技术的进步，如chatgpt、gpt-4和kosmos-2等人工智能生成内容技术在自然语言处理和计算机视觉任务中展现了卓越的性能，为制造业带来了新的发展机遇。特别是在机器人引导的制造场景中，深度学习视觉检测方法如yolo、fast r-cnn、mask r-cnn、ssd和rfcn等被广泛应用。然而，这些模型在应用于新的数据领域或场景时，常常出现领域漂移的现象，即性能会遭遇显著下降。
3、为了解决这一问题，能够采用源领域知识促进主动学习、应用错误纠正的层次转移松弛方案以及基于连体架构的统一框架来进行领域适应。这些策略有助于监督学习模型应对手动标记数据不足的情况，这在工业领域是一个常见的限制。无监督领域适应则通过大量目标领域的未标记数据解决了标记数据需求的限制，但仍面临挑战。
4、半监督学习基于视觉的引导方法大致分为两类：基于自训练的方法和基于一致性正则化的方法。基于自训练的方法利用预训练模型为未标记图像生成
5、然而，实现机器人引导中的半监督领域适应仍是一项挑战。最近，知识蒸馏技术提供了新的解决方案。知识蒸馏分为基于模型的和基于数据的两类：基于模型的蒸馏将知识从预训练的教师模型转移到学生模型，无需额外数据，尤其适用于数据稀缺或昂贵的情况。然而，教师模型与学生模型之间的兼容性至关重要，不当的架构和超参数配置可能会负面影响性能。基于数据的蒸馏通过使学生模型接触类似或增强的数据集来提高性能，这些数据集用于训练教师模型，从而使学生模型更加健壮和通用，尽管这种方法可能成本高昂且耗时。
6、结合现代人工智能技术，自主智能系统依赖于网络、大数据和人工智能技术，构建具有集成任务、运动规划、决策制定和推理能力的无人系统。这种系统结合了人机网络物理系统和人工智能生成内容技术，使智能制造系统不仅能处理常规任务，还能适应复杂高需求的环境。
技术实现思路
1、本专利技术针对现有解决方案的局限性和挑战，提出了一种智能制造大模型的训练方法、系统及应用，针对现有工业制造领域制造生产环节面对多样化和复杂的生产任务时，生产流水线柔性不足造成的生产制造系统任务单一、适应性较弱以及泛化能力不强的问题，本方法提出了一个基于半监督学习和知识蒸馏的智能制造预训练大模型以及其训练方法，最终构建智能制造大模型系统并进行应用。具体来说，本方法提出一种基于聚类假设的增强标签方法，结合三种知识蒸馏方法进行训练得到智能制造预训练模型，最终构建智能制造大模型系统，该系统增强了工业制造系统的灵活性和效率，实现了自主执行制造任务。
2、本专利技术的一种智能制造大模型的训练方法、系统及应用，包含以下步骤：
3、s1、使用工业制造生产场景中部分工业标记图像训练自动标注模型，为大量未标记工业图像自动生成伪标签；基于生成的伪标签，提出一种基于聚类假设的增强标签方法构造工业大模型训练数据集；基于工业大模型训练数据集，以kosmos-2大模型作为基础大模型结构，得到通用智能制造预训练大模型，引入奖励机制进行智能制造大模型微调，引入近似策略优化对智能制造大模型迭代优化，最终得到智能制造大模型；
4、使用在工业制造生产场景中标记图像数据训练的自动标注模型fo(·)为未标记的图像生成伪标签；
5、其中，将一组输入图像集合表示为xo＝xo1,xo2,...,xon，工业制造生产场景中相对应的真实标签集合表示为vo＝vo1,vo2,…,von，其中n是训练集中的图像数量，x表示输入图像，v表示真实标签；将一组未标记的图像表示为xu＝xu1,xu2,…,xum，其来自新的工作场景，其中m是未标记图像的数量；使用在工业制造生产场景中用标记图像数据训练自动标注模型fo(·)为未标记的图像生成伪标签，计算伪标签可表示为如下公式：
6、vu＝fo(xu)
7、其中，每个伪标签vu在生成时都与一个置信度得分关联，在置信度得分中，i代表特定的类别，u表示未标记图像的索引，而j表示模型内部的得分计算方法；对于置信度得分低于预定义阈值θp的伪标签，将其丢弃，可得到剩余的伪标签集vu；fo(·)是自动标注模型，利用fo(·)为未标记的图像生成伪标签；xu是一组未标记的图像；
8、自动标注模型fo(·)使用大量未标记图像数据和少量标记图像数据进行训练，fo(·)采用grounding dino模型作为自动标注基础模型，采用最小化条件熵对基础模型进行优化，能够实现有效地分离数据类别，能够提高模型的精度和泛化能力；具体来说，条件熵通过对所有未标记数据和其类别进行求和来计算，公式如下：
9、
10、其中，nu是未标记数据的数量，nc代表类别数，是第m个未标记数据的伪标签，xum表示相应的输入向量；条件熵h(y∣xu)根据输入向量的分布来量化类标签的模糊性或重叠度；
11、在最小化条件熵中，通过最小化以下函数来最大化后验分布，能够增强自动标注模型的泛化能力，可表示为如下过程：
12、
13、其中，n是标记数据的数量；yk是第k个标记数据的标签；xk是第k个标记数据的输入向量；xu是未标记数据的输入向量；λ是平衡系数，可用于控制标记或未标记数据的权重；该函数的第一项是最大化标记数据的对数似然，第二项是最小化未标记数据的交叉熵；通过同时优化对数似然和交叉熵，能够增强自动标注模型fo(·)的泛化性能；
14、提出一种基于聚类假设的增强标签方法来生成增强标签并构造大模型训练数据；
15、其中，使用自动标注模型的类别预测值作为未标记数据的伪标签，能够表示为如下公式：
16、
17、其中，fi′(x)代表输入实例x的类别i'的预测概率，y′i是伪标签；
18、增强标签方法涉及计算每个伪标签的置信度根据预定义的阈值θp丢弃低置信度的标签；
19、此增强标签方法能够通过以下损失函数进行优化，表达为如下公式：
20、
21、其中，n是标记数据的数量，l(·)是监督学习损失函数，是第m个标记数据的标签，fim是第m个标记数据的输出，nu是未标记数据本文档来自技高网...
【技术保护点】
1.一种智能制造大模型的训练方法、系统及应用，其特征在于包含以下步骤：
2.根据权利要求1所述的一种智能制造大模型的训练方法、系统及应用，其特征在于步骤S2的具体方法为：
3.根据权利要求1所述的一种智能制造大模型的训练方法、系统及应用，其特征在于步骤S3中的具体步骤为：
【技术特征摘要】
1.一种智能制造大模型的训练方法、系统及应用，其特征在于包含以下步骤：
2.根据权利要求1所述的一种智能制造大模型的训练方法、系统及应用...
【专利技术属性】
技术研发人员：陈海涛，郑晓斌，冯天玮，李尊，柳圆圆，
申请(专利权)人：广东南方通信建设有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。