【技术实现步骤摘要】
本专利技术涉及机器视觉检测，尤其是一种基于形状大模型的样本增强方法。
技术介绍
1、传统的数据增强方式是使用旋转，平移，颜色抖动，随机裁剪，透视变换等传统算法对图像进行变换，达到数据增强的效果；
2、而生成网络数据增强是通过使用训练好的gan或扩散模型来生成样本，从而达到数据增强的效果。
3、但是传统数据增强由于只是使用固定算法反对原始样本进行处理，这就使得生成的样本相对于原始变化程较为单调或不逼真，导致训练效果提升不大；
4、而gan的可控性不强，可能出现模式崩塌，即生成的所有样本都一模一样或者变化不大，而扩散模型在不加任何条件限制的情况下，可控性不强且生成的数据可能会出现很大程度的失真。
技术实现思路
1、本专利技术要解决的技术问题是：提供一种基于形状大模型的样本增强方法，解决了在用到深度学习的项目中，样本量不足时，传统数据增强方法无法获得高质量样本的问题。
2、本专利技术解决其技术问题所采用的技术方案是：一种基于形状大模型的样本增强方法，包括以下步骤，
3、s1、将训练集的标注图像输入到形状大模型结合扩散网络构成的数据增强网络中；
4、s2、迭代测试训练，训练完成后，使用测试集输入到网络中生成样本，计算生成的形状样本与测试集的输入图像iou交并比；
5、s3、测试成功后，则应用网络来作数据增强；
6、s4、使用透视变换矩阵对标注图像对应的原图作透视变换，得到增强样本。进一步的说，本
7、s11、数据集收集与划分；得到所有已有的不同产品，不同工位的样本的标注，将这些标注转换为8位的二值化图像；每一份相同产品，相同工位的数据称为一类，以类为单位，随机划分为训练集与测试集；
8、s12、将训练集按照不同的预处理算法进行分类；分类的类别包括线状、毛丝状、块状以及片状；
9、s13、迭代训练模型；
10、s14、将步骤s2训练集中已经分类的每一类的样本再进行分类；
11、s15、重复步骤s3，得到可以用来进行将标注形状分类的形状大模型。
12、再进一步的说，本专利技术所述的步骤s1中，选择形状大模型的其中一层提取的特征，通过一层全连接层，转换到与扩散模型图像token输入相同的维度，作为扩散模型图像token的输入，即将形状大模型的主干网络作为扩散模型的图像特征提取器，用于生成图像token输入扩散模型。
13、又进一步的说，本专利技术将扩散模型的输出图像作阈值为128的二值化操作，二值化结果即为生成图像，将生成图像与分割标签图像作损失函数；训练过程使用lora模型对扩散模型进行微调。
14、进一步的说，本专利技术所述的步骤s2中，iou值大于设定阈值时认为是生成了正确的形状样本，否则认为没有生成正确的形状样本；统计生成样本的正确率，若测试的正确率达到70％以上，则说明训练成功，可以作接下来的应用，否则在当前的训练结果基础上继续训练。
15、本专利技术的有益效果是，解决了
技术介绍
中存在的缺陷，
16、1、对于传统数据增强方法原始，导致生成样本质量不高的情况，本专利技术使用的形状大模型以及扩散模型，都是参数量相对较多的模型，尤其是扩散模型用的是stablediffusion模型，算得上是真正的大模型，能够生成各种样貌，覆盖面广，且效果逼真的高质量样本；
17、2、对于gan的模式崩塌，本专利技术使用的生成网络是扩散模型，扩散模型相对于gan的优势之一就是有效第控制了模式崩塌的现象；
18、3、对于gan与单一使用扩散模型的不可控性，本专利技术使用形状大模型提取的特征作为输入，使用文本信息结合量化信息作为控制条件，有效地解决了可控性问题。
本文档来自技高网...【技术保护点】
1.一种基于形状大模型的样本增强方法，其特征在于：包括以下步骤，
2.如权利要求1所述的一种基于形状大模型的样本增强方法，其特征在于：所述的步骤S1中，形状大模型的构建包括以下步骤，
3.如权利要求2所述的一种基于形状大模型的样本增强方法，其特征在于：所述的步骤S1中，选择形状大模型的其中一层提取的特征，通过一层全连接层，转换到与扩散模型图像token输入相同的维度，作为扩散模型图像token的输入，即将形状大模型的主干网络作为扩散模型的图像特征提取器，用于生成图像token输入扩散模型。
4.如权利要求3所述的一种基于形状大模型的样本增强方法，其特征在于：将扩散模型的输出图像作阈值为128的二值化操作，二值化结果即为生成图像，将生成图像与分割标签图像作损失函数；训练过程使用Lora模型对扩散模型进行微调。
5.如权利要求1所述的一种基于形状大模型的样本增强方法，其特征在于：所述的步骤S2中，IOU值大于设定阈值时认为是生成了正确的形状样本，否则认为没有生成正确的形状样本；统计生成样本的正确率，若测试的正确率达到70％以上，则说明训
...【技术特征摘要】
1.一种基于形状大模型的样本增强方法，其特征在于：包括以下步骤，
2.如权利要求1所述的一种基于形状大模型的样本增强方法，其特征在于：所述的步骤s1中，形状大模型的构建包括以下步骤，
3.如权利要求2所述的一种基于形状大模型的样本增强方法，其特征在于：所述的步骤s1中，选择形状大模型的其中一层提取的特征，通过一层全连接层，转换到与扩散模型图像token输入相同的维度，作为扩散模型图像token的输入，即将形状大模型的主干网络作为扩散模型的图像特征提取器，用于生成图像token输入扩散模型。
【专利技术属性】
技术研发人员：都卫东，和江镇，王岩松，王天翔，吴健雄，
申请(专利权)人：征图新视江苏科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。