【技术实现步骤摘要】
本专利技术涉及计算机视觉，特别是涉及一种基于掩膜引导对比学习的工业缺陷新类别发现方法。
技术介绍
1、工业生产过程中存在着许多因素的影响，使得即便是同一批次的产品也会出现由不同原因诱发的多样化的缺陷，比如由于碰撞使产品表面产生裂痕或者凹陷，又或是由于生产设备故障老化存在异物而污染产品，对这些缺陷进行检测和有针对性的修复是工业生产过程中的重要环节。完成这一任务的困难在于传统的异常检测算法仅能检测产品中是否存在缺陷或者缺陷的位置，并不能对包含缺陷的产品进行进一步的分类，为此，工业缺陷新类别发现任务得以提出，该任务的目标是在缺乏同产品缺陷类别标注的条件下完成对该产品样本的分类，即将工业产品划分为正常产品和含有缺陷的样本，并将含有缺陷的工业产品中的缺陷划分为不同类型。
2、现有的工业缺陷新类别发现方法思路是：定位缺陷位置，使用预训练好的网络模型提取缺陷位置的图像特征，最后应用无监督的聚类算法(如k-means，层次聚类，高斯混合模型)完成类别的划分。然而这一思路的挑战在于同一类型的缺陷模式有时也会出现较大的变化，如缺陷的形状，色彩纹理，位置等都具有较高的多样性和随机性，使得预训练好的网络模型的输出特征对不同类型缺陷的区分能力不足。
3、目前，新类别发现课题在自然场景领域研究较多，其主要思路是引入有类别标注的数据集(与待分类的无类别标注数据集类别无交叉)来辅助无标注数据集的分类，使用有类别标注的数据集训练网络可以为网络提供一定的语义分类标准，进而提升网络对无标记数据集中不同类别样本的特征可分性，这为工业缺陷新类别发
4、鉴于此，克服该现有技术所存在的缺陷是本
亟待解决的问题。
技术实现思路
1、本专利技术要解决的技术问题是提供一种基于掩膜引导对比学习的工业缺陷新类别发现方法。
2、本专利技术采用如下技术方案：
3、第一方面，本专利技术提供了一种基于掩膜引导对比学习的工业缺陷新类别发现方法，包括：
4、对待分类的无标注数据集和辅助的标注数据集进行预处理，得到对应的掩膜；其中，和分别为待分类无标注图像和辅助的标注数据图像，和分别为图像的类别标签和缺陷标注掩膜，nl和nu分别表示标注数据集和无标注数据集的图像数量；
5、使用掩膜引导对比学习；
6、基于掩膜中缺陷区域的面积对子图预测进行加权合并，得到原始图像的分类结果。
7、优选的，所述对待分类的无标注数据集和辅助的标注数据集进行预处理，具体包括：
8、使用异常检测模型对进行预测，得到预测结果{ai|i∈[1,nu]}，其中ai为图像对应预测得到的异常分数图；
9、对所有异常分数图{ai|i∈[1,nu]}进行二值化得到的掩膜{mi|i∈[1,nu]}；
10、计算掩膜mi中的每个连通域对应的包围盒，根据包围盒对掩膜mi和图像进行裁剪，得到以缺陷为中心的裁剪子图和裁剪掩膜
11、对于辅助的有标注数据集，使用真实的缺陷标注掩膜按照上述方式进行子图的裁剪，得到裁剪后的子图和裁剪后的掩膜
12、优选的，所述对所有异常分数图{ai|i∈[1,nu]}进行二值化得到的掩膜{mi|i∈[1,nu]}，具体包括：
13、计算{ai|i∈[1,nu]}中每张异常分数图的异常分数{si|i∈[1,nu]}，其中si为异常分数图ai像素值ai(p)的最大值，进一步计算得到设置阈值的搜索空间为[smin,smax]；
14、从阈值区间[smin,smax]均匀采样64个阈值得到{εj|j∈[1,64]}，利用阈值εj对ai进行二值化，将大于等于阈值εj的像素值置为1，小于阈值εj的像素值置为0，得到二值图
15、对进行图像腐蚀操作后统计腐蚀结果图中连通域的数量
16、递增遍历所有阈值得到连通域数量序列统计所有非0连通域数量出现的频次，以非0的连通域数量的众数作为ai中的缺陷区域数量估计值；
17、找到连通域数量估计值对应的最长的稳定阈值区间[εp,εq]，若该区间的长度小于4，即q-p+1<4，则取阈值估计值为1；反之，取最长阈值区间的左端点εp作为阈值估计值；
18、利用阈值估计值εp对ai进行二值化，得到图像对应的掩膜mi，对所有异常分数图{ai|i∈[1,nu]}重复上述步骤得到的掩膜{mi|i∈[1,nu]}。
19、优选的，所述使用掩膜引导对比学习，具体包括：
20、对无标注图像的子图和有标注图像的子图进行数据增强，生成两个随机增强的视图和其对应的二值化后的掩膜使用相同的随机参数进行增强；
21、准备一个在自然场景图像中预训练的视觉transformer网络作为特征提取器f，采用一个线性分类器接在特征提取器f后，获取输入子图的标签；
22、采用对比学习让网络模型学习到更具有区分力的缺陷的表征，分为有监督对比损失和自监督对比损失；
23、采用标签监督的方式学习分类任务。
24、优选的，所述对无标注图像的子图和有标注图像的子图进行数据增强，生成两个随机增强的视图和其对应的二值化后的掩膜使用相同的随机参数进行增强，具体包括：
25、对裁剪子图xi使用byop和randaug中的数据增强策略，生成两个随机增强的视图和其对应的二值化后的掩膜使用相同的随机参数进行增强。
26、优选的，所述准备一个在自然场景图像中预训练的视觉transformer网络作为特征提取器f，具体包括：
27、使用在imagenet数据集上通过dino方法预训练的vit-base8模型，其一共有12层，局部图像区域大小为8×8，输入图像的尺寸为224×224，局部图像区域的数量n为784；
28、对于裁剪以及增强后的掩膜图像，使用平均池化并将其展平为将常数1插入到的首位，以使图像全局特征能够保留从前一层学习到的知识，并使用如下公式进行转换：
29、
30、利用转换后的掩膜图像，对第r层的自注意力机制调整为如下公式：
31、
32、其中xr表示vit第r层的输出特征，分别表示xr-1经过线性投影φq,φk,φv后的特征，并且按照公式对vit-base8模型最后9层的自注意力机制进行调整。
33、优选的，所述采用一个线性分类器接在特征提取器f后，获取输入子图的标签，具体包括：
34、对于输入的两个随机增强的视图和其输出为和<本文档来自技高网...
【技术保护点】
1.一种基于掩膜引导对比学习的工业缺陷新类别发现方法，其特征在于，包括：
2.根据权利要求1所述的基于掩膜引导对比学习的工业缺陷新类别发现方法，其特征在于，所述对待分类的无标注数据集和辅助的标注数据集进行预处理，具体包括：
3.根据权利要求2所述的基于掩膜引导对比学习的工业缺陷新类别发现方法，其特征在于，所述对所有异常分数图{Ai|i∈[1,Nu]}进行二值化得到的掩膜{Mi|i∈[1,Nu]}，具体包括：
4.根据权利要求1所述的基于掩膜引导对比学习的工业缺陷新类别发现方法，其特征在于，所述使用掩膜引导对比学习，具体包括：
5.根据权利要求4所述的基于掩膜引导对比学习的工业缺陷新类别发现方法，其特征在于，所述对无标注图像的子图和有标注图像的子图进行数据增强，生成两个随机增强的视图和其对应的二值化后的掩膜使用相同的随机参数进行增强，具体包括：
6.根据权利要求4所述的基于掩膜引导对比学习的工业缺陷新类别发现方法，其特征在于，所述准备一个在自然场景图像中预训练的视觉Transformer网络作为特征提取器f，具体包括：p>
7.根据权利要求4所述的基于掩膜引导对比学习的工业缺陷新类别发现方法，其特征在于，所述采用一个线性分类器H接在特征提取器f后，获取输入子图的标签，具体包括：
8.根据权利要求4所述的基于掩膜引导对比学习的工业缺陷新类别发现方法，其特征在于，所述采用对比学习让网络模型学习到更具有区分力的缺陷的表征，分为有监督对比损失和自监督对比损失，具体包括：
9.根据权利要求1所述的基于掩膜引导对比学习的工业缺陷新类别发现方法，其特征在于，所述采用标签监督的方式学习分类任务，具体包括：
10.根据权利要求1所述的基于掩膜引导对比学习的工业缺陷新类别发现方法，其特征在于，所述基于掩膜中缺陷区域的面积对子图预测进行加权合并，得到原始图像的分类结果，具体包括：
...【技术特征摘要】
1.一种基于掩膜引导对比学习的工业缺陷新类别发现方法，其特征在于，包括：
2.根据权利要求1所述的基于掩膜引导对比学习的工业缺陷新类别发现方法，其特征在于，所述对待分类的无标注数据集和辅助的标注数据集进行预处理，具体包括：
3.根据权利要求2所述的基于掩膜引导对比学习的工业缺陷新类别发现方法，其特征在于，所述对所有异常分数图{ai|i∈[1,nu]}进行二值化得到的掩膜{mi|i∈[1,nu]}，具体包括：
4.根据权利要求1所述的基于掩膜引导对比学习的工业缺陷新类别发现方法，其特征在于，所述使用掩膜引导对比学习，具体包括：
5.根据权利要求4所述的基于掩膜引导对比学习的工业缺陷新类别发现方法，其特征在于，所述对无标注图像的子图和有标注图像的子图进行数据增强，生成两个随机增强的视图和其对应的二值化后的掩膜使用相同的随机参数进行增强，具体包括：
6.根据权利要求4所述的基于掩...
【专利技术属性】
技术研发人员：周瑜，黄子鸣，李煦蕤，刘浩天，王宇哲，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。