【技术实现步骤摘要】
本申请属于人工智能，尤其涉及一种基于提示学习的零样本缺陷检测方法及缺陷检测设备。
技术介绍
1、工业异常检测在实际生产中具有重要的地位。在对工业生产的物品进行异常检测时，一般是先建立正常物品的分布特征，然后通过判断待检测物品的特征与该分布特征之间的相似度，判断物品是否正常。而建立正常物品的分布特征之前，需要收集大量的正常物品，也即需要将大量物品中的异常物品检测出来后剔除。
2、在异常检测(anomaly detection,ad)领域，目前现有技术通常基于深度学习模型，这些模型采用全监督训练模式，由于它们通常针对特定类型的异常进行训练，当面对不同外观和背景的异常时，这些模型的检测性能会显著下降。一个针对某种产品缺陷训练的模型可能无法有效识别另一种产品上的缺陷。这种局限性要求为每个新的应用场景收集和标注大量的异常样本，并重新训练模型，这不仅耗时而且成本高昂。常用的深度学习方法包括自编码、卷积神经网络、生成对抗网络以及图神经网络等。深度学习的出现极大促进了异常检测的快速发展，但基于深度学习的异常检测算法仍有许多困难待以解决。
3、零样本异常检测(zero-shot anomaly detection,zsad)是异常检测的一项新兴任务，需要在没有任何目标数据集训练样本的情况下检测异常。在这种情况下，上述异常检测的方法是不可行的。由于异常从不同的应用场景来看，它们的视觉外观通常有很大的变化，前景物体和背景特征，例如一个产品表面的缺陷与另一个产品的缺陷在其他产品上，不同器官上的病变/肿瘤，或工业缺陷与肿瘤/病变在
技术实现思路
1、本申请实施例提供一种基于提示学习的零样本缺陷检测方法及缺陷检测设备，该方法根据待检测的样本图像适时的调整异常检测模型，通过使用公开的缺陷数据集将大模型的能力迁移到缺陷检测领域，可以保持高性能检测能力。
2、第一方面，本申请实施例提供了一种基于提示学习的零样本缺陷检测方法，其特征在于，包括：
3、s1、数据获取步骤：获取通用工业缺陷数据集的样本数据以及通过图像获取装置获取产品的待测新图像数据；
4、s2、提示微调步骤：构造包含多个提示的提示池，基于缺陷检测模型使用样本数据的图像数据和图像数据对应的标注文本对提示池进行参数调整，确定提示池使用的参数；
5、s3、产品检测步骤：使用提示池参数确定后的缺陷检测模型对待测新图像数据进行缺陷检测，确定新图像数据是否为缺陷产品图像以及标注缺陷产品图像的缺陷位置。
6、在一些可能的实施例中，所述方法s1样本数据包括正常样本、异常样本；其中正常样本、异常样本均包含图像数据和对应图像的标注数据。
7、在一些可能的实施例中，所述方法s2提示微调步骤中，所述提示池中提示的数量是2个以上，所述提示池包括正常提示词和缺陷提示词；所述正常提示词作为正常样本的提示模板；所述缺陷提示词作为异常样本的提示模板；
8、所述提示池中每个提示的文本特征编码信息与图像特征编码信息之间建立连接；文本图像对齐方式是基于采用对比学习的文本-图像预训练模型的方式来进行的。
9、在一些可能的实施例中，所述方法s2提示微调步骤中，所述正常提示词表示为：
10、表示正向提示词的编码向量，初始化的值符合均值为0，方差为0.02的正态分布；
11、优选的，缺陷提示词表示为：
12、表示缺陷提示词的编码向量，初始化的值符合均值为0，方差为0.02的正态分布。
13、在一些可能的实施例中，所述方法s2提示微调步骤中，所述提示词中每个提示按照以下步骤进行选择：
14、s21、文本提示词初始化步骤：
15、初始化一组文本提示编码其中，nn表示正向提示词(n)的数量，na表示缺陷提示词(a)的数量,l表示每条提示词的长度，d表示每个提示词编码的维度；
16、s22、文本特征编码步骤：
17、初始化的文本提示词进入文本特征编码器et，得到文本特征编码向量ft：
18、ft＝et(t),
19、其中其尺寸与输入的文本编码向量保持一致；
20、s23、图像特征编码步骤
21、将对应的图像数据i进行图像特征编码，得到图像级特征向量和像素级特征向量；
22、fi,fp＝ei(i)；
23、其中hw表示图像数据i采用vit(visiontransformer)模型时被划分成图块(patch)的数量；
24、s24、文本特征选择步骤：
25、通过文本特征编码向量和图像级特征向量进行对齐，选择出k个与图像特征编码信息对齐的文本特征
26、
27、其中<·>表示余弦相似度计算，其中k为大于1的自然数；d表示维度。
28、在一些可能的实施例中，所述方法s2提示微调步骤还包括将提示池中所有被选择出的提示按照以下方式融合成一个提示的步骤：
29、
30、其中其中k为大于1的自然数；d表示维度。
31、在一些可能的实施例中，所述方法s2提示微调步骤中提示微调步骤中通过提示池使用损失函数l对缺陷检测模型进行提示池的参数调整：
32、l＝lcls+λlseg；
33、其中，为缺陷分类损失函数；
34、为图像分
35、割损失函数；
36、yi＝[0,1]表示是否存在缺陷，0表示不存在缺陷，1表示存在缺陷；表示缺陷区域的掩码图，λ为损失系数。
37、第二方面，本专利技术实施例提供了一种缺陷检测设备，其特征在于，所述设备包括图像获取装置、处理器和存储器，
38、所述图像获取装置，用于捕获待测产品图像；
39、所述处理器和存储器耦合，所述存储器存储有程序，当所述存储器存储的程序指令被所述处理器执行时实现上述所述的方法的步骤。
40、第三方面，本专利技术实施例提供了一种计算机可读存储介质，其特征在于，包括计算机程序指令，当所述计算机程序指令由处理器执行时，所述处理器执行上述所述的方法。
41、第四方面，本专利技术实施例提供了一种计算机程序产品，其特征在于，所述计算机程序产品包括软件代码，所述软件代码用于执行上述所述的方法的步骤。
42、本申请提供了一种基于提示学习的零样本缺陷检测方法及缺陷检测设备，采用多个提示微调，并融合成提示池的方式，可以调整少量可训练的参数将大模型适配到下游任务如缺陷检测、情景分类等任务，保证了训练的效率。由于只需要提示池多个提示与图像特征的对比学习适配，扩展了缺陷检测模型的迁移能力，模型训练好后可以直接迁移到训练集本文档来自技高网...
【技术保护点】
1.一种基于提示学习的零样本缺陷检测方法，其特征在于，包括：
2.根据权利要求1所述的缺陷检测方法，其特征在于，所述方法S1样本数据包括正常样本、异常样本；其中正常样本、异常样本均包含图像数据和对应图像的标注数据。
3.根据权利要求1所述的检测方法，其特征在于，所述方法S2提示微调步骤中，所述提示池中提示的数量是2个以上，所述提示池包括正常提示词和缺陷提示词；所述正常提示词作为正常样本的提示模板；所述缺陷提示词作为异常样本的提示模板；
4.根据权利要求3所述的检测方法，其特征在于，所述方法S2提示微调步骤中，所述正常提示词表示为：
5.根据权利要求4所述的检测方法，其特征在于，所述方法S2提示微调步骤中，所述提示词中每个提示按照以下步骤进行选择：
6.根据权利要求5所述的检测方法，其特征在于，所述方法S2提示微调步骤还包括将提示池中所有被选择出的提示按照以下方式融合成一个提示的步骤：
7.根据权利要求6所述的检测方法，其特征在于，所述方法S2提示微调步骤中提示微调步骤中通过提示池使用损失函数L对缺陷检测模型进
8.一种缺陷检测设备，其特征在于，所述设备包括图像获取装置、处理器和存储器，
9.一种计算机可读存储介质，其特征在于，包括计算机程序指令，当所述计算机程序指令由处理器执行时，所述处理器执行权利要求1-7中任一项所述的方法。
10.一种计算机程序产品，其特征在于，所述计算机程序产品包括软件代码，所述软件代码用于执行权利要求1-7中任一项所述的方法的步骤。
...【技术特征摘要】
1.一种基于提示学习的零样本缺陷检测方法，其特征在于，包括：
2.根据权利要求1所述的缺陷检测方法，其特征在于，所述方法s1样本数据包括正常样本、异常样本；其中正常样本、异常样本均包含图像数据和对应图像的标注数据。
3.根据权利要求1所述的检测方法，其特征在于，所述方法s2提示微调步骤中，所述提示池中提示的数量是2个以上，所述提示池包括正常提示词和缺陷提示词；所述正常提示词作为正常样本的提示模板；所述缺陷提示词作为异常样本的提示模板；
4.根据权利要求3所述的检测方法，其特征在于，所述方法s2提示微调步骤中，所述正常提示词表示为：
5.根据权利要求4所述的检测方法，其特征在于，所述方法s2提示微调步骤中，所述提示词中每个提示按照以下步骤进行选择：<...
【专利技术属性】
技术研发人员：肖继民，王月鑫，王晓阳，王晓磊，杨侃龙，俞思悦，
申请(专利权)人：西交利物浦大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。