本发明专利技术涉及人工智能技术，揭露了一种多光源零部件表面缺陷检测方法、装置、设备及存储介质。所述方法包括：对待检测物件进行多角度照射，并在所述照射的状态下对所述待检测物件进行摄像操作，得到物件图像集合，其中，所述物件图像集合中的各个物件图像上均标记有缺陷文本表述及所述多角度穹顶光源对应的光源阵列；利用多光源表面缺陷识别模型，对所述物件图像集合进行特征提取操作，得到部件纹理特征、文本特征及光源阵列特征，并对所述部件纹理特征、文本特征及光源阵列特征进行表面缺陷识别操作，得到所述待检测物件的物件缺陷。本发明专利技术可以解决传统缺陷检测方法在复杂光照场景下难以利用光源参数信息的问题，提高零部件表面缺陷识别精准度。
1、由于工业设备和生产环境的不可控性，产品表面不可避免地会出现缺陷，影响制造效率和经济效益。表面缺陷检测(sdd,surface defect detect)通过像素级预测方法识别工业产品图像中的缺陷区域，已成为现代生产线不可或缺的一部分。在目前绝大多数工业缺陷检测场景中，为了实现自动化以及高精度效率的要求，绝大多数设计方案仍然以常规的图像分割和目标检测技术。首先，经过对实际生产现场设备和产线情况的考察，以及待测物件的结构和表面纹理，制定相应的打光方案即选型相应的图像采集设备。随后将选型的光学设备及图像采集设备部署到产线，依照设备间的通信协议进行打光和采集图像。根据制定的缺陷定义和作业标准，进行图像的缺陷标注进而获得缺陷数据集。最后在模型训练及优化后，得到的目标模型将部署在产线上进行实时检测并输出检测结果。
2、但是，目前大多数传统的视觉神经网络都是针对单一的图像检测任务而设计的，在复杂光源的缺陷检测场景下表现仍然有限。因此，将复杂光源的缺陷检测场景中的光源信息引入视觉神经网络架构的设计尤为必要。
>3、利用预构建的多角度穹顶光源对待检测物件进行照射，并利用预构建的摄像设备在所述照射的状态下对所述待检测物件进行摄像操作，得到物件图像集合，其中，所述物件图像集合中的各个物件图像上均标记缺陷文本表述及所述多角度穹顶光源对应的光源阵列；4、利用预训练的多光源表面缺陷识别模型，对所述物件图像集合进行特征提取操作，得到部件纹理特征、文本特征及光源阵列特征，并对所述部件纹理特征、文本特征及光源阵列特征进行表面缺陷识别操作，得到所述待检测物件的物件缺陷。
5、可选的，所述利用预训练的多光源表面缺陷识别模型之前，所述方法还包括：
6、获取多光源图像样本集合，其中，所述多光源图像样本集合包括多光源样品图像、缺陷掩码、缺陷表述标签及光源阵列标签；
7、获取包含图像编码器、文本提示编码器和掩膜解码器的多光源表面缺陷识别模型；
8、获取预训练的目标分割识别模型，并获取所述目标分割识别模型的网络模型参数，根据所述网络模型参数，利用所述多光源图像样本集合对所述多光源表面缺陷识别模型进行迁移学习，得到微调后的多光源表面缺陷识别模型。
9、可选的，所述获取多光源图像样本集合，包括：
10、获取预构建的样本物件集合，其中，所述样本物件集合中的各个样本物件均有人工标记的真实缺陷表述文本；
11、依次从所述样本物件集合中获取一个样本物件，识别所述样品物件的尺寸大小；
12、利用预构建的光强度配光表格，查询所述尺寸大小对应的发光路数，并利用所述发光路数对所述多角度穹顶型光源进行配置，得到配置完成的多角度穹顶型光源；
13、利用配置完成的多角度穹顶型光源对所述样品物件进行照射，并根据预设的最佳光源监控策略，对所述照射的过程进行调整，得到最佳光照角度集合；
14、获取所述最佳光照角度集合对应的光源阵列信息，得到最佳光源阵列集合；
15、根据所述最佳光源阵列集合，对所述样品物件进行打光拍摄，得到多光源图像样本子集合，其中，所述多光源图像样本子集合中的每个多光源图像样本均标记了所述真实缺陷表述文本及所述多光源图像样本对应的最佳光源阵列；
16、将所述样本物件集合中全部样本物件对应的多光源图像样本子集合进行输出，得到多光源图像样本集合，并根据所述真实缺陷表述文本对所述多光源图像样本集合中的多光源图像进行缺陷掩码配置。
17、可选的，所述得到多光源图像样本集合之后，所述方法还包括：
18、根据预设的数据增强策略，对所述多光源图像样本集合进行数据集预处理操作，得到预处理数据集；
19、根据预设的优化策略，利用预构建的优化器，对所述预处理数据集进行配置，得到待训练的多光源图像样本集合。
20、可选的，所述获取包含图像编码器、文本提示编码器和掩膜解码器的多光源表面缺陷识别模型，包括：
21、利用预构建的补丁嵌入层、位置嵌入层、变换器编码器层以及颈部层，构建图像编码器；
22、利用预构建的前处理层、输入嵌入层、变换器编码器层以及输出嵌入层，构建文本提示编码器；
23、利用预构建的双向注意力块及多头注意力构建转换器块，及利用预构建的反卷积层、gelu激活及归一化层构建上采样块，及利用预设数个标准多层感知器层构建输出超网络块，及利用一个所述标准多层感知器层，构建预测块；
24、利用所述转换器块、上采样块、输出超网络块及预测块，构建掩膜解码器；
25、根据所述图像编码器、文本提示编码器及掩膜解码器，构建多光源表面缺陷识别模型。
26、可选的，所述根据所述网络模型参数，利用所述多光源图像样本集合对所述多光源表面缺陷识别模型进行迁移学习，得到微调后的多光源表面缺陷识别模型，包括：
27、根据预设的结构训练策略，识别所述多光源表面缺陷识别模型的训练目标，对所述训练目标进行适配器配置，得到适配模型；
28、利用所述多光源图像样本集合，根据所述网络模型参数，对所述适配模型进行基于训练目标的训练操作；
29、当所述图像编码器、文本提示编码器及掩膜解码器全部训练完成后，得到训练完成的多光源表面缺陷识别模型。
30、可选的，所述对所述训练目标进行适配器配置，包括：
31、当所述训练目标为所述图像编码器时，对所述图像编码器中各个预构建的转换器编码器上部署两个适配器；
32、当所述训练目标为所述文本提示编码器时，对所述文本提示编码器中各个预构建的转换器编码器上部署两个适配器；
33、当所述训练目标为所述掩膜解码器时，对所述掩膜解码器中各个预构建的转换器编码器上的第一个双头注意力块上配置部署三个适配器。
34、为了解决上述问题，本专利技术还提供一种多光源零部件表面缺陷检测装置，所述装置包括：
35、图像采集模块，用于利用预构建的多角度穹顶光源对待检测物件进行照射，并利用预构建的摄像设备在所述照射的状态下对所述待检测物件进行摄像操作，得到物件图像集合，其中，所述物件图像集合中的各个物件图像上均标记所述多角度穹顶光源对应的光源阵列；
36、缺陷识别模块，用于利用预训练的多光源表面缺陷识别模型，对所述物件图像集合进行特征提取操作，得到部件纹理特征及光源阵列特征，并对所述部件纹理特征及光源阵列特征进行表面缺陷识别操作，得到所述待检测物件的物件缺陷本文档来自技高网...
【技术保护点】
1.一种多光源零部件表面缺陷检测方法，其特征在于，所述方法包括：
2.如权利要求1所述的多光源零部件表面缺陷检测方法，其特征在于，所述利用预训练的多光源表面缺陷识别模型之前，所述方法还包括：
3.如权利要求2所述的多光源零部件表面缺陷检测方法，其特征在于，所述获取多光源图像样本集合，包括：
4.如权利要求3所述的多光源零部件表面缺陷检测方法，其特征在于，所述得到多光源图像样本集合之后，所述方法还包括：
5.如权利要求4所述的多光源零部件表面缺陷检测方法，其特征在于，所述获取包含图像编码器、文本提示编码器和掩膜解码器的多光源表面缺陷识别模型，包括：
6.如权利要求5所述的多光源零部件表面缺陷检测方法，其特征在于，所述根据所述网络模型参数，利用所述多光源图像样本集合对所述多光源表面缺陷识别模型进行迁移学习，得到微调后的多光源表面缺陷识别模型，包括：
7.如权利要求6所述的多光源零部件表面缺陷检测方法，其特征在于，所述对所述训练目标进行适配器配置，包括：
8.一种多光源零部件表面缺陷检测装置，其特征在于，所述装置包括：
9.一种电子设备，其特征在于，所述电子设备包括：
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的多光源零部件表面缺陷检测方法。
...
【技术特征摘要】
1.一种多光源零部件表面缺陷检测方法，其特征在于，所述方法包括：
2.如权利要求1所述的多光源零部件表面缺陷检测方法，其特征在于，所述利用预训练的多光源表面缺陷识别模型之前，所述方法还包括：
3.如权利要求2所述的多光源零部件表面缺陷检测方法，其特征在于，所述获取多光源图像样本集合，包括：
4.如权利要求3所述的多光源零部件表面缺陷检测方法，其特征在于，所述得到多光源图像样本集合之后，所述方法还包括：
5.如权利要求4所述的多光源零部件表面缺陷检测方法，其特征在于，所述获取包含图像编码器、文本提示编码器和掩膜解码器的多光源表面缺陷识别模型，包括：
6.如...
【专利技术属性】
技术研发人员：孙道宗，吴佩文，陈嘉思，谢家兴，钟宏笙，江浩亮，陈艳明，尧港东，刘振宇，
申请(专利权)人：华南农业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。