【技术实现步骤摘要】
本专利技术涉及缺陷检测，具体涉及一种图像中结构异常与逻辑异常的检测方法、存储介质。
技术介绍
1、目前，对于工业生产上产品的质量检测，多数已采用机器视觉的自动化检测，通过拍摄产品的图像，对图像进行缺陷检测。工业图像的缺陷类别，在形式上可概括为两类：一是结构异常，结构异常指图像中物体的表面质量缺陷，主要表现为划痕、凹痕、压伤、污染、破损等表面质量缺陷；二是逻辑异常，逻辑异常指图像中物体违反逻辑约束形式的异常，这里的逻辑约束形式可以是物体数量、位置等的约束，例如产品数量不符、产品位置摆放错误、产品缺失等错误情形。在实际的工业生产过程中，正常样本数量多，易于大规模收集，而异常样本较少，收集困难，并且在异常图像中，结构异常与逻辑异常经常会同时出现(例如，生产工厂中，包装袋内的螺丝钉数量不符合生产厂商的设定标准，并且部分数量的螺丝钉出现破损等情况，前者属于逻辑异常，后者属于结构异常)，导致检测难度大幅提升。因此，视觉检测市场对结构与逻辑联合异常的检测需求旺盛，亟需对现有技术的不足进行改进。
技术实现思路
1、本专利技术主要解决的技术问题是如何同时检测图像中的结构异常和逻辑异常。
2、根据第一方面，一种实施例中提供一种图像中结构异常与逻辑异常的检测方法，包括：
3、获取待检测图像；
4、将所述待检测图像输入预训练的教师网络进行特征提取以获得所述待检测图像的多层具有不同分辨率的第一特征图；将所述待检测图像输入已训练的结构检测模块进行特征提取以获得所述待检测图像
5、将所述第二特征图与所述第一特征图进行比较，以及将所述第三特征图与最低层的所述第一特征图进行比较，以判断所述待检测图像中存在结构异常和/或逻辑异常的区域；
6、其中所述结构检测模块和所述逻辑检测模块在所述预训练的教师网络的知识蒸馏下通过训练而得到。
7、一些实施例中，所述结构检测模块与所述教师网络结构相同。
8、一些实施例中，所述第一特征图有m层，各层所述第一特征图的分辨率递减、通道数递增，其中m为大于等于2的整数；所述逻辑检测模块包括m﹣1层第一卷积层以及空间注意力子模块、通道注意力子模块；
9、所述将最高层的所述第一特征图输入已训练的逻辑检测模块进行解码重建，获得第三特征图，包括：
10、将最高层的所述第一特征图输入第一层所述第一卷积层进行卷积处理后进行上采样而得到上采样特征图，将上采样特征图输入下一层的所述第一卷积层进行卷积处理后进行上采样而得到下一层的上采样特征图，重复所述将上采样特征图输入下一层的所述第一卷积层进行卷积处理后进行上采样而得到下一层的上采样特征图的步骤，直至得到第m﹣1层上采样特征图；其中，第k层上采样特征图的分辨率和通道数与第m﹣k层所述第一特征图相同，k∈[1,m﹣1]；
11、将第m﹣1层上采样特征图输入所述空间注意力子模块以在空间上进行注意力增强处理，获得空间注意力图；
12、将第m﹣1层上采样特征图输入所述通道注意力子模块以在通道上进行注意力增强处理，获得通道注意力图；
13、将所述空间注意力图和所述通道注意力图进行元素级的相加操作，得到所述第三特征图。
14、一些实施例中，所述第一卷积层的卷积核大小为3×3。
15、一些实施例中，所述空间注意力子模块包括第二卷积层和批归一化层；
16、所述将第m﹣1层上采样特征图输入所述空间注意力子模块以在空间上进行注意力增强处理，获得空间注意力图，包括：
17、将第m﹣1层上采样特征图输入所述第二卷积层进行降维处理以将所述第m﹣1层上采样特征图的通道降为1，之后经所述批归一化层处理得到批归一化特征图；
18、对所述批归一化特征图执行sigmoid操作得到空间注意力分数图；
19、将所述第m﹣1层上采样特征图和所述空间注意力分数图进行元素级的相乘操作，得到所述空间注意力图。
20、一些实施例中，所述通道注意力子模块包括全局平均池化层和第三卷积层；
21、所述将第m﹣1层上采样特征图输入所述通道注意力子模块以在通道上进行注意力增强处理，获得通道注意力图，包括：
22、将第m﹣1层上采样特征图输入所述全局平均池化层以将分辨率降为1×1，之后经所述第三卷积层处理得到第三卷积特征图，其中所述第三卷积层的输入输出通道数保持一致；
23、对所述第三卷积特征图执行sigmoid操作得到通道注意力分数图；
24、将所述第m﹣1层上采样特征图和所述通道注意力分数图进行元素级的相乘操作，得到所述通道注意力图。
25、一些实施例中，所述第二特征图与所述第一特征图数量相同，且所述第二特征图与所述第一特征图一一对应，相对应的所述第二特征图和所述第一特征图分辨率相同；通过比较所述第二特征图与对应的所述第一特征图之间的差异，以及所述第三特征图与最低层的所述第一特征图之间的差异，判断所述待检测图像中存在结构异常和/或逻辑异常的区域。
26、一些实施例中，所述第一特征图有m层，各层所述第一特征图的分辨率递减，其中m为不小于2的整数；
27、所述通过比较所述第二特征图与对应的所述第一特征图之间的差异，以及所述第三特征图与最低层的所述第一特征图之间的差异，判断所述待检测图像中存在结构异常和/或逻辑异常的区域，包括：
28、将各所述第二特征图分别与对应的所述第一特征图计算对应元素的差的平方，得到m张第二差分平方图；对各所述第二差分平方图在通道维度执行计算均值的操作，再执行sigmoid操作，得到m张结构异常分数子图；将除分辨率最大的结构异常分数子图之外的其他结构异常分数子图上采样至该分辨率最大的结构异常分数子图的大小，之后对m张结构异常分数子图执行元素级的相乘操作而得到结构异常分数图；
29、将所述第三特征图与最低层的所述第一特征图计算对应元素的差的平方，得到第三差分平方图；对所述第三差分平方图在通道维度执行计算均值的操作，再执行sigmoid操作，而得到逻辑异常分数图；
30、将所述结构异常分数图和所述逻辑异常分数图上采样至所述待检测图像的大小，之后采用预设的结构分数阈值对所述结构异常分数图进行阈值分割而得到结构异常分割图，所述结构异常分割图用于标识所述待检测图像中存在结构异常的区域，以及采用预设的逻辑分数阈值对所述逻辑异常分数图进行阈值分割而得到逻辑异常分割图，所述逻辑异常分割图用于标识所述待检测图像中存在逻辑异常的区域；
31、或者，对所述结构异常分数图和所述逻辑异常分数图执行元素级的相乘操作而得到合并异常分数图，将所述合并异常分数图上采样至所述待检测图像的大小，之后采用预设的检测阈值对所述合并异常分数图进行阈本文档来自技高网...
【技术保护点】
1.一种图像中结构异常与逻辑异常的检测方法，其特征在于，包括：
2.如权利要求1所述的检测方法，其特征在于，所述结构检测模块与所述教师网络结构相同。
3.如权利要求1或2所述的检测方法，其特征在于，所述第一特征图有M层，各层所述第一特征图的分辨率递减、通道数递增，其中M为大于等于2的整数；所述逻辑检测模块包括M﹣1层第一卷积层以及空间注意力子模块、通道注意力子模块；
4.如权利要求3所述的检测方法，其特征在于，所述第一卷积层的卷积核大小为3×3。
5.如权利要求3所述的检测方法，其特征在于，所述空间注意力子模块包括第二卷积层和批归一化层；
6.如权利要求3所述的检测方法，其特征在于，所述通道注意力子模块包括全局平均池化层和第三卷积层；
7.如权利要求1所述的检测方法，其特征在于，所述第二特征图与所述第一特征图数量相同，且所述第二特征图与所述第一特征图一一对应，相对应的所述第二特征图和所述第一特征图分辨率相同；通过比较所述第二特征图与对应的所述第一特征图之间的差异，以及所述第三特征图与最低层的所述第一特征图之间
8.如权利要求7所述的检测方法，其特征在于，所述第一特征图有M层，各层所述第一特征图的分辨率递减，其中M为不小于2的整数；
9.如权利要求7或8所述的检测方法，其特征在于，所述结构检测模块和所述逻辑检测模块通过以下方式训练：
10.如权利要求9所述的检测方法，其特征在于，所述结构损失函数Ls的表达式为：
11.如权利要求9所述的检测方法，其特征在于，所述逻辑损失函数Ll的表达式为：
12.如权利要求9至11中任一项所述的检测方法，其特征在于，所述总损失函数Lf的表达式为：
13.一种计算机可读存储介质，其特征在于，所述介质上存储有程序，所述程序能够被处理器执行以实现如权利要求1至12中任一项所述的检测方法。
...【技术特征摘要】
1.一种图像中结构异常与逻辑异常的检测方法，其特征在于，包括：
2.如权利要求1所述的检测方法，其特征在于，所述结构检测模块与所述教师网络结构相同。
3.如权利要求1或2所述的检测方法，其特征在于，所述第一特征图有m层，各层所述第一特征图的分辨率递减、通道数递增，其中m为大于等于2的整数；所述逻辑检测模块包括m﹣1层第一卷积层以及空间注意力子模块、通道注意力子模块；
4.如权利要求3所述的检测方法，其特征在于，所述第一卷积层的卷积核大小为3×3。
5.如权利要求3所述的检测方法，其特征在于，所述空间注意力子模块包括第二卷积层和批归一化层；
6.如权利要求3所述的检测方法，其特征在于，所述通道注意力子模块包括全局平均池化层和第三卷积层；
7.如权利要求1所述的检测方法，其特征在于，所述第二特征图与所述第一特征图数量相同，且所述第二特征图与所述第一特征图一一对应，相对应的所述第二特征图和所述第...
【专利技术属性】
技术研发人员：曾利宏，杨洋，黄淦，
申请(专利权)人：深圳市华汉伟业科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。