一种表面缺陷检测方法、装置、存储介质及电子设备制造方法及图纸

本申请提出一种表面缺陷检测方法、装置、存储介质及电子设备，编码器对原始图像进行处理，以获取不同尺度的图像特征，原始图像为对目标产品进行采集所得到的图像；密集感受野模块对第三子模块输出的图像特征中的上下文信息进行捕获，以获得密集感受野上下文特征；解码器对密集感受野上下文特征、n个第二子模块输出的图像特征以及第三子模块输出的图像特征进行解码融合，以获取检测图像；检测图像包括原始图像中各个像素点对应的检测结果，检测结果包括非缺陷像素点和缺陷像素点。通过对高层特征和低层特征的融合，能够在融合过程中自适应地强调缺陷特征和抑制背景干扰，有利于低对比度缺陷的检测，解决缺陷的低对比度问题和背景干扰问题。背景干扰问题。背景干扰问题。

【技术实现步骤摘要】
一种表面缺陷检测方法、装置、存储介质及电子设备


[0001]本申请涉及图像检测领域，具体而言，涉及一种表面缺陷检测方法、装置、存储介质及电子设备。

技术介绍

[0002]产品的表面缺陷检测是制造业中格外关注的一项技术问题。作为生产制造过程中必不可少的一步，表面缺陷检测广泛应用于各工业领域，包括3C、半导体及电子、汽车、轻工等领域。人工检测方法不仅低效、耗时，难以达到生产所需的实时性和准确性要求，而且准确性受到主观因素的影响。因此，开发一种自动、准确、高效的基于机器视觉的表面缺陷自动检测方法来帮助或取代人的决策是至关重要的，基于机器视觉的自动缺陷检测方法分为传统方法和深度学习方法两大类。
[0003]基于深度学习的方法大体上分为两类：区域级的检测方法和像素级的分割方法，后者可以获得更加细粒度的检测结果，能够检测到缺陷的形状、边界、轮廓等结构信息。虽然这些方法已经在缺陷检测上实现了不错的性能，但是当缺陷表现出面积小、低对比度和细划痕等比较弱的特征，这些方法仍然存在一些漏检和误检。

技术实现思路

[0004]本申请的目的在于提供一种表面缺陷检测方法、装置、存储介质及电子设备，以至少部分改善上述问题。
[0005]为了实现上述目的，本申请实施例采用的技术方案如下：
[0006]第一方面，本申请实施例提供一种表面缺陷检测方法，应用于电子设备，所述电子设备部署有特征融合网络模型，所述特征融合网络模型包括编码器、密集感受野模块以及解码器，所述编码器包括一个第一子模块、n个第二子模块以及一个第三子模块，所述第一子模块包括1个步长为1的3x3卷积和两个基本残差块，所述第二子模块包括1个下采样操作块和两个基本残差块，所述第三子模块包括1个池化区域为2
×
2的最大池化操作块和两个基本残差块，所述第一子模块、n个第二子模块以及所述第三子模块为级联关系，所述方法包括：
[0007]所述编码器对原始图像进行处理，以获取不同尺度的图像特征，包括n个第二子模块输出的图像特征和1个第三子模块输出的图像特征，所述原始图像为对目标产品进行采集所得到的图像；
[0008]所述密集感受野模块对所述第三子模块输出的图像特征中的上下文信息进行捕获，以获得密集感受野上下文特征；
[0009]所述解码器对所述密集感受野上下文特征、n个第二子模块输出的图像特征以及第三子模块输出的图像特征进行解码融合，以获取检测图像；
[0010]所述检测图像包括所述原始图像中各个像素点对应的检测结果，所述检测结果包括非缺陷像素点和缺陷像素点。
[0011]第二方面，本申请实施例提供一种表面缺陷检测装置，应用于电子设备，所述表面缺陷检测装置包括所述电子设备上部署的特征融合网络模型，所述特征融合网络模型包括编码单元、密集感受野单元以及解码单元，所述编码单元包括一个第一子模块、n个第二子模块以及一个第三子模块，所述第一子模块包括1个步长为1的3x3卷积和两个基本残差块，所述第二子模块包括1个下采样操作块和两个基本残差块，所述第三子模块包括1个池化区域为2
×
2的最大池化操作块和两个基本残差块，所述第一子模块、n个第二子模块以及所述第三子模块为级联关系；
[0012]所述编码单元用于对原始图像进行处理，以获取不同尺度的图像特征，包括n个第二子模块输出的图像特征和1个第三子模块输出的图像特征，所述原始图像为对目标产品进行采集所得到的图像；
[0013]所述密集感受野单元用于对所述第三子模块输出的图像特征中的上下文信息进行捕获，以获得密集感受野上下文特征；
[0014]所述解码单元用于对所述密集感受野上下文特征、n个第二子模块输出的图像特征以及第三子模块输出的图像特征进行解码融合，以获取检测图像；
[0015]所述检测图像包括所述原始图像中各个像素点对应的检测结果，所述检测结果包括非缺陷像素点和缺陷像素点。
[0016]第三方面，本申请实施例提供一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的方法。
[0017]第四方面，本申请实施例提供一种电子设备，所述电子设备包括：处理器和存储器，所述存储器用于存储一个或多个程序；当所述一个或多个程序被所述处理器执行时，实现上述的方法。
[0018]相对于现有技术，本申请实施例所提供的一种表面缺陷检测方法、装置、存储介质及电子设备，编码器对原始图像进行处理，以获取不同尺度的图像特征，包括n个第二子模块输出的图像特征和1个第三子模块输出的图像特征，原始图像为对目标产品进行采集所得到的图像；密集感受野模块对第三子模块输出的图像特征中的上下文信息进行捕获，以获得密集感受野上下文特征；解码器对密集感受野上下文特征、n个第二子模块输出的图像特征以及第三子模块输出的图像特征进行解码融合，以获取检测图像；检测图像包括原始图像中各个像素点对应的检测结果，检测结果包括非缺陷像素点和缺陷像素点。通过对高层特征和低层特征的融合，能够在融合过程中自适应地强调缺陷特征和抑制背景干扰，有利于低对比度缺陷的检测，解决缺陷的低对比度问题和背景干扰问题。
[0019]为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
[0020]为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。
[0021]图1为本申请实施例提供的特征融合网络模型的结构示意图；
[0022]图2为本申请实施例提供的电子设备的结构示意图；
[0023]图3为本申请实施例提供的表面缺陷检测方法的流程示意图；
[0024]图4为本申请实施例提供的密集感受野模块的结构示意图；
[0025]图5为本申请实施例提供的S102的子步骤示意图；
[0026]图6为本申请实施例提供的S103的子步骤示意图；
[0027]图7为本申请实施例提供的特征融合模块的结构示意图；
[0028]图8为本申请实施例提供的检测结果效果图；
[0029]图9为本申请实施例提供的表面缺陷检测装置的单元示意图。
[0030]图中：10
‑
处理器；11
‑
存储器；12
‑
总线；13
‑
通信接口；201
‑
编码单元；202
‑
密集感受野单元；203
‑
解码单元。
具体实施方式
[0031]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种表面缺陷检测方法，其特征在于，应用于电子设备，所述电子设备部署有特征融合网络模型，所述特征融合网络模型包括编码器、密集感受野模块以及解码器，所述编码器包括一个第一子模块、n个第二子模块以及一个第三子模块，所述第一子模块包括1个步长为1的3x3卷积和两个基本残差块，所述第二子模块包括1个下采样操作块和两个基本残差块，所述第三子模块包括1个池化区域为2
×
2的最大池化操作块和两个基本残差块，所述第一子模块、n个第二子模块以及所述第三子模块为级联关系，所述方法包括：所述编码器对原始图像进行处理，以获取不同尺度的图像特征，包括n个第二子模块输出的图像特征和1个第三子模块输出的图像特征，所述原始图像为对目标产品进行采集所得到的图像；所述密集感受野模块对所述第三子模块输出的图像特征中的上下文信息进行捕获，以获得密集感受野上下文特征；所述解码器对所述密集感受野上下文特征、n个第二子模块输出的图像特征以及第三子模块输出的图像特征进行解码融合，以获取检测图像；所述检测图像包括所述原始图像中各个像素点对应的检测结果，所述检测结果包括非缺陷像素点和缺陷像素点。2.如权利要求1所述的表面缺陷检测方法，其特征在于，所述密集感受野模块包括3个级联的感受野模块和1个全局平均池化分支，所述感受野模块包括三个并行的具有不同空洞率的3x3空洞卷积，所述密集感受野模块对所述第三子模块输出的图像特征中的上下文信息进行捕获，以获得密集感受野上下文特征的步骤，包括：第i个感受野模块对所述第三子模块输出的图像特征和前i
‑
1个感受野模块的输出结果进行空洞卷积处理，以获取第i个感受野模块的输出结果；所述全局平均池化分支对所述第三子模块输出的图像特征进行处理，以获取全局特征；所述密集感受野模块将所述第三子模块输出的图像特征、所述全局特征以及每一个感受野模块的输出结果进行相加，以得到密集感受野上下文特征。3.如权利要求2所述的表面缺陷检测方法，其特征在于，所述第i个感受野模块的输出结果的算式为：其中，Y
i
表征所述第i个感受野模块的输出结果，H
i
表征所述第i个感受野模块，X表征所述第三子模块输出的图像特征。4.如权利要求3所述的表面缺陷检测方法，其特征在于，所述全局特征的算式为：Y4＝upsample[F1×1(GAP(X))]；其中，GAP表示全局平均池化操作，F1×1表示1x1卷积操作，upsample表示上采样操作，Y4表征所述全局特征。5.如权利要求1所述的表面缺陷检测方法，其特征在于，所述解码器包括n+1个级联的特征融合模块，所述解码器对所述密集感受野上下文特征、n个第二子模块输出的图像特征以及第三子模块输出的图像特征进行解码融合，以获取检测图像的步骤，包括：
第k个特征融合模块通过上采样分支对相应的高层特征进行上采样，以得到上采样特征；第k个特征融合模块通过通道注意力分支和空间注意力分支对所述上采样特征进行处理，分别获取通道注意力图和空间注意力图；第k个特征融合模块通过矩阵乘法操作和一个深度可分离的空洞卷积模块融合所述通道注意力图和所述空间注意力图，以获得三维注意力图；第k个特征融合模块基于所述三维注意力图对相应的低层特征加权，以得到加权特征；第k个特征融合模块将所述加权特征和所述上采样特征进行拼接，并将拼接结果通过一个3x3卷积块，以得到第k个特征融合模块的输出结果；当k＝n+1时，第k个特征融合模块相应的高层特征为所述密集感受野上下文特征，第k个特征融合模块相应的低层特征为所述第三子模块输出的图像特征；当1≤k≤n时，第k个特征融合模块相应的高层特征为第k+1个特征融合模块的输出结果，第k个特征融合模块相应的低层特征为第k...

【专利技术属性】
技术研发人员：徐明亮，姜晓恒，李青锋，闫丰，卢洋，李书攀，董敏，
申请(专利权)人：北京航空航天大学杭州创新研究院，
类型：发明
国别省市：