一种基于特征感知的元器件表面缺陷检测方法技术

本发明专利技术公开了一种基于特征感知的元器件表面缺陷检测方法，包括：1)采集待检测的元器件的RGB图像；2)将RGB图像通过缺陷空间映射网络，得到缺陷空间映射图；3)得到RGB图像的关键点坐标；将缺陷空间映射图分别输入区域建议网络和主干网络，获得ROI区域和感兴趣区域ROIs；将缺陷空间映射图进行超像素快速分割，得到多背景区域；4)通过ROIs找到其相交背景区域，进行区域特征融合；5)将ROIs与关键点坐标进行比对，得到双近邻ROI区域特征，比对双近邻ROI区域特征，将比对结果向量作为ROIs的特征向量；6)将特征向量送入全连接层，进行分类与边框回归，识别出检测对象的类别和位置并标注。本发明专利技术实现了对工业检测场景下元器件表面弱缺陷的高精度检测。的高精度检测。的高精度检测。

【技术实现步骤摘要】
一种基于特征感知的元器件表面缺陷检测方法


[0001]本专利技术涉及元器件缺陷检测的
，尤其是指一种基于特征感知的元器件表面缺陷检测方法，实现了高进度自动检测，降低工作成本，提高了工业元器件生产线上产品缺陷的检测精度。

技术介绍

[0002]工业图像缺陷检测是利用机器视觉设备获取图像来判断采集图像中是否存在缺陷的技术。随着自动化制造领域对于生产质量要求逐步提升，面向弱缺陷工业图像检测技术在工业自动化制造中具有重要且广泛的应用。本文针对弱缺陷工业图像检测问题，将现有方法分为传统基于图像处理的方法、基于深度学习方法，对现有方法进行详细介绍，总结其优缺点并进行展望。
[0003]传统的基于图像处理的方法包括人工设计特征与分类器的设计，所需相对苛刻的成像环境，且需要缺陷和非缺陷区域之间的高对比度，少噪，适应性较差，成像环境变化或缺陷类型变化时往往需要更改阈值或重新设计算法。
[0004]基于深度学习方法从大量数据中自动学习特征，具有足够的学习数据和高性能运算单元。适应性相对强，能够应对一定的工业检测环境变化。但目前缺乏对弱缺陷工业图像的针对性网络设计，效果不佳。
[0005]因此，工业元器件的缺陷检测，目前所用到的检测方法准确率非常低，无法满足工业需求。

技术实现思路

[0006]本专利技术的目的在于克服现有技术的缺点与不足，提出了一种基于特征感知的元器件表面缺陷检测方法，实现工业元器件的缺陷自动检测，不需要培训专门的工作人员，降低了对人力物力的投入，并且可以保持稳定的检测精度和检测速度，实现了高效率的工作。
[0007]为实现上述目的，本专利技术所提供的技术方案为：一种基于特征感知的元器件表面缺陷检测方法，包括以下步骤：
[0008]1)采集待检测的元器件的RGB图像；
[0009]2)将RGB图像通过缺陷空间映射网络，得到缺陷空间映射图，其中，所述缺陷空间映射网络包含通道注意力网络和空间注意力网络；
[0010]3)将RGB图像进行关键的点定位，得到关键点坐标；
[0011]将缺陷空间映射图输入区域建议网络，获得ROI区域，同时将缺陷空间映射图输入主干网络得到特征图，并进行ROIpooling处理，得到感兴趣区域ROIs；
[0012]将缺陷空间映射图进行超像素快速分割，得到多背景区域；
[0013]4)根据得到的多背景区域与ROIs，通过ROIs找到其相交背景区域，进行区域特征融合，即将相交的背景区域与ROIs特征融合；
[0014]5)根据得到的关键点坐标，将ROIs与关键点坐标进行比对，分别在横向与纵向方
向得到两个相同尺寸的ROI区域，称为双近邻ROI区域特征，比对双近邻ROI区域特征，将比对结果向量作为感兴趣区域ROIs的特征向量；
[0015]6)将特征向量送入全连接层，进行分类与边框回归，识别出检测对象的类别和位置并标注。
[0016]进一步，在步骤1)中，将检测对象置于图像采集装置上，光学系统通过相机、图像采集卡到达计算机，通过计算机渲染技术得到检测对象的RGB图像。
[0017]进一步，在步骤2)中，将RGB图像输入缺陷空间映射网络，并进行通道concact，得到通道注意力向量，通道注意力向量分别经过maxPool与AvgPool并行输入全连接FC层，然后进行以下操作：首先进行Squeeze操作，Squeeze操作将空间维度进行特征压缩，即每个二维的特征图变成一个实数，相当于具有全局感受野的池化操作，特征通道数不变；然后是Excitation操作，Excitation操作通过参数channel attention模块为每个特征通道生成权重，channel attention模块被学习用来显式地建模特征通道间的相关性，channel attention模块使用了一个2层bottleneck结构，先降维再升维的全连接层+Sigmoid函数来实现；得到了每一个特征通道的权重之后，就将相应权重应用于原来的每个特征通道，基于特定的任务，学习到不同通道的重要性，得到缺陷通道注意力映射图F；
[0018]接着，将缺陷通道注意力映射图F输入空间注意力网络，将channel attention模块输出的缺陷通道注意力映射图F作为空间注意力网络的输入特征图，然后进行以下操作：首先，该特征图经过最大池化MaxPool和平均池化AvgPool，得到两个H
×
W
×
1的权重向量，H为高度，W为宽度，；该特征图的通道数从[C,H,W]变为[1,H,W]，C为特征图层，对同一特征点的所有通道池化，得到2个特征图；然后将这2个特征图基于channel做concat操作，即通道拼接，形成[2,H,W]的特征图空间权重，然后特征图空间权重经过一个7
×
7卷积(7
×
7比3
×
3效果要好)操作，降维为1个channel，得到[1,H,W]的特征图，这[1,H,W]的特征图表征了特征图上的每个点的重要程度，数值大的更重要，[1,H,W]的特征图再经过sigmoid生成spatial attention feature，最后将该spatial attention feature和空间注意力网络的输入做乘法，得到生成的映射图s，将映射图s超尺度变换为缺陷空间映射图。
[0019]进一步，在步骤3)中，根据图像特征，采用边缘检测与先验图像操作提取轮廓，然后根据进行灰度分割，之后进行关键点定位。
[0020]进一步，在步骤3)中，所述区域建议网络为深层网络，由卷积层、池化层与非线性映射层组成；
[0021]其卷积过程如下：
[0022][0023]式中，f1[x,y]为图像在坐标(x,y)区域的数据，w[x,y]为卷积核，f2[x,y]为图像在坐标(x,y)区域卷积后所得特征，n
i
、n
j
为距离卷积中心的偏移距离，n1、n2分别为卷积垂直方向最大偏移距离和水平方向最大偏移距离，f[x+n
i
,y+n
j
]为图像在(x+n
i
,y+n
j
)的数值，w[n
i
,n
j
]为卷积核在(n
i
,n
j
)位置的权重；
[0024]其非线性映射过程：
[0025]f3[x,y]＝max(0,f2[x,y])
[0026]式中，f3[x,y]为做非线性映射后得到的特征图；
[0027]将RGB图像输入区域建议网络中，RGB图像中的特征图的每一个点定义为锚点，每个锚点以自身为中心定义9个锚框，除去超出图像区域的锚框，对剩下的锚框进行二分类和边框回归：
[0028]a、二分类：y＝f[f4(x,y)][0029]式中，y为前景边框的分类预测，f4(x,y)为锚框特征图，f为分类器，分类器人为设定一个阈值，大于此阈值的预测为前景，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于特征感知的元器件表面缺陷检测方法，其特征在于，包括以下步骤：1)采集待检测的元器件的RGB图像；2)将RGB图像通过缺陷空间映射网络，得到缺陷空间映射图，其中，所述缺陷空间映射网络包含通道注意力网络和空间注意力网络；3)将RGB图像进行关键的点定位，得到关键点坐标；将缺陷空间映射图输入区域建议网络，获得ROI区域，同时将缺陷空间映射图输入主干网络得到特征图，并进行ROIpooling处理，得到感兴趣区域ROIs；将缺陷空间映射图进行超像素快速分割，得到多背景区域；4)根据得到的多背景区域与ROIs，通过ROIs找到其相交背景区域，进行区域特征融合，即将相交的背景区域与ROIs特征融合；5)根据得到的关键点坐标，将ROIs与关键点坐标进行比对，分别在横向与纵向方向得到两个相同尺寸的ROI区域，称为双近邻ROI区域特征，比对双近邻ROI区域特征，将比对结果向量作为感兴趣区域ROIs的特征向量；6)将特征向量送入全连接层，进行分类与边框回归，识别出检测对象的类别和位置并标注。2.根据权利要求1所述的一种基于特征感知的元器件表面缺陷检测方法，其特征在于，在步骤1)中，将检测对象置于图像采集装置上，光学系统通过相机、图像采集卡到达计算机，通过计算机渲染技术得到检测对象的RGB图像。3.根据权利要求2所述的一种基于特征感知的元器件表面缺陷检测方法，其特征在于，在步骤2)中，将RGB图像输入缺陷空间映射网络，并进行通道concact，得到通道注意力向量，通道注意力向量分别经过maxPool与AvgPool并行输入全连接FC层，然后进行以下操作：首先进行Squeeze操作，Squeeze操作将空间维度进行特征压缩，即每个二维的特征图变成一个实数，相当于具有全局感受野的池化操作，特征通道数不变；然后是Excitation操作，Excitation操作通过参数channel attention模块为每个特征通道生成权重，channel attention模块被学习用来显式地建模特征通道间的相关性，channel attention模块使用了一个2层bottleneck结构，先降维再升维的全连接层+Sigmoid函数来实现；得到了每一个特征通道的权重之后，就将相应权重应用于原来的每个特征通道，基于特定的任务，学习到不同通道的重要性，得到缺陷通道注意力映射图F；接着，将缺陷通道注意力映射图F输入空间注意力网络，将channel attention模块输出的缺陷通道注意力映射图F作为空间注意力网络的输入特征图，然后进行以下操作：首先，该特征图经过最大池化MaxPool和平均池化AvgPool，得到两个H
×
W
×
1的权重向量，H为高度，W为宽度，；该特征图的通道数从[C,H,W]变为[1,H,W]，C为特征图层，对同一特征点的所有通道池化，得到2个特征图；然后将这2个特征图基于channel做concat操作，即通道拼接，形成[2,H,W]的特征图空间权重，然后特征图空间权重经过一个7
×
7卷积(7
×
7比3
×
3效果要好)操作，降维为1个channel，得到[1,H,W]的特征图，这[1,H,W]的特征图表征了特征图上的每个点的重要程度，数值大的更重要，[1,H,W]的特征图再经过sigmoid生成spatial attention feature，最后将该spatial attention feature和空间注意力网络的输入做乘法，得到生成的映射图s，将映射图s超尺度变换为缺陷空间映射图。4.根据权利要求3所述的一种基于特征感知的元器件表面缺陷检测方法，其特征在于：
在步骤3)中，根据图像特征，采用边缘检测与先验图像操作提取轮廓，然后根据进行灰度分割，之后进行关键点定位。5.根据权利要求4所述的一种基于特征感知的元器件表面缺陷检测方法，其特征在于：在步骤3)中...

【专利技术属性】
技术研发人员：高红霞，曲连伟，陈山娇，李冠基，杨伟朋，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：