一种基于改进YOLOv5的小样本芯片外观缺陷检测方法及检测系统技术方案

本发明专利技术公开了一种基于改进YOLOv5的小样本芯片外观缺陷检测方法及检测系统，该方法包括获取有缺陷的图像作为原始数据集；利用原始数据集训练生成对抗网络，从而获得扩增数据集；在YOLOv5神经网络模型中引入CBAM注意力机制，获得改进YOLOv5：利用扩增数据集训练改进YOLOv5神经网络模型，获得缺陷检测模型；获取待测芯片的图片，并进行预处理后输入缺陷检测模型中进行检测，将检测出有缺陷的图片输入到显示器进行显示，根据显示的图片找出对应的芯片；该系统包括模型训练模块、图片采集模块、显示和打标模块。本发明专利技术解决了现有技术中基于YOLOv4网络构建的缺陷检测所用的深度学习网络模型存在着缺陷数据量过少容易导致网络模型过拟合的问题。型过拟合的问题。型过拟合的问题。

【技术实现步骤摘要】
一种基于改进YOLOv5的小样本芯片外观缺陷检测方法及检测系统


[0001]本专利技术涉及芯片缺陷检测
，特别是涉及基于改进YOLOv5的小样本芯片外观缺陷检测方法及检测系统。

技术介绍

[0002]芯片封装后，需要对其进行如气泡等外观缺陷检测，也是质量检测中重要的环节，缺陷检测主要方法有人工检测、基于传统机器视觉的芯片外观缺陷检测。人工检测效率低、实时性差、检测成本高、检测精度低，并且容易受人的主观因素影响；基于传统机器视觉的芯片缺陷检测方法的主要是利用图像算法来提取芯片的缺陷特征，再通过各种特征的数值来区分和识别缺陷，这种方法虽然不需要采集大量的图片，但人工分析在整个检测过程中仍起主导作用，不适用于复杂的缺陷检测。
[0003]现有技术提出了一种基于深度学习的方法，是输入大量人工标记过的图像数据，利用深度卷积神经网络十分强大的图像特征提取能力，对各种芯片的表面缺陷进行学习，使深度卷积神经网络记住不同种类芯片表面缺陷的特征，并且能够识别复杂情况下的缺陷图片。
[0004]中国专利CN112967243B提出一种基于YOLO的深度学习芯片封装裂纹缺陷检测方法，利用数据集训练构建好的YOLOv4网络，待测图片标准化处理后输入网络进行预测，使用置信度阈值与裂纹边界阈值对结果进行进一步过滤以得到最终结果，这种方法虽然解决了芯片缺陷检测过程中精度低、检测速度慢的问题，但是其中基于YOLOv4网络构建的缺陷检测所用的深度学习网络模型存在着缺陷数据量过少容易导致网络模型过拟合的问题。

技术实现思路
<br/>[0005]专利技术目的：本专利技术的目的是提供一种适用于小样本训练、准度高的基于改进YOLOv5的小样本芯片外观缺陷检测方法及检测系统。
[0006]技术方案：为实现上述目的，本专利技术所述的基于改进YOLOv5的小样本芯片外观缺陷检测方法，包括以下步骤：
[0007]步骤S1：获取多组图像，每张图像中包含二维阵列排列的芯片，对有缺陷的芯片进行激光标记，作为原始数据集；
[0008]步骤S2：利用原始数据集训练生成对抗网络，从生成对抗网络中获得扩增数据集；
[0009]步骤S3：在YOLOv5神经网络模型中引入CBAM注意力机制，获得改进YOLOv5；
[0010]步骤S4：利用扩增数据集训练引入CBAM注意力机制模块的改进YOLOv5神经网络模型，获得缺陷检测模型；
[0011]步骤S5：获取待测芯片的图片，并进行预处理；
[0012]步骤S6：将预处理后的图片输入缺陷检测模型中进行检测，将检测出有缺陷的图片输入到显示器进行显示，并将对应的芯片进行激光标记；
[0013]步骤S7：根据显示的图片找出对应的芯片。
[0014]其中，步骤2所述的利用原始数据集训练生成对抗网络，从生成对抗网络中获得扩增数据集，包括以下子步骤：
[0015]步骤S201：生成对抗网络包括生成模型、判别模型，其中，生成模型采用生成器根据输入的随机噪声生成能够以假乱真的图片；判别模型采用判别器判断输入图像是真实数据还是由生成器生成的图片；
[0016]将生成器G根据随机噪声z生成图片，记为G(z)；将G(z)和原始数据集内真实图片，作为样本输入到判别器D中；判别器D将样本内任意一张图片x，记为D(x)；
[0017]步骤S202：将能否正确区分生成的图片和真实的图片作为判别器的损失，将能否生成近似真实的图片，并使得判别器将生成的图片判定为真实的照片作为生成器的损失，则生成对抗网络的目标损失函数为：
[0018]V(D,G)＝E
x～μ
[logD(x)]+E
z～γ
[log(1
‑
D(G(z)))]；
[0019]其中，E表示下标对应分布的期望，z为随机噪声，x为真实的图片，G(z)为生成器根据随机噪声产生的图片，μ是真实图片x的分布，γ是生成的图片G(z)的分布，D(*)为判别器判断该图片是否为真实图片的概率；
[0020]保持生成器G的参数不变，根据判别器D的损失，对判别器D进行优化，判别器D的损失函数为：
[0021][0022]当D(x)接近于1，D(G(x))接近于0时，判别器D能够判别出生成的图片；
[0023]保持判别器D的参数不变，根据生成器G的损失，对生成器G进行优化，生成器G的损失函数为：
[0024][0025]当D(G(z))接近于1，判别器D不能够判别出生成的图片；
[0026]当μ与γ相等或者十分趋近时，此时判别器将生成的图片G(z)判定为真实的照片；
[0027]步骤S203：设置迭代次数，在每次迭代过程中，在生成器G内输入一个随机噪声，执行步骤S201、S202，直到生成图片的分布γ趋近于真实图片x的分布μ，即生成对抗网络训练完毕，否则继续迭代；
[0028]步骤S204：生成对抗网络训练完毕时生成器G生成多张能够以假乱真的图片，将图片输入原始数据集中获得扩增数据集。
[0029]其中，步骤S3所述在YOLOv5神经网络模型中引入CBAM注意力机制模块，获得改进YOLOv5，具体为：CBAM注意力机制为通道注意力和空间注意力的双重注意力机制，将引入CBAM注意力机制模块的YOLOv5神经网络模型的中间特征图作为输入特征图，CBAM注意力机制模块依次推断出一个通道注意力特征图M
C
(F)和一个空间注意力特征图M
S
(F)，将M
C
(F)和输入特征图F做逐元素的乘法操作，生成空间注意力模块所需的过渡特征图F`，将M
S
(F`)和过渡特征图F`做逐元素乘法，得到CBAM注意力机制的最终特征图F``：
[0030][0031][0032]其中，F为输入的高为H，宽度为W，通道数为C的特征图，为逐元素相乘，M
C
为通道注意力操作，M
S
为空间注意力操作。
[0033]其中，所述的CBAM注意力机制模块推断出一个通道注意力特征图M
C
(F)，具体为：将输入的特征图F分别经过基于高度H和宽度W的全局平均池化和全局最大池化，得到两个1
×1×
C的特征图，将两个1
×1×
C的特征图分别送同一个两层神经网络，第一层神经元个数为C/r，r为减少率，激活函数为ReLu函数，第二层神经元个数为C，进行1
×
1的卷积操作，实现跨通道的信息交互；
[0034]将双层神经网络输出的特征进行基于逐元素的加和操作，再经过Sigmoid激活操作，生成通道注意力特征图M
C
(F)：
[0035][0036]其中，σ为sigmoid函数，AvgPool(*)为平均池化，MaxPool(*)为最大池化，MLP为双层的神经网络，MLP(AvgPool(F))为将AvgPool(F)输入到双层神经网络得到的结果，为通道数为C的特征图F本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于改进YOLOv5的小样本芯片外观缺陷检测方法，其特征在于，包括以下步骤：步骤S1：获取多组图像，每张图像中包含二维阵列排列的芯片，对有缺陷的芯片进行激光标记，作为原始数据集；步骤S2：利用原始数据集训练生成对抗网络，从生成对抗网络中获得扩增数据集；步骤S3：在YOLOv5神经网络模型中引入CBAM注意力机制，获得改进YOLOv5；步骤S4：利用扩增数据集训练引入CBAM注意力机制模块的改进YOLOv5神经网络模型，获得缺陷检测模型；步骤S5：获取待测芯片的图片，并进行预处理；步骤S6：将预处理后的图片输入缺陷检测模型中进行检测，将检测出有缺陷的图片输入到显示器进行显示，并将对应的芯片进行激光标记；步骤S7：根据显示的图片找出对应的芯片。2.根据权利要求1所述的基于改进YOLOv5的小样本芯片外观缺陷检测方法，其特征在于：步骤2所述的利用原始数据集训练生成对抗网络，从生成对抗网络中获得扩增数据集，包括以下子步骤：步骤S201：生成对抗网络包括生成模型、判别模型，其中，生成模型采用生成器根据输入的随机噪声生成能够以假乱真的图片；判别模型采用判别器判断输入图像是真实数据还是由生成器生成的图片；将生成器G根据随机噪声z生成图片，记为G(z)；将G(z)和原始数据集内真实图片，作为样本输入到判别器D中；判别器D将样本内任意一张图片x，记为D(x)；步骤S202：将能否正确区分生成的图片和真实的图片作为判别器的损失，将能否生成近似真实的图片，并使得判别器将生成的图片判定为真实的照片作为生成器的损失，则生成对抗网络的目标损失函数为：V(D,G)＝E
x～μ
[log D(x)]+E
z～γ
[log(1
‑
D(g(z)))]；其中，E表示下标对应分布的期望，z为随机噪声，x为真实的图片，G(z)为生成器根据随机噪声产生的图片，μ是真实图片x的分布，γ是生成的图片G(z)的分布，D(*)为判别器判断该图片是否为真实图片的概率；保持生成器G的参数不变，根据判别器D的损失，对判别器D进行优化，判别器D的损失函数为：当D(x)接近于1，D(G(x))接近于0时，判别器D能够判别出生成的图片；保持判别器D的参数不变，根据生成器G的损失，对生成器G进行优化，生成器G的损失函数为：当D(G(z))接近于1，判别器D不能够判别出生成的图片；当μ与γ相等或者十分趋近时，此时判别器将生成的图片G(z)判定为真实的照片；步骤S203：设置迭代次数，在每次迭代过程中，在生成器G内输入一个随机噪声，执行步骤S201、S202，直到生成图片的分布γ趋近于真实图片x的分布μ，即生成对抗网络训练完
毕，否则继续迭代；步骤S204：生成对抗网络训练完毕时生成器G生成多张能够以假乱真的图片，将图片输入原始数据集中获得扩增数据集。3.根据权利要求1所述的基于改进YOLOv5的小样本芯片外观缺陷检测方法，其特征在于：步骤S3所述在YOLOv5神经网络模型中引入CBAM注意力机制模块，获得改进YOLOv5，具体为：CBAM注意力机制为通道注意力和空间注意力的双重注意力机制，将引入CBAM注意力机制模块的YOLOv5神经网络模型的中间特征图作为输入特征图，CBAM注意力机制模块依次推断出一个通道注意力特征图M
C
(F)和一个空间注意力特征图M
S
(F)，将M
C
(F)和输入特征图F做逐元素的乘法操作，生成空间注意力模块所需的过渡特征图F`，将M
S
(F`)和过渡特征图F`做逐元素乘法，得到CBAM注意力机制的最终特征图F``：`做逐元素乘法，得到CBAM注意力机制的最终特征图F``：其中，F为输入的高为H，宽度为W，通道数为C的特征图，为逐元素相乘，M
C
为通道注意力操作，M
S
为空间注意力操作。4.根据权利要求3所述的基于改进YOLOv5的小样本芯片外观缺陷检测方法，其特征在于：所述的CBAM注意力机制模块推断出一个通道注意力特征图M
C
(F)，具体为：将输入的特征图F分别经过基于高度H...

【专利技术属性】
技术研发人员：陈俊风，成佳康，谢迎娟，王海滨，
申请(专利权)人：河海大学，
类型：发明
国别省市：