利用YOLOV4网络的陶瓷基板多种瑕疵智能检测方法技术

本发明专利技术公开了一种利用YOLOV4网络的陶瓷基板多种瑕疵智能检测方法，涉及深度学习目标检测领域，该方法基于YOLOV4网络构建智能检测模型进行陶瓷基板的多种瑕疵智能检测，本申请针对陶瓷基板的瑕疵的特点优化了损失函数的计算方法，损失函数中的置信度损失函数基于梯度均衡机制利用所有单元网格内的预测框与对应真实框的置信度计算得到，从而可以使得训练得到的智能检测模型在保证检测准确性的同时，较高提升了瑕疵的检出率，能够对陶瓷基板瑕疵进行高效、快速而准确地检测。快速而准确地检测。快速而准确地检测。

【技术实现步骤摘要】
利用YOLOV4网络的陶瓷基板多种瑕疵智能检测方法


[0001]本专利技术涉及深度学习目标检测领域，尤其是一种利用YOLOV4网络的陶瓷基板多种瑕疵智能检测方法。

技术介绍

[0002]陶瓷基板是当前大功率电力电子电路结构技术和互连技术的基础材料，在电子制造领域具有广泛的应用。在陶瓷基板的生产过程中，由于制造工艺和设备问题的影响，会出现镀金层损伤、边缘多金和陶瓷基板缺瓷、污染和异物等五种典型瑕疵。研究高效、快速而准确的陶瓷基板瑕疵自动检测方法对陶瓷基板质量控制与故障检测具有重要的实际意义。
[0003]随着深度学习的发展，越来越多的基于深度卷积神经网络的目标检测方法被提出，基于深度卷积神经网络的目标检测算法被广泛应用于工业产品的表面瑕疵检测。但是陶瓷基板瑕疵形状多变、尺寸跨度大，且多金和缺瓷瑕疵有较多小目标，样本量小，各类瑕疵数量分布不均匀，现有基于深度卷积网络的表面瑕疵检测算法难以进行准确的检测。

技术实现思路

[0004]本专利技术人针对上述问题及技术需求，提出了一种利用YOLOV4网络的陶瓷基板多种瑕疵智能检测方法，本专利技术的技术方案如下：
[0005]一种利用YOLOV4网络的陶瓷基板多种瑕疵智能检测方法，该方法包括：
[0006]制备包含若干个样本图像的陶瓷基板瑕疵训练集，样本图像是包含瑕疵目标的陶瓷基板的图像且在瑕疵目标处标注有真实框的位置尺寸信息、置信度和目标类别，陶瓷基板瑕疵训练集覆盖多种类别的瑕疵目标；
[0007]将样本图像输入基于YOLOV4网络构建的智能检测模型后，主干网络提取样本图像的多种尺寸的特征图，并依次经过颈部网络和头部网络处理后输出；对于输出的每一种尺寸的特征图，将特征图划分为若干个单元网格，并在每个单元网格内利用若干个先验框预测得到预测框，并计算损失函数为LOSS＝LOSS
reg
+LOSS
GHM
‑
C
+LOSS
cls
，其中定位损失函数LOSS
reg
利用所有单元网格内的预测框与对应真实框的位置尺寸信息计算得到，置信度损失函数LOSS
GHM
‑
C
基于梯度均衡机制利用所有单元网格内的预测框与对应真实框的置信度计算得到，分类损失函数LOSS
cls
利用所有单元网格内的预测框与对应真实框的目标类别，利用陶瓷基板瑕疵训练集基于损失函数训练智能检测模型；
[0008]将待检测陶瓷基板的待检测图像输入智能检测模型，得到对待检测图像中的瑕疵目标的检测结果。
[0009]其进一步的技术方案为，置信度损失函数LOSS
GHM
‑
C
的计算方法为：
[0010][0011]其中，是第n个预测框的置信度p
n
及其对应的真实框的置信度计算得到的交叉熵损失，N是一个特征图中包含的所有预测框的总数，GD(g
t
)表示当前的预测框所
在的以梯度模值g
t
为中心的预定子区间的梯度密度。
[0012]其进一步的技术方案为，以梯度模值g
t
为中心的预定区间内的梯度密度GD(g
t
)的计算方法为：
[0013][0014]其中，ε为预设均分长度，g
k
是第k个预测框的梯度模值。
[0015]其进一步的技术方案为，位置尺寸信息包括坐标偏移量和长宽比，则有：
[0016][0017][0018]其中，λ
coord
＝2
‑
w
×
h，w
×
h是当前的特征图的尺寸，S2是特征图包含的单元网格的数量，B是每个单元网格中预测框的数量，表示第i个单元网格内的第j个预测框中包含瑕疵目标，分别是第i个单元网格内的第j个预测框的横坐标偏移量、纵坐标偏移量、宽边比和高边比，分别是第i个单元网格内的第j个预测框对应的真实框的横坐标偏移量、纵坐标偏移量、宽边比和高边比；
[0019]对于预测框和真实框中的任意一个目标框，中心点坐标为(b
x
,b
y
)、宽边长为b
w
、高边长为b
h
的目标框的位置尺寸信息t
x
、t
y
、t
w
、t
h
的计算方法为其中，(c
x
，c
y
)为预设的先验框的中心点坐标，c
w
为先验框的宽变长，c
h
为先验框的高边长，σ()为预设函数；
[0020]P
ij
(c)表示第i个单元网格内的第j个预测框中包含的瑕疵目标属于目标类别c的概率，表示P
ij
(c)对应的真实框中包含的瑕疵目标属于目标类别c的概率。
[0021]其进一步的技术方案为，该方法还包括：
[0022]对陶瓷基板瑕疵训练集使用预定聚类方法，以聚类框和真实框的交并比和宽长比确定的得分作为相似度标准进行聚类选取先验框。
[0023]其进一步的技术方案为，聚类框a
cl
和真实框b
gt
的得分为：
[0024][0025]其中，IoU(a
cl
,b
gt
)是聚类框a
cl
和真实框b
gt
的交并比,是聚类框a
cl
的宽w
cl
与长h
cl
之间的宽长比，是真实框b
gt
的宽w
gt
与长h
gt
之间的宽长比。
[0026]其进一步的技术方案为，智能检测模型的主干网络中包括依次级联的CBM模块、
CSP1模块、CSP2模块、第一CSP8模块、第二CSP8模块和CSP4模块，CSP2模块的输出端输出152*152的特征图，第一CSP8模块的输出端输出76*76的特征图，第二CSP8模块的输出端输出38*38的特征图，第三CSP8模块的输出端输出19*19的特征图，主干网络提取的152*152、76*76、38*38和19*19的四种不同尺寸的特征图依次经过颈部网络和头部网络处理后分别输出。
[0027]其进一步的技术方案为，智能检测模型的颈部网络获取到152*152、76*76、38*38和19*19的特征图后，分别利用级联的两个CCNet网络对每个尺寸的特征图进行特征增强，再利用PANet对进行特征增强后的四个尺寸的特征图进行增强特征融合。
[0028]其进一步的技术方案为，智能检测模型的颈部网络中，在利用级联的两个CCNet网络对19*19的特征图进行特征增强后，使用SPP模块进行处理，SPP模块分别使用13
×
13、9
×
9、5
×
5和1
×...

【技术保护点】

【技术特征摘要】
1.一种利用YOLOV4网络的陶瓷基板多种瑕疵智能检测方法，其特征在于，所述方法包括：制备包含若干个样本图像的陶瓷基板瑕疵训练集，样本图像是包含瑕疵目标的陶瓷基板的图像且在瑕疵目标处标注有真实框的位置尺寸信息、置信度和目标类别，所述陶瓷基板瑕疵训练集覆盖多种类别的瑕疵目标；将样本图像输入基于YOLOV4网络构建的智能检测模型后，主干网络提取所述样本图像的多种尺寸的特征图，并依次经过所述颈部网络和头部网络处理后输出；对于输出的每一种尺寸的特征图，将所述特征图划分为若干个单元网格，并在每个单元网格内利用若干个先验框预测得到预测框，并计算损失函数为LOSS＝LOSS
reg
+LOSS
GHM
‑
C
+LOSS
cls
，其中定位损失函数LOSS
reg
利用所有单元网格内的预测框与对应真实框的位置尺寸信息计算得到，置信度损失函数LOSS
GHM
‑
C
基于梯度均衡机制利用所有单元网格内的预测框与对应真实框的置信度计算得到，分类损失函数LOSS
cls
利用所有单元网格内的预测框与对应真实框的目标类别，利用所述陶瓷基板瑕疵训练集基于所述损失函数训练所述智能检测模型；将待检测陶瓷基板的待检测图像输入所述智能检测模型，得到对所述待检测图像中的瑕疵目标的检测结果。2.根据权利要求1所述的方法，其特征在于，置信度损失函数LOSS
GHM
‑
C
的计算方法为：其中，是第n个预测框的置信度p
n
及其对应的真实框的置信度计算得到的交叉熵损失，N是一个特征图中包含的所有预测框的总数，GD(g
t
)表示当前的预测框所在的以梯度模值g
t
为中心的预定子区间的梯度密度。3.根据权利要求2所述的方法，其特征在于，以梯度模值g
t
为中心的预定区间内的梯度密度GD(g
t
)的计算方法为：其中，ε为预设均分长度，g
k
是第k个预测框的梯度模值。4.根据权利要求1所述的方法，其特征在于，位置尺寸信息包括坐标偏移量和长宽比，则有：则有：其中，λ
coord
＝2
‑
w
×
h，w
×
h是当前的特征图的尺寸，S2是特征图包含的单元网格的数量，B是每个单元网格中预测框的数量，表示第i个单元网格内的第j个预测框中包含瑕疵目标，分别是第i个单元网格内的第j个预测框的横坐标偏移量、纵坐标偏移量、
宽边比和高边比，分别是第i个单元网格内的第j个预测框对应的真实框的横坐标偏移量、纵坐标偏移量、宽边比和高边比；对于预测框和真实框中的任意一个目标框，中心点坐标为(b
x
,b
y
)、宽边长为b
w
、高边长为b
h
的目标框的位置尺寸信息t
...

【专利技术属性】
技术研发人员：朱启兵，郭峰，黄敏，赵鑫，
申请(专利权)人：江南大学，
类型：发明
国别省市：