产品表面缺陷检测方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术涉及表面缺陷检测技术领域，提供一种产品表面缺陷检测方法、装置、电子设备及存储介质，该方法采用的缺陷检测模型包括的主干特征提取网络以及多个头部预测子网络顺次连接，且在主干特征提取网络与头部预测子网络之间，以及相邻两个头部预测子网络之间均连接有空间金字塔池化模块，该方法可以适用于各中常见，对环境变化具有较强的适应能力，鲁棒性较强。而且，该方法为单阶段检测，检测速度快，检测效率高。由于空间金字塔池化模块存在于各头部预测子网络的前端，不仅可以实现更加有效的特征融合，提升缺陷检测模型对微小缺陷检测的性能，提高检测精度。提高检测精度。提高检测精度。

【技术实现步骤摘要】
产品表面缺陷检测方法、装置、电子设备及存储介质


[0001]本专利技术涉及表面缺陷检测
，尤其涉及一种产品表面缺陷检测方法、装置、电子设备及存储介质。

技术介绍

[0002]表面缺陷检测是机器视觉领域中非常重要的一项研究内容，它是利用机器视觉设备获取产品表面图像，进而判断产品表面图像中是否存在缺陷的技术。在工业生产过程中，由于加工工艺或操作的影响，难免会对产品表面造成损伤，进而对产品的质量、外观产生影响。因此，需要在产品生产过程中对产品表面进行缺陷检测，以确保产品质量，降低成本。然而传统的人工目视检测由于受人的主观因素影响较大，存在漏检、成本高、效率低等问题。因此，产品表面缺陷如何获得高效精准的检测成为亟待解决的技术问题。
[0003]当前常见的表面缺陷检测方法主要分为两类：基于机器视觉的表面缺陷检测方法和基于深度学习的表面缺陷检测方法。其中，基于机器视觉的表面缺陷检测方法主要分为两类：传统的图像处理方法和基于人工特征提取的机器学习方法。传统的图像处理方法通过使用局部异常反映出的属性来进行缺陷检测和分割，如边缘检测、模板匹配等算法；基于人工特征提取的机器学习方法则首先以LBP、HOG等方法提取产品表面图像特征，设计描述缺陷信息的特征向量，然后将特征向量输入预训练好的分类器模型中以确定产品表面是否存在缺陷。基于深度学习的缺陷检测方法从思路上也可以分为两类：一类是以Faster R
‑
CNN为代表的两阶段方法，该方法首先使用区域建议网络进行特征提取并生成候选框，然后使用检测网络对候选框进行分类和回归。另一类是以SSD、YOLO为代表的单阶段方法，该方法将检测问题由一个分类问题转换为一个回归问题，仅使用一个卷积神经网络进行特征提取和候选框的分类、回归，是一种端到端的目标检测算法。
[0004]然而，对于基于机器视觉的表面缺陷检测方法，无论是传统的图像处理方法还是基于人工特征提取的机器学习方法，通常均仅适用于特定场景，对于环境变化缺乏适应能力，鲁棒性较差。而对于基于深度学习的缺陷检测方法，其中两阶段方法有着较高的检测精度，但是检测速度较慢，难以做到实时检测；而单阶段方法有着较快的检测速度，但是检测精度通常没有两阶段方法高。

技术实现思路

[0005]本专利技术提供一种产品表面缺陷检测方法、装置、电子设备及存储介质，用以解决现有技术中存在的缺陷，兼顾检测速度以及检测精度。
[0006]本专利技术提供一种产品表面缺陷检测方法，包括：
[0007]获取待检测产品的表面图像；
[0008]将所述表面图像输入至缺陷检测模型，得到所述缺陷检测模型输出的检测结果；
[0009]其中，所述缺陷检测模型包括主干特征提取网络、多个头部预测子网络以及多个空间金字塔池化模块，所述头部预测子网络与所述空间金字塔池化模块一一对应，所述主
干特征提取网络以及多个所述头部预测子网络顺次连接，且所述主干特征提取网络与所述头部预测子网络之间，以及相邻两个所述头部预测子网络之间均连接有所述空间金字塔池化模块；
[0010]所述主干特征提取网络用于提取所述表面图像的图像特征；多个所述头部预测子网络用于基于前端连接的所述空间金字塔池化模块得到的深层特征图，提取所述表面图像不同尺度的预测特征图，并基于所述预测特征图，对所述表面图像中不同尺寸的缺陷进行检测；
[0011]所述缺陷检测模型基于携带缺陷标签的表面图像样本训练得到。
[0012]根据本专利技术提供的一种产品表面缺陷检测方法，所述缺陷检测模型的训练过程中采用的损失函数包括缺陷定位损失函数和缺陷分类损失函数，所述缺陷定位损失函数包括CIoU损失函数，所述缺陷分类损失函数包括交叉熵损失函数。
[0013]根据本专利技术提供的一种产品表面缺陷检测方法，所述头部预测子网络包括第一头部预测子网络、第二头部预测子网络以及第三头部预测子网络；
[0014]所述第一头部预测子网络的Convolutional Set模块通过第一个所述空间金字塔池化模块与所述主干特征提取网络连接，所述第一头部预测子网络的拼接层通过第二个所述空间金字塔池化模块与所述第二头部预测子网络的Convolutional Set模块连接，所述第二头部预测子网络的拼接层通过第三个所述空间金字塔池化模块与所述第三头部预测子网络的Convolutional Set模块连接。
[0015]根据本专利技术提供的一种产品表面缺陷检测方法，所述第一头部预测子网络的Convolutional Set模块与拼接层之间顺次连接有Convolutional结构和第一上采样层；
[0016]所述第一头部预测子网络的拼接层用于将所述第一上采样层采样得到的第一特征图与所述主干特征提取网络中对应大小的特征图在深度方向上进行拼接，得到第一拼接特征图；
[0017]所述第二头部预测子网络的Convolutional Set模块与拼接层之间顺次连接有Convolutional结构和第二上采样层；
[0018]所述第二头部预测子网络的拼接层用于将所述第二上采样层采样得到的第二特征图与所述主干特征提取网络中对应大小的特征图在深度方向上进行拼接，得到第二拼接特征图；
[0019]所述第一上采样层的采样率小于所述第二上采样层的采样率，所述第一头部预测子网络、所述第二头部预测子网络以及所述第三头部预测子网络预测的缺陷的尺寸依次减小。
[0020]根据本专利技术提供的一种产品表面缺陷检测方法，所述主干特征提取网络基于将Darknet
‑
53网络的平均池化层以及全连接层去除后的结构构建。
[0021]本专利技术还提供一种产品表面缺陷检测装置，包括：
[0022]图像获取模块，用于获取待检测产品的表面图像；
[0023]缺陷检测模块，用于将所述表面图像输入至缺陷检测模型，得到所述缺陷检测模型输出的检测结果；
[0024]其中，所述缺陷检测模型包括主干特征提取网络、多个头部预测子网络以及多个空间金字塔池化模块，所述头部预测子网络与所述空间金字塔池化模块一一对应，所述主
干特征提取网络以及多个所述头部预测子网络顺次连接，且所述主干特征提取网络与所述头部预测子网络之间，以及相邻两个所述头部预测子网络之间均连接有所述空间金字塔池化模块；
[0025]所述主干特征提取网络用于提取所述表面图像的图像特征；多个所述头部预测子网络用于基于前端连接的所述空间金字塔池化模块得到的深层特征图，提取所述表面图像不同尺度的预测特征图，并基于所述预测特征图，对所述表面图像中不同尺寸的缺陷进行检测；
[0026]所述缺陷检测模型基于携带缺陷标签的表面图像样本训练得到。
[0027]根据本专利技术提供的一种产品表面缺陷检测装置，所述缺陷检测模型的训练过程中采用的损失函数包括缺陷定位损失和缺陷分类损失，所述缺陷定位损失包括CIoU损失函数，所述缺陷分类损失包括交叉熵损失函数。
[0028]本专利技术还提供一种电子设备，包括存储器、处理器及存储在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种产品表面缺陷检测方法，其特征在于，包括：获取待检测产品的表面图像；将所述表面图像输入至缺陷检测模型，得到所述缺陷检测模型输出的检测结果；其中，所述缺陷检测模型包括主干特征提取网络、多个头部预测子网络以及多个空间金字塔池化模块，所述头部预测子网络与所述空间金字塔池化模块一一对应，所述主干特征提取网络以及多个所述头部预测子网络顺次连接，且所述主干特征提取网络与所述头部预测子网络之间，以及相邻两个所述头部预测子网络之间均连接有所述空间金字塔池化模块；所述主干特征提取网络用于提取所述表面图像的图像特征；多个所述头部预测子网络用于基于前端连接的所述空间金字塔池化模块得到的深层特征图，提取所述表面图像不同尺度的预测特征图，并基于所述预测特征图，对所述表面图像中不同尺寸的缺陷进行检测；所述缺陷检测模型基于携带缺陷标签的表面图像样本训练得到。2.根据权利要求1所述的产品表面缺陷检测方法，其特征在于，所述缺陷检测模型的训练过程中采用的损失函数包括缺陷定位损失函数和缺陷分类损失函数，所述缺陷定位损失函数包括CIoU损失函数，所述缺陷分类损失函数包括交叉熵损失函数。3.根据权利要求1所述的产品表面缺陷检测方法，其特征在于，所述头部预测子网络包括第一头部预测子网络、第二头部预测子网络以及第三头部预测子网络；所述第一头部预测子网络的Convolutional Set模块通过第一个所述空间金字塔池化模块与所述主干特征提取网络连接，所述第一头部预测子网络的拼接层通过第二个所述空间金字塔池化模块与所述第二头部预测子网络的ConvolutionalSet模块连接，所述第二头部预测子网络的拼接层通过第三个所述空间金字塔池化模块与所述第三头部预测子网络的Convolutional Set模块连接。4.根据权利要求3所述的产品表面缺陷检测方法，其特征在于，所述第一头部预测子网络的Convolutional Set模块与拼接层之间顺次连接有Convolutional结构和第一上采样层；所述第一头部预测子网络的拼接层用于将所述第一上采样层采样得到的第一特征图与所述主干特征提取网络中对应大小的特征图在深度方向上进行拼接，得到第一拼接特征图；所述第二头部预测子网络的Convolutional Set模块与拼接层之间顺次连接有Convolutional结构和第二上采样层；所述第二头部预测子网络的拼接层用于将所述第二上采样层采样得到的第二...

【专利技术属性】
技术研发人员：伍凯，方明，刘鹏，陈霆，
申请(专利权)人：山东科讯信息科技有限公司，
类型：发明
国别省市：