一种物体表面缺陷检测方法及系统技术方案

本发明专利技术公开一种物体表面缺陷检测方法及系统，属于机器视觉中的工业视觉异常检测领域，改进了实时的图像分割网络Fast

【技术实现步骤摘要】
一种物体表面缺陷检测方法及系统


[0001]本专利技术属于机器视觉中的工业视觉异常检测领域，具体涉及一种实时和准确的物体表面缺陷检测方法及系统。

技术介绍

[0002]工业生产过程中的自动化视觉缺陷检测具有广泛和迫切的应用需求，可以提升企业的生产效率，节省成本，具有很大的社会经济效益。表面缺陷检测是工业缺陷检测的一个重要类别，目的是检测工件表面的缺陷(异常)区域。一般的视觉缺陷检测部署在生产线上，所以有较高的精度和实时性要求。目前大部分工厂依然依靠人工进行检测，人工检测耗费时间、成本较高。传统的视觉缺陷检测方法一般基于纹理分析，比如梯度算子、Canny边缘检测算子等。然而传统方法对不同的任务不具有通用性，对特定的应用场景需要重新设计特征提取的方法。
[0003]近年来，随着深度学习在多种计算机视觉任务上都取得了优异的性能，一些工作将基于卷积神经网络(Convolutional Neural Networks，CNN)的方法应用到不同的工业场景中，例如钢带磁瓦、火车轨道、电线绝缘子、道路裂缝、PCB板的表面缺陷检测等。这些方法对不同物体的表面区域具有较好的鲁棒性，并针对小目标缺陷、缺陷和背景低对比度等具体问题提出了相应的功能模块。这些方法大部分是基于目标检测(Object Detection)框架，无法实现像素级别的检测，这对于高精度的应用存在劣势。目前像素级别标注的表面缺陷检测数据集很缺乏，只有东北大学提出的热轧钢表面缺陷数据集NEU
‑
Seg和中科院提出的磁瓦表面缺陷数据集Magnetic
‑
tile
‑
defect
‑
datasets。这两个数据集的规模较小，只包含大约1000张图片。

技术实现思路

[0004]本专利技术的目的是提出一种准确和实时的表面缺陷像素级别的检测方法及系统。本专利技术改进了实时的图像分割网络Fast
‑
SCNN，并根据表面缺陷检测的任务特点提出了全局上下文模块和边界和语义辅助监督任务，以实现准确和快速的检测。
[0005]为实现上述目的，本专利技术采用以下技术方案：
[0006]本专利技术一方面提出一种物体表面缺陷检测方法，包括以下步骤：
[0007]构建物体表面缺陷检测网络，该网络包括编码器和解码器；该编码器包括卷积模块、细节分支和语义分支；该解码器包括金字塔池模块PPM和全局上下文上采样模块GCU；
[0008]对物体表面缺陷检测网络进行训练，训练步骤包括：
[0009]将包含不同缺陷类型图像的训练集输入到物体表面缺陷检测网络中，编码器的卷积模块提取训练集图像的低层特征图，并输入到解码器的PPM模块；
[0010]编码器的细节分支和语义分支执行两个辅助任务，其中，编码器的细节分支执行边界检测任务，提取训练集图像中的缺陷边界特征；编码器的语义分支执行多标签分类任务，预测图像中包含的缺陷类型，生成真值标签并对所述边界特征进行监督；将所述边界特
征作为高层特征图，输入到解码器中；
[0011]解码器的GCU模块将所述高层特征图与所述低层特征图进行信息融合，并将融合后的特征图通过双线性插值上采样和argmax得到缺陷类型检测结果；
[0012]所述辅助任务采用二元交叉熵损失函数，基于该损失函数优化网络参数，完成训练；
[0013]利用训练好的物体表面缺陷检测网络进行物体表面缺陷的检测，采集物体表面缺陷图像并进行处理，识别物体表面缺陷类型。
[0014]本专利技术另一方面提出一种物体表面缺陷检测系统，包括一种物体表面缺陷检测网络，该编码器包括卷积模块、细节分支和语义分支；该解码器包括金字塔池模块PPM和全局上下文上采样模块GCU；该物体表面缺陷检测网络训练完成后用来对物体表面缺陷进行检测，采集物体表面缺陷图像并进行处理，识别物体表面缺陷类型；
[0015]其中，该物体表面缺陷检测网络的训练步骤包括：
[0016]将包含不同缺陷类型图像的训练集输入到物体表面缺陷检测网络中，编码器的卷积模块提取训练集图像的低层特征图，并输入到解码器的PPM模块；
[0017]编码器的细节分支和语义分支执行两个辅助任务，其中，编码器的细节分支执行边界检测任务，提取训练集图像中的缺陷边界特征；编码器的语义分支执行多标签分类任务，预测图像中包含的缺陷类型，生成真值标签并对所述边界特征进行监督；将所述边界特征作为高层特征图，输入到解码器中；
[0018]解码器的GCU模块将所述高层特征图与所述低层特征图进行信息融合，并将融合后的特征图通过双线性插值上采样和argmax得到缺陷类型检测结果；
[0019]所述辅助任务采用二元交叉熵损失函数，基于该损失函数优化网络参数，完成训练。
[0020]对于上述方法和系统，本专利技术还提出了以下优选的技术手段：
[0021]优选地，所述缺陷类型包括油污、划痕、斑点三类。
[0022]优选地，所述编码器的卷积模块为6个MobileNetV3模块。
[0023]优选地，所述编码器提取图像的1/8和1/16分辨率的高层特征图，通过矩阵元素相乘和相加的跳跃连接将所述高层特征图输入到所述解码器中；在训练阶段，1/8分辨率的高层特征图含有细节分支检测的缺陷边界特征。
[0024]优选地，所述GCU模块包括两个全局上下文模块GC、两个上采样模块Upsample和两个分组卷积模块GroupConv，顺序为GC+Upsample+GroupConv+Upsample+GroupConv+GC，其中前一个Upsample通过元素相加融合1/16分辨率的高层特征图，后一个Upsample通过元素相乘融合1/8分辨率的高层特征图。
[0025]优选地，所述细节分支是由卷积、批标准化、ReLU函数、卷积、双线性插值上采样网络组成。
[0026]优选地，所述语义分支是由卷积、批标准化、ReLU函数、卷积、全局平均池化和线性层网络组成。
[0027]优选地，所述真值标签的计算方法为：采用拉普拉斯算子计算图像的二阶梯度，使用3个不同步长的拉普拉斯卷积计算得到不同尺度的3个边界细节特征图；然后上采样该3个细节特征图到输入图像的原始尺寸，然后拼接该3个边界细节特征并经过二维卷积动态
调整权重，得到边界的真值标签。
[0028]优选地，所述拉普拉斯算子采用8领域的算子模板进行离散计算。
[0029]本专利技术的技术效果：
[0030]本专利技术针对缺陷检测任务提出的全局上下文模块和辅助任务有效地提升了检测的性能和速度。本专利技术实现了表示表面缺陷的有效检测，在速度和准确性上达到了很好的权衡。本专利技术的方法在手机屏幕表面缺陷数据集MSD上达到了最优的性能和最快的检测速度，在磁瓦数据集Magnetic
‑
tile
‑
defect
‑
datasets上是效果最好的实时方法，在热轧钢数据集上也达到了有竞争力的性能。...

【技术保护点】

【技术特征摘要】
1.一种物体表面缺陷检测方法，其特征在于，包括以下步骤：构建物体表面缺陷检测网络，该网络包括编码器和解码器；该编码器包括卷积模块、细节分支和语义分支；该解码器包括金字塔池模块PPM和全局上下文上采样模块GCU；对物体表面缺陷检测网络进行训练，训练步骤包括：将包含不同缺陷类型图像的训练集输入到物体表面缺陷检测网络中，编码器的卷积模块提取训练集图像的低层特征图，并输入到解码器的PPM模块；编码器的细节分支和语义分支执行两个辅助任务，其中，编码器的细节分支执行边界检测任务，提取训练集图像中的缺陷边界特征；编码器的语义分支执行多标签分类任务，预测图像中包含的缺陷类型，生成真值标签并对所述边界特征进行监督；将所述边界特征作为高层特征图，输入到解码器中；解码器的GCU模块将所述高层特征图与所述低层特征图进行信息融合，并将融合后的特征图通过双线性插值上采样和argmax得到缺陷类型检测结果；所述辅助任务采用二元交叉熵损失函数，基于该损失函数优化网络参数，完成训练；利用训练好的物体表面缺陷检测网络进行物体表面缺陷的检测，采集物体表面缺陷图像并进行处理，识别物体表面缺陷类型。2.如权利要求1所述的方法，其特征在于，所述编码器的卷积模块为6个MobileNetV3模块。3.如权利要求1所述的方法，其特征在于，所述编码器提取图像的1/8和1/16分辨率的高层特征图，通过矩阵元素相乘和相加的跳跃连接将所述高层特征图输入到所述解码器中；在训练阶段，1/8分辨率的高层特征图含有细节分支检测的缺陷边界特征；所述GCU模块包括两个全局上下文模块GC、两个上采样模块Upsample和两个分组卷积模块GroupConv，顺序为GC+Upsample+GroupConv+Upsample+GroupConv+GC，其中前一个Upsample通过元素相加融合1/16分辨率的高层特征图，后一个Upsample通过元素相乘融合1/8分辨率的高层特征图。4.如权利要求1所述的方法，其特征在于，所述细节分支是由卷积、批标准化、ReLU函数、卷积、双线性插值上采样网络组成；所述语义分支是由卷积、批标准化、ReLU函数、卷积、全局平均池化和线性层网络组成。5.如权利要求1所述的方法，其特征在于，所述真值标签的计算方法为：采用拉普拉斯算子计算图像的二阶梯度，使用3个不同步长的拉普拉斯卷积计算得到不同尺度的3个边界细节特征图；然后上采样该3个细节特征图到输入图像的原始尺寸，然后拼接该3个边界细节特征并经过二维卷积动态调整权重，得到边界的真值标签；所述拉普拉斯算子采用8领域的算子模板进行离散计算...

【专利技术属性】
技术研发人员：杨戈，张健，丁润伟，
申请(专利权)人：北京大学深圳研究生院，
类型：发明
国别省市：