基于深度学习的轻量化纹理表面缺陷检测方法和系统技术方案

本发明专利技术提供基于深度学习的轻量化纹理表面缺陷检测方法和系统，方法分为训练和测试阶段。训练阶段基于输入训练集的纹理表面图像，并将其通过层层卷积前向传播得到缺陷特征的预测框，得到缺陷特征的预测框，接着计算缺陷特征的预测框和目标图像真实框之间的损失，利用损失进行反向传播，更新模型权重，重复这个过程直到达到设定的迭代轮数epoch。之后是测试阶段，加载测试集的数据，通过训练好的模型输出缺陷图像的类别和定位，并进行评估指标计算，根据指标进行模型性能的判定，如果不能满足预期要求，则重新回到训练环节，进行进一步的调整训练，如果已经达到预期的性能，则保存模型权重，完成整个技术发明专利技术的流程，得到最终的解决方案。的解决方案。的解决方案。

【技术实现步骤摘要】
基于深度学习的轻量化纹理表面缺陷检测方法和系统


[0001]本专利技术涉及人工智能
，尤其涉及一种基于深度学习的轻量化纹理表面缺陷检测方法和系统。

技术介绍

[0002]近年来，人工智能发展火热以及硬件设备迭代更新快，深度学习技术发展如火如荼，目标检测任务在深度学习发展中应用广泛，也是深度学习技术中研究最火热的任务之一。基于深度神经网络的目标检测任务已经在人脸识别、图像分割、行人重识别和工业检测等方面突显出显著优势。深度学习技术不断更新，促使目标检测任务创新不断涌现。基于深度学习的目标检测算法根据检测步骤分为两类，一类是两阶段(two
‑
stage)目标检测算法，这类算法检测精度高，但检测速度慢；另外一类是一阶段(one
‑
stage)目标检测算法，此类算法检测精度低于两阶段算法，但检测速度快。表面缺陷检测任务是目标检测任务的一条分支，在工业领域中，表面缺陷检测是产品生产的重要环节之一。传统方法费时费力，而且检测效果的好坏严重依靠专家的人为客观因素。深度学习技术改善了传统方法的不足，具有检测效果好，通用性强，但依旧存在一些问题，工业领域数据量少，检测时效性慢，检测精度有待提高等。旨在提高目标检测网络模型的检测准确性，目标检测网络模型越来越复杂，深度也越来越深，需要的算力资源大，导致模型计算量大，检测时效性慢，在算力受限的边缘装备或嵌入式设备中不能完成缺陷检测的实时性要求。为了能在边缘装备或嵌入式设备中完成缺陷检测的实时性需求，需要对模型进行轻量化的设计。
[0003]网络模型的轻量化是为了保证模型精确度，去简化网络，减少网络参数量，提高计算速度。目前，网络轻量化的研究方法已有不少，轻量化方法大概可分为一种是对模型的压缩操作，另外一种是对网络的轻量设计。轻量化方法具体包括轻量化网络结构、知识蒸馏、网络剪枝、量化等。

技术实现思路

[0004]本专利技术的实施例提供了一种基于深度学习的轻量化纹理表面缺陷检测方法和系统，用于解决现有技术存在的问题。
[0005]为了实现上述目的，本专利技术采取了如下技术方案。
[0006]基于深度学习的轻量化纹理表面缺陷检测方法，包括：
[0007]S1基于训练集的纹理表面图像，通过设有ShuffleNetv2轻量化网络的网络模型的层层卷积前向传播处理获得具有缺陷特征的预测框；
[0008]S2通过计算获得具有缺陷特征的预测框和目标图像真实框之间的损失，将损失反向传播到网络模型中更新模型参数；
[0009]S3重复执行步骤S1和S2直至达到预设的迭代次数，获得纹理表面缺陷图像；
[0010]S4对纹理表面缺陷图像进行测试评估，若评估结果未达到预设要求，则修改网络模型的超参数，返回执行步骤S1至S3，否则，输出纹理表面缺陷图像。
[0011]优选地，网络模型包括沿数据流方向依次设置的骨干网络、颈部和输出部；
[0012]骨干网络具有沿数据流方向依次布置的3x3卷积层、归一化层、ReLu激活层和最大池化层，以及，由一个步长为2的Shuffle块组成的第一ShuffleNetv2层，由三个步长为1的Shuffle块组成的第二ShuffleNetv2层，由一个步长为2的Shuffle块组成的第三ShuffleNetv2层，由七个步长为1的Shuffle块组成的第四ShuffleNetv2层，由一个步长为2的Shuffle块组成的第五ShuffleNetv2层，由三个步长为1的Shuffle块组成的第六ShuffleNetv2层；
[0013]每个Shuffle块包括Shortcut支路和深度卷积支路；当步长为1时Shortcut支路和深度卷积支路分别进行特征提取操作，然后通过通道重洗将提取的特征信息进行重组，当步长为2时，对Shortcut支路和深度卷积支路进行合并；
[0014]颈部包括：
[0015]第一部分，由一个GhostConv模块、一个CARAFE上采样算子、一个拼接模块和一个C3Ghost模块叠加组成；第一部分的拼接模块用于拼接骨干网络；
[0016]第二部分，由一个CA_H注意力机制模块、一个GhostConv模块、一个CARAFE上采样算子、一个拼接模块和一个C3Ghost模块叠加组成；第二部分的拼接模块用于拼接骨干网络；
[0017]第三部分，由一个CA_H注意力机制模块、一个GhostConv模块、一个拼接模块和一个C3Ghost叠加组成；第三部分的拼接模块用于拼接第二部分的GhostConv模块；
[0018]第四部分，由一个CA_H注意力机制模块、一个GhostConv模块、一个拼接模块和一个C3Ghost模块叠加组成；第四部分的拼接模块用于拼接第一部分的GhostConv模块；
[0019]CA_H注意力机制模块中具有H
‑
sigmoid激活函数；
[0020]输出部具有三个GhostConv模块，分别连接颈部的第二部分、第三部分和第四部分。
[0021]优选地，每个GhostConv模块中具有沿数据流方向依次设置的一个标准卷积子模块和一个逐通道卷积子模块，GhostConv模块的输出结果为将标准卷积子模块的卷积结果和逐通道卷积子模块的卷积结果进行通道合并的输出结果。
[0022]优选地，计算具有缺陷特征的预测框和目标图像真实框之间的损失通过SIoU回归损失函数实现，SIoU回归损失函数包括角度损失、距离损失、形状损失和IoU损失；
[0023]角度损失通过如下式进行计算
[0024][0025][0026]式中，和表示真实框的中心坐标值，b
cx
和b
cy
表示预测框的中心坐标值；
[0027]距离损失通过式
[0028][0029]计算；式中，c
h
和c
w
的定义是将两个锚框都围住的最小长方形的高和宽；
[0030]形状损失通过式
[0031][0032]计算；式中，其中w和h的定义是模型输出边界框的宽和高，w
gt
和h
gt
的定义是物体实际框的宽和高，θ是一个可变的因子，表示形状损失的权重；
[0033]IoU损失通过式
[0034][0035]计算；式中，A和B分别表示两个矩形框；
[0036]基于式(1)至(5)，获得SIoU回归损失函数式
[0037][0038]第二方面，本专利技术提供基于深度学习的轻量化纹理表面缺陷检测系统，包括训练模块和测试模块；
[0039]训练模块具有训练集，还用于：
[0040]基于训练集的纹理表面图像，通过设有ShuffleNetv2轻量化网络的网络模型的层层卷积前向传播处理获得具有缺陷特征的预测框；
[0041]通过计算获得具有缺陷特征的预测框和目标图像真实框之间的损失，将损失反向传播到网络模型中更新模型参数；
[0042]重复执行上述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度学习的轻量化纹理表面缺陷检测方法，其特征在于，包括：S1基于训练集的纹理表面图像，通过设有ShuffleNetv2轻量化网络的网络模型的层层卷积前向传播处理获得具有缺陷特征的预测框；S2通过计算获得具有缺陷特征的预测框和目标图像真实框之间的损失，将所述损失反向传播到所述网络模型中更新模型参数；S3重复执行步骤S1和S2直至达到预设的迭代次数，获得纹理表面缺陷图像；S4对所述纹理表面缺陷图像进行测试评估，若评估结果未达到预设要求，则修改所述网络模型的超参数，返回执行步骤S1至S3，否则，输出所述纹理表面缺陷图像。2.根据权利要求1所述的方法，其特征在于，所述网络模型包括沿数据流方向依次设置的骨干网络、颈部和输出部；所述骨干网络具有沿数据流方向依次布置的3x3卷积层、归一化层、ReLu激活层和最大池化层，以及，由一个步长为2的Shuffle块组成的第一ShuffleNetv2层，由三个步长为1的Shuffle块组成的第二ShuffleNetv2层，由一个步长为2的Shuffle块组成的第三ShuffleNetv2层，由七个步长为1的Shuffle块组成的第四ShuffleNetv2层，由一个步长为2的Shuffle块组成的第五ShuffleNetv2层，由三个步长为1的Shuffle块组成的第六ShuffleNetv2层；每个Shuffle块包括Shortcut支路和深度卷积支路；当步长为1时所述Shortcut支路和深度卷积支路分别进行特征提取操作，然后通过通道重洗将提取的特征信息进行重组，当步长为2时，对所述Shortcut支路和深度卷积支路进行合并；所述颈部包括：第一部分，由一个GhostConv模块、一个CARAFE上采样算子、一个拼接模块和一个C3Ghost模块叠加组成；所述第一部分的拼接模块用于拼接所述骨干网络；第二部分，由一个CA_H注意力机制模块、一个GhostConv模块、一个CARAFE上采样算子、一个拼接模块和一个C3Ghost模块叠加组成；所述第二部分的拼接模块用于拼接所述骨干网络；第三部分，由一个CA_H注意力机制模块、一个GhostConv模块、一个拼接模块和一个C3Ghost叠加组成；所述第三部分的拼接模块用于拼接所述第二部分的GhostConv模块；第四部分，由一个CA_H注意力机制模块、一个GhostConv模块、一个拼接模块和一个C3Ghos...

【专利技术属性】
技术研发人员：金一，鲁浩然，王旭，王涛，李浥东，
申请(专利权)人：北京交通大学，
类型：发明
国别省市：